学术界的性别偏见和性别不平等现象由来已久。作为人类最前沿思想、科技的聚集地,学界中的女性却时常面临种种不必要的困境。为此,学界近年来积极推行平权,力图消除各种负面的影响,但性别平等之路仍然是任重而道远。

然而我们看到,即便在重重阻碍下,仍有许多杰出的女性科学家被看见,为推动人类科技的进步做出了不可磨灭的贡献,也成为了一股必须被正视的“她”力量。为此,我们特意推出“看见她”系列,讲述她们的故事。

曾几何时,生活在大地上的人们都使用着同一种语言,带着同样的口音。有一天,他们决定联合起来,建一座通天的高塔直达天堂。不料,此举却惊动了上帝,于是上帝使人类说不同的语言,让他们无法相互沟通。计划因此失败,人类也自此各散西东。

The Tower of Babel

Museum Boijmans Van Beuningen

这是《圣经·旧约》中巴别塔的故事,也是《圣经》对我们这个世界出现了如此多不同语言和种族的解释。然而,从钻木取火到文字的发明,从印刷术的出现到蒸汽机的革命,从世界上的第一通电话到如今的万物互联,人类的发展史不亚于一部“逆天而行“的史诗,其中科技和创新的推动力量毋庸置疑。时至今日,人类已经走过了很长的一段路,如果今天要再建塔,那我们一定不会再去徒手垒砖,甚至也不会满足于使用一些简单的机械。这个时代的再造巴别塔,可能是一幅人们与一群人工智能机器人合作搭建的图景

God & iPad La Biennale di Venezia

如果说上面的故事告诉了我们什么,那就是沟通理解协作的重要性不言而喻,而作为人类最高级的功能之一,共情则更是建立在它们之上、真正让我们自发团结起来为一个共同目标而奋斗的东西。大量的研究表明,女性在共情方面天然比男性更具优势,而一些杰出的女性科学家们更将这一优势与科学的严谨逻辑和想象力结合起来,成为我们“建塔”中最重要的一股力量。

机器懂我们在说什么吗?

要让机器人帮助我们建塔,首先要让它们理解我们的意思。习惯了简单的一句“嘿!Siri”的我们,可能并没有意识到其背后人工智能及核心的自然语言处理(NLP)的复杂程度,而仅仅是这样还远远达不到要求。事实上,早在2001 年的《麻省理工科技评论》“全球十大突破性技术”中,自然语言处理就已经赫然在列了。但其真正发生质的飞跃,则是在 2013~2014 年深度学习(入选 2013 年“全球十大突破性技术”)崛起并应用于 NLP 之后的事情了,从现在的角度来看,这是一个极其有眼光、有远见的选择。

《麻省理工科技评论》2001年一月刊

MIT Technology Review

回到现在,俗话说,人类的悲欢并不相通,而佐治亚理工学院计算机学院助理教授杨笛一则希望通过开发更先进的 NLP 技术以促进人与机器人与人之间的交互

杨笛一目前领导着佐治亚理工学院的社会和语言技术实验室,致力于结合 NLP、机器学习和社会科学来研究人类如何在社会环境中使用语言,她的工作是人工智能技术和社会科学理论的新颖融合

早期的科研生涯中,她曾在导师 Robert Kraut(卡耐基梅隆大学人机交互领域开拓者之一)和 Eduard Hovy(NLP 领域权威)的指导下完成了一篇论文"Who did what: editor role identification in Wikipedia"。论文通过分析英文版维基百科的编辑内容以识别编辑人员所扮演的角色,并研究每个角色如何影响文章质量,从而帮助研究人员与社区管理人员更好地建立一个健康、繁荣的社区。

杨笛一 杨笛一

2016年,她更与美国癌症协会合作,结合NLP与推荐系统去识别癌症病人与医生之间的交流。癌症病人在沟通时会有很大的压力,写出来的文字一般较长,而实际想要表达的主要内容可能只有几点。杨笛一与团队基于协会提供的真实数据进行分析,利用分层注意力网络对协会网络平台上的大量对话信息进行文本分类,使用算法将其中诸如症状、需求等的重要内容凸显出来,再通过搭建推荐系统将寻求不同类别帮助的病人与不同的医生相匹配,使得这一系统在效率人文关怀上双双得到了提升。

她说

“模型不仅要具备信息查询与匹配的功能,还要以鼓励的方式去真诚地传达情感支持。”

杨笛一关于分层注意力网络的论文 杨笛一

在杨笛一看来,语言不仅仅是语法、句法、话术,语言的表达与传输是有一个目标的,而这个目标,便是说话者想要达到的意图。因此,social NLP应该对语言有更深的理解,比如谁在说话、说给谁听、想要传达什么信息、目的是什么等等。她始终坚持以人为中心进行研究,力图构建具有社会意识的语言技术,使 NLP 模型可以超越固定数据集或语料库进行社会知识和常识推导,推理海量用户生成的非结构化数据,实现下一个阶段的自然语言理解。

凭此种种,杨笛一成功入选了 2021 年《麻省理工科技评论》“35 岁以下科技创新 35 人”中国,授勋类别为“人文关怀者”,实至名归。她的工作毫无疑问能让机器更好地在社会语境下理解我们的表达,甚至在某种程度上实现“共情”

谈及科研工作者中女性比例较小的问题时,杨笛一表示其中一个重要原因就是我们习惯的语言体系当中存在不少带有强烈毁灭性的话术,比如“女生小时候成绩好,长大了数理化成绩就不会好了”等等,其背后是社会文化对女性能力的贬低与束缚,往往需要好几代人的努力方能消除。作为“科技向善”的坚定拥趸,她试图用 NLP 技术去消除这类歧视、偏见和固有印象带来的负面影响,目前正通过对 Twitter 等社交媒体上的信息进行研究,来应对诸如仇恨言论等社会问题,范围涵盖种族、性别等各方各面。

杨笛一关于疫情下种族歧视的论文 杨笛一

我们真的懂机器吗?

我们建造巴别塔需要与机器合作,而协作与交流建立在“互相”的理解之上。当机器越来越“懂”我们的时候,反过来问一句,我们真的懂机器吗?

乍一看这似乎有些反常识,你可能会说,机器是我们设计和制造的,答案当然是肯定的。其实……还真不一定,这要从人工智能与机器学习说起。从本质上来讲,但凡一个机制能通过反馈完成一个功能,它就是人工智能。其雏形非常简单,比如早期的抽水马桶就是,只要摁一下冲水键,马桶就能在失误很小的情况下自动完成冲水功能。而当我们的需求越来越复杂的时候,对人工智能的要求也水涨船高,于是机器学习被引入了。比如说我们要识别图片中的对象是不是一只猫,按照传统机器学习的思路,我们需要将猫的形象一一拆解,把猫耳朵、猫眼、猫爪等等特征都识别并抓取出来进行标注,工作量巨大,显然不合理。于是,基于卷积神经网络的深度学习乃至强化学习应运而生,上述的特征都可以自动抓取了,只需要将海量数据(猫的图片)一股脑全都丢进模型中训练即可,只要数据量足够大,它的准确度就会高起来,换句话说就是机器变“聪明”了。

猫的识别是深度神经网络最早的成功案例之一

搜狐科技

是不是很神奇?但事情没有这么简单。简单来说,卷积神经网络是模仿人脑认知能力而设计出来的复杂结构,其本质是一种试错 (trial & error) 机制,通过行动然后收到正向或负向反馈来训练其决策的准确程度。然而,这种“行动”和“反馈”是一种端到端 (end-to-end)机制,其决策过程、判断权重以及影响因素等都无从得知,也就是所谓的人工智能神经网络“黑箱”,会导致不少令人啼笑皆非的后果。比如,某自动驾驶汽车厂商在测试的时候发现,他们的汽车在行驶过程中开始以越来越明显的规律向左偏转,却没有明显的原因,开发者也无法理解这种行为。经过数月的痛苦调试,系统架构师才终于发现问题的根源——天空的颜色。由于某些训练是在沙漠中进行的,天空是一种特定的色调,因此神经网络在人们不知情的情况下建立起了左转与光照条件之间的相关性;再比如,某图像分类神经网络变得非常善于识别马匹。系统的设计者对此非常骄傲,直到他们发现其高效的关键:由于马的图片经常受版权保护,神经网络是通过搜索“”符号来对这些动物进行分类的。这一神经网络的“创造力”毋庸置疑,但出问题也是迟早的事情。

“人工智障” Infoworld

我们创造了人工智能,但显然并不懂其背后的强化学习和卷积神经网络是如何工作的。那么,如何“打开黑箱”,从而发现并且避免潜在的问题呢?普林斯顿大学运筹和金融工程系、计算机系终身教授王梦迪就在进行着“开箱”的研究与探索,试图探寻强化学习背后的简洁规律

正如前文提到的抽水马桶,“控制论的核心思路在于,对于一个已知的系统,机械系统或者电气系统,我们可以用微分方程完整地描述它,这时候我们就可以设计一套反馈的机制,用这套机制来实现我们的目的。这就是控制论,是人工智能的史前时代。”王梦迪解释道。与之相同,强化学习也是基于系统的状态,不断地对系统进行动态操控。区别在于,对于强化学习算法来说,待控制的系统是一个黑箱函数,不具备完整的数学描述,难以直接求解最优策略。在麻省理工学院读博期间,王梦迪选择了偏数学、偏理论的系统和信息论方向,她也正是从控制论这一古老的理论思想出发,结合最新、最前沿的强化学习,利用自己数学、统计学等方面的优势去解决强化学习“黑箱”的不可解释性难以复现性等问题。

王梦迪 王梦迪

她说

“强化学习是人工智能的未来,应当是同控制论、统计学思想结合起来,用大数据的方法探索一个复杂系统的动态过程。这方面在强化学习的框架下都是空白,我的工作就是要把这个框架建立起来。"

2016年谷歌 DeepMind 的 AlphaGo 击败了人类围棋顶尖选手李世石,也是强化学习算法第一次进入了大众的视野。“我们为什么关心游戏?”曾在学术休假期间加盟 DeepMind 兼任高级研究科学家的王梦迪说道,“人类的幼儿在发展自己的智能的过程中,正是通过游戏来学习如何决策的,人工智能的发展也正处在这一阶段,我们很快能看到人工智能将不仅仅能打游戏,而将解决更难的问题。”事实上,在生物医疗、金融等高风险领域数据量有限且容错率极低,是不可能允许普通的强化学习人工智能像在游戏里那样进行无限试错的,强化学习的“黑箱”属性决定了它的不可控性,这也是sim2real 的难点。王梦迪的工作则使得“可解释的、透明的人工智能”得以实现,不仅仅能够检测和消除偏差提高模型的准确性和性能,以及减少训练网络所需的标记数据量,更让人工智能在高风险领域的应用成为可能

“黑箱”解密 Alice Yang

凭借种种突出贡献,王梦迪成功作为“先锋者”入选 2018 年《麻省理工科技评论》“35 岁以下科技创新 35 人”中国

当前,王梦迪的研究工作聚焦数据降维离线强化学习,更看重“有效率”的尝试,以最小的代价收集数据,并保留最有内容的信息。她的工作大大推动了“黑箱透明化”,换句话说,我们终于能够知道人工智能机器人在“想”什么了

我们该如何与机器合作?

当我们与机器人互相理解之后,接下来的问题就是要如何对话与合作了。建造巴别塔是字面意义上的“登天”行为,我们必须将各自的优势最大化地发挥出来才有可能实现。所幸,又有一位杰出的女性科学家为我们打好了“塔基”。“机器和人类有着迥异的能力,”普林斯顿大学计算机系助理教授陈丹琦如此说道,我们人类长于逻辑推理和辨别语言中的暗示和精微玄妙之处,而机器则很擅长大规模地处理海量的数据。”作为最早一批将深度学习应用于自然语言处理 (NLP) 的先行者之一,她的研究涵盖了 NLP 当中理解语言本身结构的任务以及具体应用两大主要门类,在句法分析、知识图谱、信息提取、对话及问答系统等几个关键问题上都输出了重要研究成果,帮助机器获取知识且更好地回答问题。

陈丹琦 陈丹琦

陈丹琦从小即对人文很感兴趣,同时又极其擅长数学,而与机器的不解之缘早在高中时期就已结下。她当时参加竞赛并总结出一套分治算法,后来被普遍采用,影响力很大,还被业内人士按照她的名字命名为“CDQ 分治”。2012年,她从清华姚班毕业去了斯坦福大学,开始做 NLP 相关的研究时才突然意识到NLP 实际上是人文和数学两个世界的交集,对于自己来说是最好不过的,近乎一种使命。陈丹琦师从 NLP 领域权威 Christopher Manning,与其共同开发的算法后来催生了著名的谷歌 SyntaxNet,被称为“全球最精准自然语言解析器”

后来,她在 Facebook (现Meta)旗下 AI 研究机构 FAIR 实习期间主导搭建了开放域问答系统项目——DrQA并发表论文"Reading Wikipedia to Answer Open-Domain Questions",阐述了这一项目是如何通过海量阅读和检索从维基百科上获取答案,并回答 factoid 问题的。这一项目展示了机器的阅读和问答能力是如何借助大规模开源的外部知识库得到突破的,也为我们展现了一种可能,也即问机器任何一个问题,然后机器就能在海量的数据中找到相关的信息并将它们组织成为答案甚至是解决方案,协助我们进行决策。

DrQA Meta (Facebook)

类似的研究还有很多,其中不得不提的还有她的博士毕业论文"Neural Reading Comprehension and Beyond"。这篇专注于机器阅读理解的、156页的论文一经发布,很快就成为了斯坦福10年来最热门的博士论文之一,对此她的导师 Christopher Manning 也不吝溢美之词:“她简单、干净、高成功率的模型吸引了众人的目光……她的这篇毕业论文主要研究神经网络阅读理解和问答,这些新兴技术正在带来更好的信息访问方式。”简洁、实用,这一直是她研究中贯穿始终的关键词。

她说

“我对那些最根本、最简单但却最实用的方法倍感兴奋。我非常关心如何构建实用的 NLP 系统,而且总是非常享受这个过程。我不希望我的研究成果只停留在一个美好的概念上,而是要被切实可行地投入到实际应用当中去。”

凭借以上种种贡献,陈丹琦作为“先锋者”成功入选了 2019 年《麻省理工科技评论》“35 岁以下科技创新 35 人”中国。如今,她已经在普林斯顿组建了自己的 NLP 团队,致力于解决更多 NLP 领域的核心问题。其中最有野心的可能是进一步利用机器大规模处理数据的优势,让机器可以通过 NLP 获取和理解互联网上人类现存的所有知识,并能够像人一样“思考”,进一步就这些浩如烟海的知识进行逻辑推导,在很少甚至是没有监督的情况下得出判断和决策。陈丹琦将它称为“深度理解”

再造巴别塔

沟通,理解,共情,是任何时代建造“巴别塔”的基石。不论是人与人之间,还是人与机器之间,这些杰出的女性科学家们坚持从人本身出发,为这个世界的互通有无做出了不可磨灭的贡献。或许有一天我们真的“通天”了,到达的可能不是所谓的“应许之地”,而是全人类的大同

翻译一切的“巴别鱼” 《银河系漫游指南》

世界发展需要科学,而女性是推动其发展的不可或缺的中坚力量。

自 1999 年以来,《麻省理工科技评论》每年都会从世界范围内遴选 "35 岁以下科技创新 35 人"(MIT Technology Review Innovators Under 35,简称 TR35),堪称科技领域最权威的青年人才评价体系之一。2017 年,TR35 中国评选正式推出,目前已历经五届,其中每年都不乏优秀的青年女性科学家成功入选。

【正在报名】

2022 年"35 岁以下科技创新 35 人"中国的报名火热进行中!欢迎 35 岁以下的中国(包括目前在海外的华人)青年学者、科研工作者、发明家、科技创业者等报名参选,同时也向社会各界征集候选人提名,共同寻找最有可能改变世界的 35 人。

【咨询邮箱】

参考资料:

1.https://tr35.mittrchina.com/

2.https://www.boijmans.nl/en

6.https://www.aminer.cn/pub/5843777eac44360f108417ec/hierarchical-attention-networks-for-document-classification

7.https://scholar.google.com/citations?view_op=view_citation&hl=zh-CN&user=j9jhYqQAAAAJ&sortby=pubdate&citation_for_view=j9jhYqQAAAAJ:1yQoGdGgb4wC

8.https://faculty.cc.gatech.edu/~dyang888/

12.https://scholar.google.com/citations?view_op=view_citation&hl=zh-CN&user=33yNvIgAAAAJ&sortby=pubdate&citation_for_view=33yNvIgAAAAJ:EYYDruWGBe4C

13.https://mwang.princeton.edu/

14.https://engineering.princeton.edu/news/2020/06/29/princeton-engineering-faculty-members-receive-grants-covid-19-research-c3-ai-digital-transformation-institute

16.https://medium.com/analytics-vidhya/reinforcement-learning-a-surface-level-explanation-75690f03840d

17.https://www.infoworld.com/article/3315748/explainable-ai-peering-inside-the-deep-learning-black-box.html

21.https://www.cs.princeton.edu/news/ushering-machines-world-human-knowledge

22.https://www.technologyreview.com

- End -

关键词: 看见她丨再造巴别塔 人工智能 机器学习 自然语言处理