1.2 深度学习中的关键人物#
在1.1节内容中我们详细介绍了深度学习的发展历史,从早期理论到萌芽阶段,到反向传播算法、卷积神经网络以及循环神经网络的兴衰发展,再到深度学习技术在自然语言处理领域的发展与应用等。在深度学习发展过程中,有许多关键人物对其演变和推动起到了重要作用。他们的贡献不仅推动了深度学习理论的发展,也促进了其在实际应用中的应用和普及。在本节内容中,将会对整个深度学习发展过程中的一些关键人物做一个简单的介绍。
1. 艾伦·图灵
艾伦·图灵(Alan Turing /ˈælən ˈtjʊərɪŋ/),1912年6月23日——1954年6月7日,出生于英国伦敦 [1]。图灵是英国著名的计算机科学家、数学家、逻辑学家、密码分析学家和理论生物学家,他被誉为计算机科学与人工智能之父。图灵对于人工智能的发展有诸多贡献,例如他在《计算机器和智能》的论文中提问:机器会思考吗?,作为一种用于判定机器是否具有智能的测试方法,即图灵测试(Turing Test)。此外,图灵提出著名的图灵机模型(Turing Machine)也为现代计算机的逻辑工作方式奠定了基础。
艾伦·图灵于1912年6月23日出生于英国伦敦,他在很小的时候就表现出惊人的天赋,后来也越发明显。1926年13岁的图灵考入了在多塞特郡的舍伯恩学校,不过天生对科学的喜好并没有给他在多塞特郡的老师留下好印象。虽然如此,图灵继续在他喜欢的学科表现出惊人的能力,还没有学过基础微积分的他就已经能够解答以他年纪来说算是很高深的难题。1928年,在16岁的时候图灵就开始阅读阿尔伯特·爱因斯坦(Albert Einstein)的著作。他不但能够理解,而且还看出了爱因斯坦对牛顿运动定律存有质疑,即使在爱因斯坦的著作中并没有明白指出这点。1931年图灵考入剑桥大学国王学院攻读本科,1934年他以优异成绩毕业。1936年9月到1938年7月间,图灵大部分时间都在普林斯顿大学的教堂下学习,并于1938年6月获普林斯顿数学系博士学位。此时冯·诺依曼有意聘请图灵做他的博士后助理,但他谢绝后又回到了英国。1945年到1948年,图灵在国家物理实验室负责自动计算引擎的研究工作。1949年,他成为曼彻斯特大学计算机实验室的副主任,负责计算机曼彻斯特一号的软件工作。在这段时间,他继续做一些比较抽象的研究,并提出了著名的图灵测试。
2. 约翰·冯·诺伊曼
约翰·冯·诺伊曼(John von Neumann /dʒɒn vɒn ˈnɔɪmən/),1903年12月28日——1957年2月8日,出生于匈牙利的美国籍犹太人 [2]。冯·诺伊曼是数学家,理论计算机科学与博弈论的奠基者,在泛函分析、遍历理论、几何学、拓扑学和数值分析等众多数学领域及计算机科学、量子力学和经济学中都有重大贡献。在计算机领域,其最为著名的就是提出了 冯·诺伊曼计算机结构。
约翰·冯·诺伊曼出生在匈牙利首都布达佩斯一个富裕的犹太家庭,小时候外号“扬奇”拥有惊人的记忆,6岁时已能用古希腊语同父亲闲谈,还可以心算8位数除法,8岁时自学微积分学。1926年,冯·诺伊曼以22岁的年龄获得了布达佩斯大学数学博士学位,相继在柏林洪堡大学和汉堡大学担任数学讲师。1930年,冯·诺伊曼接受了普林斯顿大学客座教授的职位。1931年,冯·诺伊曼成为普林斯顿大学终身教授。1933年转入普林斯顿高等研究院,与爱因斯坦等人成为该院最初的四位教授之一不须上课。他一生中发表了大约150篇论文,其中有60篇纯数学论文,20篇物理学以及60篇应用数学论文。他最后的一个作品是在医院未完成的手稿,后来以书名《计算机与人脑》发布,表现了他生命最后时光的兴趣方向。
3. 约翰·麦卡锡
约翰·麦卡锡(John McCarthy /dʒɒn məˈkɑːrθi/),1927年9月4日—2011年10月24日,出生于美国马萨诸塞州,计算机科学家 [3]。麦卡锡在1956年的达特矛斯会议上首次提出了人工智能这个概念,发明了列表处理器编程语言(List Processor, LISP)并于1960年将其设计发表在《ACM通讯》上。他于1962年了离开麻省理工学院,前往斯坦福大学并在那里协助建立了斯坦福人工智能实验室,他因在人工智能领域的贡献而在1971获得了计算机界的最高奖项图灵奖。
约翰·麦卡锡出生于美国波士顿,他于1948年获得加州理工学院数学学士学位,1951年获得普林斯顿大学数学博士学位。后来分别短暂地为普林斯顿大学、斯坦福大学、达特茅斯学院和麻省理工学院供职后,麦卡锡于1962年-2000年底在斯坦福担任教授,退休后成为名誉教授。
4. 克劳德·香农
克劳德·香农(Claude Shannon /klɔd ˈʃænən/),1916年4月30日——2001年2月24日,出生于美国密歇根州。香农是美国数学家、电子工程师和密码学家,被誉为信息论的创始人 [4]。1948年,香农发表了划时代的论文——《通信的数学理论》,奠定了现代信息论的基础。不仅如此,香农还被认为是数字计算机理论和数字电路设计理论的创始人。
克劳德·香农出生于美国密歇根州佩托斯基盖洛德,他人生的前16年都是在这里度过。香农在那儿接受了公立学校教育,并于1932年从盖洛德高中毕业。1932年,香农进入密歇根大学学习,在大学的一门课程中接触到了乔治·布尔(George Boole)的理论。1936年大学毕业时,香农获得了电子工程学士和数学学士学位。不久后,香农进入麻省理工学院开始研究生学习并参与了万尼瓦尔·布什的微分分析机相关工作。1943年,香农有机会和英国数学家图灵合作,图灵向 香农介绍了现在被称为“通用图灵机”的概念,而香农对此也很感兴趣因为图灵机的概念和他自己的很多想法相吻合。1956年,香农返回麻省理工学院。
5. 沃伦·麦卡洛克
沃伦·麦卡洛克(Warren McCulloch /ˈwɒrən məˈkʌlək/ ),1898年11月16日—1969年9月24日,出生于美国新泽西州奥兰治 [5]。麦卡洛克是一位美国神经科学家和控制论学者,以其在某些大脑理论基础上的工作以及对控制论的贡献而闻名。麦卡洛克与沃尔特·皮茨一起创建了称为阈值逻辑的数学算法计算模型。该模型将神经网络的研究分为两种不同的方式,一种是专注于大脑中的生物过程,另一种是专注于神经网络在人工智能中的应用。
沃伦·麦卡洛克出生于美国新泽西州奥兰治。他就读于哈弗福德学院,并同时在耶鲁大学学习哲学和心理学,并于1921年获得文学学士学位。后来他继续在哥伦比亚大学学习心理学,并于1923年获得文学硕士学位。1927年,他从哥伦比亚大学内外科医学院获得医学博士学位,并在纽约贝尔维尤医院实习。1934年他重返学术界并试图与沃尔特·皮茨证明图灵机程序可以通过有限个神经元(逻辑单元)来进行实现。1947年,他们还提出了一种可以忽略图像大小和旋转角度的视觉网络设计方法,即图像的缩放不变性和旋转不变性。从1952年起,麦卡洛克在麻省理工学院电子研究实验室工作,主要从事神经网络建模工作。他的团队根据 麦卡洛克发表于1947年的论文检查了青蛙的视觉系统,发现了眼睛向大脑提供的信息在某种程度上已经是经过组织和解释的信号,而不是简单地传输图像。
6. 小沃尔特·皮茨
小沃尔特·皮茨(Walter Pitts Jr. /ˈwɔːltər pɪts ˈdʒunɪər/),1923年4月23日——1969年5月14日,出生于美国密歇根州底特律 [6]。皮茨是一位美国逻辑学家,从事计算神经科学领域的工作。他提出了神经活动和生成过程里程碑式的理论表述,影响了认知科学和心理学、哲学、神经科学、计算机科学、人工神经网络、控制论和人工智能等不同领域。他最为人所铭记的是与沃伦·麦卡洛克一起撰写的一篇科学史上的开创性论文——神经活动中固有思想的逻辑演算(A Logical Calculus of Ideas Immanent in Nervous Activity)。本文提出了第一个神经网络的数学模型——McCulloch-Pitts 模型,并且至今仍然是神经网络领域的参考标准。
沃尔特·皮茨出生于密歇根州的底特律。作为一名自学者,皮茨从小就自学逻辑学和数学,并精通多种语言,包括希腊语和拉丁语。他被广泛铭记的是12岁时他在图书馆呆了3天,阅读了《数学原理》并写信给伯特兰·罗素(Bertrand Russell),指出了他认为第一卷前半部分存在的严重问题。Russell 收到来信后很感激Pitts,并邀请他在12岁时到剑桥大学学习。但皮茨并没有接受这个邀请,因为他决定要成为一名逻辑学家。15岁时,他离家求学并在芝加哥大学参加了罗素的讲座。1938 年,皮茨在芝加哥大遇到了医学预科生杰罗姆·莱特文 ( Jerome Lettvin ),两人成为了亲密的朋友。同年秋,罗素作为芝加哥大学的客座教授指导皮茨跟随逻辑学家鲁道夫·卡纳普( Rudolf Carnap)学习。1941年,沃伦·麦卡洛克在芝加哥伊利诺伊大学担任精神病学教授。1942年初,他邀请仍然无家可归的皮茨和莱特文与他的家人住在一起,并在晚上同皮茨进行工作上的合作。由于皮茨熟悉威廉·莱布尼茨(Wilhelm Leibniz)在计算方面的工作,因此他们研究了神经系统是否可以被视为莱布尼茨所描述的一种通用计算设备的问题,而这也导致了他们开创性神经网络论文《神经活动中内在思想的逻辑演算》的提出。
7. 约翰·莫奇利
约翰·莫奇利(John Mauchly /dʒɒn ˈmɔːkli/),1907年8月30日——1980年1月8日,出生于美国俄亥俄州辛辛那提 [7]。莫奇利是一位美国物理学家,他与皮斯普·埃克特一起设计了世界上第一台通用电子数字计算机(Electronic Numerical Integrator And Computer, ENIAC)。莫奇利和约翰·埃克特同时还共同创办了第一家计算机公司——埃克特-莫奇利计算机公司,并开创了基本计算机概念,包括存储程序、子例程和编程语言,这影响了20世纪40年代末全世界计算机发展的爆炸式增长。
约翰·莫奇利于1907 年8月30日出生于俄亥俄州辛辛那提,他很小的时候就与父母和妹妹搬到了马里兰州切维蔡斯。年轻时,莫奇利对科学就十分感兴趣,尤其是对电力方面,他十几岁的时候就以修理邻居的电力系统而闻名。1925年高中毕业后,莫奇利获得奖学金前往约翰·霍普金斯大学学习工程学。随后他转学到物理系,并于1932年获得了博士学位。1932年至1933年间,莫奇利在约翰·霍普金斯大学担任研究助理,专注于计算甲醛光谱的能级。1933年 莫奇利开始了他的教学生涯 ,他在乌西努斯学院被任命为物理系主任,事实上他是该学院唯一的教职员工。1941年夏天,莫奇利在宾夕法尼亚大学摩尔电气工程学院参加了电子国防培训课程。1942年,莫奇利写了一份备忘录,提议建造一台通用电子计算机,并强调了使用无线移动部件的数字电子设备可以获得的巨大速度优势。后来美国陆军接受了这个想法,并要求 莫奇利写一份正式的提案。1943年4月,美国陆军与摩尔学院签订了建造电子数值积分器和电子计算机(Electronic Numerical Integrator And Computer, ENIAC)的合同,并由莫奇利领导 ENIAC 的概念设计,约翰·埃克特负责硬件制造。2002年,由于莫奇利在ENIAC方面的贡献,他在死后被列入了国家发明家名人堂。
8. 小约翰·埃克特
小约翰·埃克特(John Eckert Jr. /dʒɒn ˈɛkərt ˈdʒunɪər/),1919年4月9日——1995年6月3日,出生于美国费城 [8]。埃克特是一位美国电气工程师和计算机先驱。他与约翰·莫奇利一起建造了世界上第一台通用电子数字计算机ENIAC,并开设了第一门计算主题课程。同时还开发了美国第一台商用计算机(UNIVersal Automatic Computer, UNIVAC)。
约翰·埃克特于1919年4月9日年出生于费城,并在费城日耳曼敦区的一所大房子里长大,父亲是富有的房地产开发商。小学期间,埃克特由司机开车送去威廉佩恩特许学校,高中时加入费城工程师俱乐部,并在电视发明家菲洛·法恩斯沃斯 ( Philo Farnsworth)的电子实验室度过下午。1937年,在父母的鼓励下 埃克特从宾夕法尼亚大学沃顿商学院转到了摩尔电气工程学院。1940年,21岁的 埃克特申请了他的第一个专利——光调制方法和装置。1943年4月摩尔学院获得了一份电子数值积分器和计算机的建造合同,埃克特被任命为该项目的总工程师。ENIAC 于1945 年底竣工,并于 1946 年2月向公众揭幕。由于在创建、开发和改进高速电子数字计算机方面的开创性和持续贡献,1968年 埃克特被授予国家科学奖章。
9. 艾伦·纽厄尔
艾伦·纽厄尔(Allen Newell /ˈælən ˈnjuːəl/),1927年3月19日——1992年7月19日,出生于美国加利福尼亚州旧金山 [9]。纽厄尔是计算机科学和认知信息学领域的科学家,曾在兰德公司、卡内基梅隆大学的计算机学院任职和教研。他是信息处理语言(Information Processing Language, IPL)发明者之一,他与其博士时的导师赫伯特·西蒙合作开发了逻辑理论家(Logic Theorist)和一般问题解决器(General Problem Solver)。1975年他和导师一起因人工智能方面的基础贡献而被授予图灵奖。
1927年3月19日艾伦·纽厄尔出生于美国加利福尼亚州旧金山,并于1949年在斯坦福大学获得物理学学士学位。1949年至1950年,纽厄尔在普林斯顿大学攻读研究生,主修数学。由于他早期接触了博弈论这一未知领域以及数学研究的经验,他确信自己更喜欢实验和理论研究的结合而不是纯数学。最终,纽厄尔在卡内基梅隆大学泰珀商学院获得了博士学位,期间西蒙担任他的导师。1954年9月,纽厄尔参加了一个研讨会,会上有人描述了一个可识别字幕和其它模式的计算机程序。就在这时,纽厄尔开始相信具有自适应和智能的系统是可以被创建的,考虑到这一点,纽厄尔在1955 年撰写了《国际象棋机器:通过自适应处理复杂任务的例子》。纽厄尔的工作引起了经济学家西蒙的注意,并开发了第一个真正的人工智能程序——逻辑理论家。1956年 纽厄尔在达特茅斯会议上展示了该程序,这次会议现在被广泛认为是人工智能的诞生。
10. 赫伯特·西蒙
赫伯特·西蒙(Herbert Simon /ˈhɜːrbərt ˈsaɪmən/),1916年6月15日——2001年2月9日,出生于美国威斯康星州密尔沃基 [10]。西蒙是一位政治学家,其工作还影响了计算机科学、经济学和认知心理学领域。他的主要研究兴趣是组织内部的决策,并以有限理性(Bounded Rationality)和满足理性(Satisficing)理论而闻名。他于1978 年获得诺贝尔经济学奖,并于1975年同他的学生艾伦·纽厄尔一起获得图灵奖。从1949年到2001年,他的大部分职业生涯都在卡内基梅隆大学度过, 在那里他帮助建立了卡内基梅隆计算机科学学院,这是世界上最早的此类院系之一。
赫伯特·西蒙于1916年6月15日出生于美国威斯康星州密尔沃基。西蒙的父亲是一位犹太电气工程师,在获得工程学位后于1903 年从德国来到美国。小时候 西蒙就读于密尔沃基公立学校,在那里他对科学产生了兴趣并确立了自己无神论者的身份。1933年 西蒙进入芝加哥大学,受到早期影响的他选择了学习社会科学和数学。在大学期间,西蒙专注于政治学和经济学并分别于1936年和1943年获得学士学位和博士学位。1942年至1949年,西蒙担任芝加哥伊利诺理工学院政治学教授,并担任系主任。1949年至2001年间,西蒙担任宾夕法尼亚州匹兹堡卡内基梅隆大学的教员。1949年 西蒙成为卡内基理工学院的行政学教授和工业管理系系主任,该学院于1967年正式更名为卡内基梅隆大学。1956年西蒙与艾伦·纽厄尔使用IPL语言一起创建了逻辑理论机和通用问题求解器程序。
11. 弗兰克·罗森布拉特
弗兰克·罗森布拉特(Frank Rosenblatt /fræŋk ˈroʊzənblæt/),1928年7月11日——1971年7月11日,出生于纽约州新罗谢尔 [11]。罗森布拉特是一位美国心理学家,在人工智能领域也享有盛誉。他最著名的是于1958年提出了感知机,这是一种根据生物学原理构建的电子设备具有学习能力。 罗森布拉特的感知器最初于1957年在康奈尔航空实验室的IBM 704计算机(一台足有5吨重)上进行模拟,当感知器眼前放置一个三角形时,感知器会拾取图像并沿着随机的连续线条将其传送到响应单元。由于他在人工神经网络方面的开创性工作,他有时也被称为深度学习之父。
弗兰克·罗森布拉特出生于美国纽约州新罗谢尔的一个犹太家庭。罗森布拉特于1946年从布朗克斯科学高中毕业并进入康奈尔大学,于1950 年获得学士学位,1950年获得博士学位。随后,他前往纽约州布法罗的康奈尔航空实验室,先后担任研究心理学家、高级心理学家和认知系统部门负责人。这也是他进行感知器研究早期工作的地方,最终在1960年开发和构建了马克一号感知器(Mark I Perceptron)。1966年,他加入新成立的生物科学神经和行为系担任副教授。1971年7月,罗森布拉特在其43岁在切萨皮克湾的一次划船事故中丧生。
12. 马文·明斯基
马文·明斯基(Marvin Minsky /ˈmɑːrvɪn ˈmɪnski/),1927年8月9日——2016年1月24日,出生于美国纽约市 [12]。明斯基是一位美国认知和计算机科学家,主要关注人工智能研究。他是麻省理工学院人工智能实验室联合创始人,以及多部关于人工智能著作的作者。明斯基于1958年加入麻省理工学院林肯实验室,一年后他和约翰·麦卡锡发起筹建了直到2019年才被正式命名的麻省理工学院计算机科学和人工智能实验室。1969年,明斯基与西摩·佩珀特合著的《感知器:计算几何简介》抨击了弗兰克·罗森布拉特的工作,成为了人工神经网络分析的基础著作,并导致了所谓的“人工智能冬天”。后续 明斯基还获得了许多赞誉和荣誉,包括1969年的图灵奖。
马文·明斯基出生于美国纽约市的一个犹太家庭。他高中曾就读于菲尔德斯顿学校和布朗克斯科学中学,后来就读于马萨诸塞州安多弗的菲利普斯学院。随后,他于1944年至1945年在美国海军服役,1950年获得哈佛大学数学学士学位,1954年获得普林斯顿大学数学博士学位。1954年至1957年,明斯基在哈佛大学究员学会担任初级研究员。从1958年到去世,他一直在麻省理工学院任教。
13. 西摩·佩珀特
西摩·佩珀特(Seymour Papert /ˈsɪmər ˈpeɪpərt/),1928年2月29日——2016年7月31日,出生于南非 [13]。佩珀特是美国数学家、计算机科学家和教育家,他的大部分职业生涯都在麻省理工学院进行教学和研究。他是人工智能和教育建构主义运动的先驱之一,同时也是逻各斯(Logo)语言的发明者之一,与马文·明斯基合著了《感知器:计算几何简介》。
西摩·佩珀特于1928年出生于南非的一个犹太家庭,就读于威特沃特斯兰德大学,并于1949年获得哲学文学学士学位,随后于1952年获得数学博士学位。1959年,佩珀特在剑桥大学获得了第二个数学博士学位。此后,Papert曾在多个地方担任研究员,包括剑桥圣约翰学院、巴黎大学亨利庞加莱研究所、日内瓦大学和伦敦国家物理实验室。然后于1963年成为麻省理工学院的研究员,直到1967年成为应用数学教授并被麻省理工学院人工智能实验室创始主任马文·明斯基教授任命为联合主任,一直持续到1981年。
14. 塞波·林奈马
塞波·林奈马(Seppo Linnainmaa /ˈsɛpoʊ ˈlɪneɪnmɑː/),1945 年9月28——至今,出生于芬兰 [14]。林奈马是著名数学家和计算机科学家,以创建现代版本的反向传播而闻名。1970 年 林奈马在他的硕士论文中首次描述了任意、离散、可能稀疏连接的神经网络中显式和高效的误差反向传播算法,即通过递归方式将链式求导法则应用于可微的复合函数中。随着深度学习的发展以及GPU等硬件的出现,该方法已在许多应用中得到广泛使用。
塞波·林奈马于1945年出生于芬兰波里。1974年,他在赫尔辛基大学获得了第一个计算机科学博士学位。1976年晋升为助理教授,1984年至1985年任美国马里兰大学客座教授。 1986年至1989年,他担任芬兰人工智能协会主席。1989年至2007年,林奈马担任芬兰技术研究中心(Valtion Teknillinen Tutkimuskeskus, VTT)研究教授,并于2007年退休。
15. 保罗·韦伯斯
保罗·韦伯斯(Paul Werbos /pɔl ˈwɜrbɒs/),1947年9月4日——至今,出生于美国 [15]。韦伯斯是一位美国社会科学家和机器学习先驱,他因1974年的论文《Applications of advances in nonlinear sensitivity analysis》而闻名。该论文首次描述了通过误差反向传播来训练人工神经网络的过程。1995年,他因发现反向传播和自适应动态规划等其它基础神经网络学习框架而被授予电气电子工程师学会(Institute of Electrical and Electronics Engineers, IEEE)神经网络先锋奖。
16. 大卫·鲁梅尔哈特
大卫·鲁梅尔哈特(David Rumelhart /ˈdeɪvɪd ˈrʌməlhɑːrt/) ,1942年6月12日——2011年3月13日,出生于南达科他州米切尔 [16]。鲁梅尔哈特是一位美国心理学家,他对人类认知的形式分析做出了许多贡献,主要体现在数学心理学、符号人工智能和并行分布式处理等领域。1986年,他同杰弗里·辛顿和罗纳德·威廉姆斯共同发表了论文《Learning representations by back-propagating errors》,详细阐述了反向传播算法如何有效地通过神经网络传递误差信息并据此更新网络权重,解决了如何有效训练多层神经网络的问题。
大卫·鲁梅尔哈特于1942年6月12日出生在美国南达科他州米切尔地区。他于1963年获得南达科他大学心理学和数学学士学位,并于1963年在斯坦福大学获得数学心理学博士学位。 1967年至1987年,鲁梅尔哈特在加州大学圣地亚哥分校心理学系任教,并于1987 年转到斯坦福大学担任教授直至1998年。1991年,鲁梅尔哈特当选为美国国家科学院院士。
17. 杰弗里·辛顿
杰弗里·辛顿(Geoffrey Hinton /ˈdʒɛfri ˈhɪntən/),1947年12月6日——至今,是一位英裔加拿大计算机科学家和认知心理学家,以其在人工神经网络方面的工作而闻名 [17]。 1986年同大卫·鲁梅尔哈特 和罗纳德·威廉姆斯共同发表了论文《Learning representations by back-propagating errors》。尽管他们并不是第一个提出该方法的人,但是该论文极大地推广了用于训练多层神经网络的反向传播算法。2013年至2023年,他先后在谷歌大脑和多伦多大学工作,随后于2023年5月公开宣布离开谷歌,理由是担心人工智能技术的风险。辛顿因在深度学习方面的工作与 约书亚·本吉奥以及他的博士后杨立昆一起荣获2018年图灵奖,同时还因在人工神经网络机器学习方面的基础发现和发明与约翰·霍普菲尔德一起获得了2024年的诺贝尔物理学奖。
杰弗里·辛顿于1947年12月6日出生于英国伦敦的温布尔登,曾就读于布里斯托尔的克利夫顿学院和剑桥国王学院。辛顿在自然科学、艺术史和哲学等不同学科之间反复转换学位后,最终于1970年毕业并获得了实验心理学学士学位。随后他继续在爱丁堡大学学习,并于1978年获得人工智能博士学位。获得博士学位后,辛顿便在苏塞克斯大学工作。但是由于在英国难以找到项目资金,辛顿便前往加州大学圣地亚哥分校和卡内基梅隆大学工作。辛顿的研究涉及神经网络、机器学习、记忆、感知和符号处理方法等。在2022年的神经信息处理系统会议(Neural Information Processing Systems, NeurIPS) 上,辛顿曾介绍了一种新的神经网络学习算法,他称之为“前向-前向”算法,希望用两次前向传播过程来取代传统的“前向-后向”网络训练方式。
18. 杨立昆
杨立昆(Yann LeCun /jæn ləˈkʌn/),1960年7月8日——至今,出生于法国巴黎郊区 [18]。杨立昆是著名的法国计算机科学家,主要涉及机器学习、计算机视觉、移动机器人和计算神经科学领域。杨立昆的早期工作,特别是与LeNet5 相关的研究,为卷积神经网络的发展和成功应用打下了坚实的基础。他的工作对于计算机视觉和深度学习领域产生了深远的影响,为许多实际应用的成功奠定了基础。他也因在深度学习领域的各项成就同 约书亚·本吉奥和杰弗里·辛顿获得了2018年的图灵奖。
杨立昆于1960年7月8日出生于巴黎郊区的苏西苏蒙莫朗西公社,并于1983年获得巴黎高等电子与电工技术工程师学校工程师文凭。1987年杨立昆获得了皮埃尔和玛丽居里大学计算机科学博士学位,在此期间他提出了神经网络反向传播学习算法的早期形式。 1988年,杨立昆加入了位于美国新泽西州霍姆德尔的美国电话电报公司(American Telephone and Telegraph Company, AT&T)贝尔实验室自适应系统研究部门。在那里他开发了许多新的机器学习方法,例如受生物学启发的图像识别模型卷积神经网络,他将其成功应用于手写体识别和光学字符识别 (Optical character recognition, OCR)上。在杨立昆带领下开发的银行支票识别系统被美国国家现金注册公司和其他公司广泛部署,在20世纪90年代末和2000年代初读取了美国所有支票数量的10%以上。
19. 约书亚·本吉奥
约书亚·本吉奥(Yoshua Bengio /ˈjəʊʃuə ˈbɛndʒəʊ/), 1964 年3月5日——至今,出生于法国后移民至加拿大 [19]。Bengio 是一位加拿大计算机科学家,以其在人工神经网络和深度学习方面的工作而闻名。他是蒙特利尔大学计算机科学与运筹学系的教授,也是蒙特利尔学习算法研究所(Montreal Institute for Learning Algorithms, MILA)的科学主任。本吉奥因在深度学习方面的工作与杰弗里·辛顿和杨立昆一起荣获2018年的图灵奖,他们三人也被认为是深度学习的三驾马车。
约书亚·本吉奥于1964年3月5日出生于法国的一个犹太家庭,从摩洛哥移民到法国,然后再次移民到加拿大。后来本吉奥在麦吉尔大学获得电气工程理学学士学位、计算机科学硕士和博士学位。获得博士学位后,本吉奥曾在麻省理工学院(由迈克尔·乔丹指导)和AT&T贝尔实验室担任博士后研究员。本吉奥自1993年以来一直担任蒙特利尔大学的教员,领导MILA,并且是加拿大高级研究所机器和大脑学习项目的联合主任。
20. 亚历克斯·克里泽夫斯基
亚历克斯·克里泽夫斯基(Alex Krizhevsky /ˈælɪks krɪˈʒɛvski/),1987年8月10日——至今,是一位出生于乌克兰的加拿大计算机科学家 [20],同时也是多伦多大学杰弗里·辛顿的得意门生。2012年亚历克斯和伊利亚·苏茨克维尔仅使用两块英伟达显卡开发了强大的视觉识别网络AlexNet,并赢得了当年的大规模视觉识别挑战赛(ImageNet Large Scale Visual Recognition Challenge, ILSVRC),而这也这彻底改变了后续神经网络的研究。在赢得比赛后不久, 亚历克斯和伊利亚·苏茨克维尔便将他们的初创公司出售给了谷歌 。 同时,亚历克斯也是加拿大高级研究所(Canadian Institutes for Advanced Research, CIFAR)构建CIFAR-10和CIFAR-100数据集的创建者之一。
21. 伊利亚·苏茨克维尔
伊利亚·苏茨克维尔(Ilya Sutskever /ˈɪljə ˈsʌtskɛvər/),1985年——至今,是一名加拿大计算机科学家,从事机器学习的研究 [21]。2015年苏茨克维尔被评为《麻省理工科技评论》35位35岁以下的创新者,2022年伊利亚·苏茨克维尔当选为英国皇家学会(FRS) 院士。苏茨克维尔对深度学习领域做出多项重大贡献,他与克里泽夫斯基和杰弗里·辛顿是卷积神经网络 AlexNet的共同发明人,他也是AlphaGo论文的众多作者之一。
2000年至2002年期间,伊利亚·苏茨克维尔就读于以色列开放大学。2002年,他与家人移居加拿大,并转入多伦多大学,随后在杰弗里·辛顿的指导下获得数学学士学位(2005年)、计算机科学硕士学位(2007年)和博士学位(2012年)。2012年毕业后,苏茨克维尔在斯坦福大学吴恩达那里做了两个月的博士后。之后他回到多伦多大学,加入杰弗里·辛顿 的新研究公司深度神经网络研究(Deep Neural Network Research, DNN Research)。4个月后,在2013年3月,谷歌收购了DNN Research,并聘请伊利亚·苏茨克维尔为谷歌大脑的研究科学家。在谷歌大脑期间,苏茨克维尔与 奥里奥尔·维尼亚尔斯和黎曰国提出了序列到序列(Sequence to Sequence, Seq2Seq)学习算法并致力于深度学习框架 TensorFlow 的研究。2015年底,他离开谷歌成为新成立OpenAI的联合创始人兼首席科学家。苏茨克维尔曾是控制 OpenAI 非营利实体的六名董事会成员之一,2023年因解雇山姆·奥特曼等原因辞去了 OpenAI 董事会的职务。
22. 吴恩达
吴恩达(Andrew Ng /ˈændruː ŋ/),1976年4月18 日——至今,是一位英裔美国计算机科学家和企业家,专注于机器学习和人工智能 [22]。2002年开始在斯坦福大学任教,并且还曾涉足在线教育领域,与达芙妮·科勒(Daphne Koller)共同创立了Coursera和 DeepLearning.AI,通过在线课程向超过250万名学生进行“深度学习民主化”。他是世界上最著名和最有影响力的计算机科学家之一,被《时代》杂志评为2012年100名最具影响力人物之一,并于2014年被《快公司》评为最具创意人士之一。
1997 年吴恩达以班级第一名的成绩从宾夕法尼亚州匹兹堡的卡内基梅隆大学获得了计算机科学、统计学和经济学三个专业的本科学位。1996年至1998年间,他还在AT&T贝尔实验室进行强化学习、模型选择和特征选择方面的研究。1998 年吴恩达在麻省理工学院获得了电气工程和计算机科学硕士学位。2002年,他在导师 迈克尔·乔丹 的指导下获得了加州大学伯克利分校计算机科学博士学位,他的论文“强化学习中的塑造和策略搜索”(Shaping and Policy Search in Reinforcement Learning)至今仍被广泛引用。2011年,吴恩达在谷歌创建了谷歌大脑项目,通过分布式集群开发超大规模的人工神经网络。2014年5月16日,吴恩达加入百度负责百度大脑计划,并担任百度公司首席科学家。2017年3月20日,吴恩达宣布从百度辞职。2017年12月,吴恩达宣布成立人工智能公司登陆智能(Landing AI),并担任公司的首席执行官。
23. 罗纳德·威廉姆斯
罗纳德·威廉姆斯(Ronald Williams /ˈrɒnəld ˈwɪljəms/),1945年——2024年2月16日,是美国东北大学计算机科学教授,也是神经网络的先驱之一 [23]。他与大卫·鲁梅尔哈特、杰弗里·辛顿合作的论文《Learning representations by back-propagating errors》引发了神经网络研究的热潮。他还在循环神经网络和强化学习领域做出了基础性贡献。
24. 福岛邦彦
福岛邦彦(Kunihiko Fukushima /ˌkuːnɪˈhiːkoʊ fuːˈkaʃɪmə/),1936年3月16日——至今,出生于日本 [24]。福岛邦彦是一位日本计算机科学家,以其在人工神经网络和深度学习方面的工作而闻名。他目前在日本福冈模糊逻辑系统研究所(Fuzzy Logic Systems Institute )担任兼职高级研究科学家。1969 年,福岛邦彦在分层神经网络视觉特征提取的背景下引入了线性修正单元(Rectified Linear Unit, ReLU)激活函数,后来有人认为它具有很强的生物学动机和数学依据,可以更好地训练更深层次的网络。1980年福岛邦彦提出了卷积神经网络的原型新认知机(Neocognitron),以及几种有监督和无监督学习算法来训练深度神经认知机,使其能够学习输入数据的内部表示。
25. 丹·奇尔桑
丹·奇尔桑(Dan Ciresan /dæn ˈtʃiːrəsən/),1977年——至今,出生于瑞士 [25]。奇尔桑在罗马尼亚蒂米什瓦拉大学获得博士学位,他是将CUDA 用于深度神经网络的先驱之一。奇尔桑是一位人工智能研究员,他曾在瑞士的达莱莫勒人工智能研究所工作,主要研究方向是模式识别、计算机视觉、语音识别、医学和生物图像分析等。他的方法在交通标志分类、手写汉字识别、神经元膜分割以及在癌症组织学图像中检测有丝分裂等主题上赢得了五项国际竞赛,是一位在人工智能领域有着重要贡献的学者。目前他继续在康德拉研究公司(Conndera Research)进行深度学习研究并担任首席执行官。
26. 何凯明
何恺明,1984年—至今,出生于中国广州。他是残差神经网络(ResNet)的主要发明人,主要研究领域为计算机视觉、深度学习,现任Facebook人工智能实验室研究科学家 [26]。何凯明在计算机视觉和深度学习领域发表了一系列极具影响力的论文,其中 ResNets 论文是2019 年、2020年和2021年谷歌学术中所有研究领域被引用次数最多的论文,并成为了现代深度学习模型的基本组成部分。截至2023年11月,他的出版物引用次数超过50 万次,并且每年以超过10 万次的速度增长。
何恺明2003年至2007年就读于清华大学物理系基础科学班。2007年大四进入微软亚洲研究院视觉计算组实习,实习导师为孙剑。2007年至2011年进入香港中文大学多媒体实验室攻读博士学位,师从汤晓鸥。2011年博士毕业后进入微软亚洲研究院工作,任研究员。2016年,加入Facebook人工智能实验室,任研究科学家。2024年,将赴麻省理工学院电气工程与计算机科学系任教。
27. 恩斯特·伊辛
恩斯特·伊辛(Ernst Ising /ɛrnst ˈaɪzɪŋ/),1900 年5月10日——1998年5月1,出生于德国科隆 [27]。伊辛是一位德国物理学家,因伊辛模型的发展而被人们铭记。他是布拉德利大学的物理学教授,直至1976 年退休。恩斯特·伊辛于1900 年出生在德国科隆。1922年,伊辛在威廉·伦茨的指导下开始研究铁磁性。1924 年他发表了博士论文,获得了汉堡大学物理学博士学位。1925年伊辛同伦茨提出了非学习型循环神经网络架构伦茨-伊辛模型,它被视为第一个由类神经元阈值元素组成的人工循环神经网络架构。
28. 威廉·伦茨
威廉·伦茨(Wilhelm Lenz /ˈvɪlhɛlm lɛnts/),1888年2月8日——1957年4月30日,出生于德国法兰福克 [28]。伦茨是一位德国物理学家,在人工智能领域,最著名的是他与伊辛发明了伦茨-伊辛模型。
29. 约翰·霍普菲尔德
约翰·霍普菲尔德(John Hopfield /dʒɒn ˈhɒpfiːld/),1933年7月15日—至今,美国国家科学院院士,普林斯顿大学神经科学研究所荣休教授。他于1982年提出了联想神经网络(Associative Neural Networks )和现在著名的霍普菲尔德网络(Hopfield Network)。他因在凝聚态物理学、统计物理学和生物物理学等多学科领域的工作而获得了多项重大物理学奖项,并于2024年与杰弗里·辛顿共同获得了诺贝尔物理学奖 [29]。
约翰·霍普菲尔德1933年出生于美国芝加哥,父亲是物理学家也叫约翰·霍普菲尔德。霍普菲尔德于 1954 年获得宾夕法尼亚州斯沃斯莫尔学院物理学学士学位, 1958 年获得康奈尔大学凝聚态物理学博士学位。 毕业后霍普菲尔德在贝尔实验室的理论小组工作了两年,研究血红蛋白结构。随后先后在加州大学伯克利分校(物理学,1961-1964 年)、普林斯顿大学(物理学,1964-1980 年)、加州理工学院(化学和生物学,1980-1997 年)和普林斯顿大学(1997-至今)任教。1982 年,霍普菲尔德发表了他在神经科学领域的第一篇论文,题为《Neural networks and physical systems with emergent collective computational abilities》,他在文中介绍了一种可以充当内容寻址存储器的人工神经网络,其由可以“开”或“关”的二元神经元组成,这也就是后来的霍普菲尔德神经网络。
30. 杰弗里·埃尔曼
杰弗里·埃尔曼(Jeffrey Elman /ˈdʒɛfri ˈɛlmən/),1948年1月22日——2018年6月28日,是美国心理语言学家、加州大学圣地亚哥分校认知科学教授 [30]。1969年 埃尔曼 从哈佛大学毕业,并于1977 年获得德克萨斯大学奥斯汀分校博士学位。1990年,埃尔曼引入了简单循环神经网络,也称为“埃尔曼网络”,并从此得到广泛应用。埃尔曼的工作对于我们理解语言是如何习得以及习得后如何理解句子具有非常重要的意义。同时,埃尔曼网络模型为神经网络如何学习和处理此类序列化结构数据提供了一个重要的假设。
31. 迈克尔·乔丹
迈克尔·乔丹(Michael Jordan /ˈmaɪkəl ˈdʒɔrdən/),1956年2月25日——至今,出生于美国马里兰州阿伯丁[31]。乔丹是一位美国科学家,加州大学伯克利分校教授,机器学习、统计学和人工智能研究员。他是机器学习领域的领军人物之一,2016 年《科学》杂志将他评为世界上最有影响力的计算机科学家。同时,他还是美国国家科学院院士、美国国家工程院院士和美国艺术与科学院院士,并于2020年获得约翰·冯·诺依曼奖章。
迈克尔·乔丹于1978 年以优异成绩从路易斯安那州立大学获得心理学学士学位,1980 年从亚利桑那州立大学获得数学硕士学位,并于1985 年从加州大学圣地亚哥分校获得认知科学博士学位,其导师为 大卫·鲁梅尔哈特,而他本人则是 吴恩达 的博士生导师。乔丹在机器学习社区中推广了贝叶斯网络,并以指出机器学习和统计学之间的联系而闻名。他还在近似推理变分方法的形式化和机器学习中期望最大化算法的普及方面表现突出。
32. 塞普·霍赫赖特
塞普·霍赫赖特(Sepp Hochreiter /zɛp ˈhəʊːxraitər/),1967年2月14日——至今,出生于德国巴伐利亚州 [32]。霍赫赖特 是一位德国计算机科学家,他于2006年至2018年领导林茨约翰开普勒大学生物信息学研究所,自2018年起领导机器学习研究所。此前,他曾分别在柏林工业大学、科罗拉多大学博尔德分校和慕尼黑工业大学任职。2017 年,他成为林茨理工学院 人工智能实验室的负责人。霍赫赖特在机器学习、深度学习和生物信息学领域做出了贡献,最引人注目的是他在1991年的毕业论文中与其指导老师于尔根·施密德胡伯一起提出的长短期记忆网络,并于1997年发表。
33. 于尔根·施密德胡伯
于尔根·施密德胡伯(Jürgen Schmidhuber /ˈjuːɡən ˈʃmiːtˌhuːbər/), 1963年1月17日——至今,出生于德国慕尼黑 [33]。施密德胡伯 是一位德国计算机科学家,因其在人工智能领域的工作而闻名。
于尔根·施密德胡伯 在德国慕尼黑慕尼黑工业大学完成了本科(1987 年)和博士(1991 年)学习。1991年 施密德胡伯 指导了他的学生塞普·霍赫赖特 的毕业论文,并称其为机器学习史上最重要的文献之一,它分析并克服了梯度消失的问题,而这便催生了后续长短期记忆的诞生。1997年,塞普·霍赫赖特和施密德胡伯在论文中《Long short-term memory》中正式提出了长短期记忆网络,并且成为了20世纪被引用最多的神经网络。
34. 阿希什·瓦斯瓦尼
阿希什·瓦斯瓦尼(Ashish Vaswani /ˈæʃɪʃ vəsˈwɑːni/),出生于印度,是一位从事深度学习领域的计算机科学家,他因其在人工智能和自然语言处理领域的重大贡献而闻名 [34]。他是开创性论文《 Attention Is All You Need》的共同作者之一,该模型在NLP领域后续几个最先进的模型开发中发挥了重要作用,包括BERT和GPT系列模型。他同时还是精通智能实验室(Adept AI Labs)的联合创始人,谷歌大脑的前研究员科学家。瓦斯瓦尼于2002 年从印度梅斯拉比尔拉理工学院完成了计算机科学工程专业。2004年,他移居美国,在南加州大学继续深造并获得博士学位。
35. 山姆·奥特曼
山姆·奥特曼(Sam Altman /sæm ˈɔːltmən/),1985 年 4 月 22日——至今,出生于美国伊利诺伊州芝加哥 [35]。奥特曼 是一位美国企业家和投资者,自 2019 年以来担任OpenAI首席执行官(他曾短暂被解雇并于2023 年11月复职)。奥特曼 被认为是人工智能热潮的领军人物之一,在他的带领下 OpenAI 于2022年11月推出了 ChatGPT 聊天机器人。ChatGPT 不仅能够与人类进行自然对话,还能够根据用户的需求提供各种信息和服务,在发布以后短短2个月内就达到了月活跃用户1亿的数量,引发了全球范围的关注和讨论,成为了人工智能领域的一项里程碑。
山姆·奥特曼 出生于伊利诺伊州芝加哥的一个犹太家庭,在密苏里州圣路易斯长大。他的母亲是皮肤科医生,父亲是房地产经纪人。2005年,19岁的 奥特曼 从斯坦福大学辍学,同好友合作创办社交媒体公司 Loopt。2015年,奥特曼 与 埃隆·马斯克、伊利亚·苏茨克维尔等人在旧金山成立了OpenAI,共同认捐了10亿美元。他2015年被《福布斯》杂志评为30岁以下最佳投资者,2023年被《时代》杂志评为全球最具影响力的100人之一和年度首席执行官。
36. 黛米斯·哈萨比斯
黛米斯·哈萨比斯(Demis Hassabis /ˈdɛmɪs hæˈsɑːbɪs/),1976年7月27日——至今,出生于英国伦敦 [36]。哈萨比斯 是一位英国计算机科学家、人工智能研究员和企业家,他致力于想象力、记忆和健忘症领域的研究,在《自然》、《科学》、《神经元》和《美国国家科学院院刊》上发表了多篇有影响力的论文。在其领导下,深度大脑(DeepMind)开发的 AlphaGo 在 2015年10月以5-0击败欧洲围棋冠军樊麾,然后在2016年3月以 4-1战胜前世界围棋冠军李世石,最终2017年5月月战胜了世界第一旗手柯洁。AlphaGo 在没有人类对手后,AlphaGo 之父 哈萨比斯宣布 AlphaGo 退役,并进军蛋白质结构预测。2018年12 月,DeepMind 开发的 AlphaFold 成功预测了43种蛋白质中25种的准确结构,赢得了第13届蛋白质结构预测比赛。无论是 AlphaGo 还是 AlphaFold,其背后的关键计算便是深度学习模型。2017年 哈萨比斯 被《时代》杂志评选为最具影响力的100人,2022年同约书亚·本吉奥、杰弗里·辛顿 和杨立昆一起获得阿斯图里亚斯公主技术和科学研究奖。2024年,他因在蛋白质结构预测领域的贡献而获得诺贝尔化学奖。
黛米斯·哈萨比斯出生于英国伦敦北部,父亲是希族塞人,母亲是新加坡华人。从4岁起 哈萨比斯 就是国际象棋神童,在13岁时达到大师标准并担任许多英格兰青少年国际象棋队的队长。他分别在15岁和16岁时提前两年完成了A-level考试和奖学金考试,但由于年龄太小被剑桥大学要求休学一年。1997 年 哈萨比斯 以双第一的成绩毕业从剑桥大学毕业。2009 年在埃莉诺·马奎尔 (Eleanor Maguire) 的指导下获得伦敦大学学院认知神经科学博士学位。2010年成立 DeepMind 并于2014年被谷歌收购。
37. 李飞飞
李飞飞(Fei-Fei Li),1976年7月3日—至今,出生于中国北京 [37]。斯坦福大学首位红杉讲席教授,美国国家工程院院士,曾任职于斯坦福大学人工智能实验室 、斯坦福视觉实验室。现为 ImageNet 的首席科学家和首席研究员(也是ImageNet项目的发起人之一)、斯坦福以人为本人工智能研究院院长、AI4ALL联合创始人及主席。她的研究领域涉及计算机视觉、机器学习、深度学习、认知神经科学等,极大地推动了深度学习在图像识别方面的发展。
李飞飞于1976年出生于中国北京,并在四川成都长大。12岁时其父亲远赴美国,4年后的1992年,15岁的李飞飞随母亲一起赴美国新泽西州帕西帕尼-特洛伊山与父亲团聚并移民定居。1995年李飞飞以全班第六名的成绩毕业,获得了普林斯顿大学的奖学金并进入普林斯顿大学学习。1999年,她在普林斯顿大学取得物理学高级荣誉学士学位。毕业后曾赢得奖学金前往西藏研究西藏传统药物。2001年,她在加州理工学院开始研究生的学习和工作,主要从事神经科学和计算机科学的交叉学科研究,并于2003年获电气工程科学硕士学位,2005年获同一专业的博士学位。博士论文为视觉识别:计算模型与人类心理物理学(Visual Recognition: Computational Models and Human Psychophysics),其博士研究获得了美国国家科学基金会研究生奖学金和保罗与黛西新美国人奖学金的支持。
38. 伊恩·古德费洛
伊恩·古德费洛(Ian Goodfellow /ˈiːən ˈɡʊdfɛloʊ/),1987年——至今,是一位美国计算机科学家、工程师和高管,以其在人工神经网络和深度学习方面的工作而闻名 [38]。他此前曾担任谷歌大脑的研究科学家和苹果公司的机器学习总监,并为深度学习领域做出了多项重要贡献,包括发明生成对抗网络(Generative Adversarial Network, GAN)以及作为第一作者共同撰写了《深度学习》教科书。
伊恩·古德费洛在吴恩达的指导下获得了斯坦福大学计算机科学学士和硕士学位,并于2014 年 4 月在约书亚·本吉奥和亚伦·库维尔 (Aaron Courville)的指导下获得蒙特利尔大学机器学习博士学位,其论文题目是 Deep learning of representations and its application to computer vision。毕业后,古德费洛加入谷歌,成为谷歌大脑研究团队的一员。2016年3月,他离开谷歌加入新成立的 OpenAI 研究实验室。在仅仅11个月后,2017年3月古德费洛重返谷歌研究院,但在2019年再次离开并加入苹果担任特别项目组机器学习总监。 2022年4月,古德费洛从苹果公司辞职 随后加入 DeepMind 担任研究科学家。
39. 奥里奥尔·维尼亚尔斯
奥里奥尔·维尼亚尔斯(Oriol Vinyals /ˈɔːriəl viˈnjɑːls/),1983 年——至今,出生于西班牙 [39]。维尼亚尔斯是 DeepMind 的一名西班牙机器学习研究员及首席研究科学家。奥里奥尔·维尼亚尔斯 出生于西班牙加泰罗尼亚巴塞罗那,并在加泰罗尼亚理工大学学习数学和电信工程。随后,他移居美国在加州大学圣地亚哥分校获得计算机科学硕士学位,并于2013年在 Nelson Morgan (尼尔森·摩根)指导下获得加州大学伯克利分校电气工程和计算机科学博士学位。2014年,维尼亚尔斯与 伊利亚·苏茨克维尔和 黎曰国 共同发明了 Seq2Seq 机器翻译模型。同时,维尼亚尔斯还领导了 DeepMind 的 AlphaStar 研究小组,并将人工智能应用于星际争霸 II等电脑游戏中。2016年,维尼亚尔斯被《麻省理工科技评论》杂志评选为35位35岁以下最具创新精神的年轻人之一。
40. 黎曰国
黎曰国(Quoc V. Le /ˈkwɒk ˈviːət ˈliː/),1982 年——至今,出生于越南 [40]。黎曰国是一位越南裔美国计算机科学家,也是谷歌大脑的联合创始人之一。他共同参与发明了自然语言处理领域中的 Doc2vec 和 Seq2Seq 模型,并且还发起并领导了谷歌大脑的AutoML计划。
黎曰国出生于越南的承天顺化省,曾就读于国学顺化高中。2004年,黎曰国移居澳大利亚就读澳大利亚国立大学,在 亚历山大·斯莫拉(Alex Smola )的指导下研究机器学习中的核方法。 2007年,黎曰国前往斯坦福大学攻读计算机科学硕士和博士学位,期间 吴恩达 担任其博士阶段导师。 2011年 黎曰国与吴恩达 、谷歌研究员杰夫·迪恩(Jeff Dean)和 格雷格·科拉多(Greg Corrado) 共同创立了谷歌大脑(Google Brain),并领导了谷歌大脑的第一个重大发现,即在具有16000个CPU核心的平台上通过 YouTube 视频训练得到了一个用于识别“猫”的模型。2014年,伊利亚·苏茨克维尔、奥里奥尔·维尼亚尔斯 和 黎曰国提出了机器翻译模型Seq2Seq,并于同年提出了用于文档表示学习的 Doc2vec 模型。同时,黎曰国还是对话应用程序式语言模型(Language Model for Dialogue Applications,LaMDA)的作者之一,并于2022 年提出了思想链提示(Chain of Thougnt)作为提高大语言模型推理能力的方法。2014 年,黎曰国被《麻省理工科技评论》评为35岁以下创新者。
41. 杰夫·迪恩
杰夫·迪恩(Jeff Dean /dʒef diːn/),1968年7月23日——至今,出生于美国 [41]。迪恩是一位美国计算机科学家和软件工程师,也是 TensorFlow 项目的贡献者之一,自2018年起他一直担任谷歌AI的负责人。在 Alphabet 的人工智能团队重组后,他于2023年被任命为 Alphabet 首席科学家。
杰夫·迪恩于1968年出生于美国夏威夷,并于1990年以优异成绩获得明尼苏达大学计算机科学和经济学学士学位。1996年,迪恩在克雷格·钱伯斯(Craig Chambers)的指导下获得了华盛顿大学计算机科学博士学位,其研究方向为编译器和面向对象编程语言的全程序优化技术。2009年,迪恩当选为美国国家工程院院士,以认可他在大规模分布式计算机系统的科学与工程方面的工作。
42. 格雷格·布罗克曼
格雷格·布罗克曼(Greg Brockman /ɡreɡ ˈbrɑːkmən/),1987年11月29日——至今,出生于美国北达科他州 [42]。布罗克曼是一位美国企业家、投资者和软件开发人员,是OpenAI的联合创始人和现任总裁。
格雷格·布罗克曼出生于美国北达科他州汤普森,就读于红河高中,并且在数学、化学和计算机科学方面表现出色。2008年,布罗克曼就读于哈佛大学,但仅一年后就离开了,然后短暂就读于麻省理工学院。2010年,他从麻省理工学院退学,加入了一家由麻省理工学院毕业生创建的公司条纹(Stripe)。2013 年,他成为条纹的首位首席技术官,并将公司员工人数从5人增加到了205 人。2015年5月布罗克曼离开条纹公司,并于 2015 年12月与 山姆·奥特曼 和 伊利亚·苏茨克维尔 共同创立OpenAI并担任首席技术官一职。
引用#
[1] https://zh.wikipedia.org/wiki/艾伦·图灵
[2] https://zh.wikipedia.org/zh-cn/约翰·冯·诺伊曼
[3] https://zh.wikipedia.org/zh-cn/约翰·麦卡锡
[4] https://zh.wikipedia.org/zh-cn/克劳德·香农
[5] https://zh.wikipedia.org/wiki/沃伦·麦卡洛克
[6] https://en.wikipedia.org/wiki/Walter_Pitts
[7] https://en.wikipedia.org/wiki/John_Mauchly
[8] https://en.wikipedia.org/wiki/J._Presper_Eckert
[9] https://en.wikipedia.org/wiki/Allen_Newell
[10] https://en.wikipedia.org/wiki/Herbert_A._Simon
[11] https://en.wikipedia.org/wiki/Frank_Rosenblatt
[12] https://en.wikipedia.org/wiki/Marvin_Minsky
[13] https://en.wikipedia.org/wiki/Seymour_Papert
[14] https://en.wikipedia.org/wiki/Seppo_Linnainmaa
[15] https://en.wikipedia.org/wiki/Paul_Werbos
[16] https://en.wikipedia.org/wiki/David_Rumelhart
[17] https://en.wikipedia.org/wiki/Geoffrey_Hinton
[18] https://en.wikipedia.org/wiki/Yann_LeCun
[19] https://en.wikipedia.org/wiki/Yoshua_Bengio
[20] https://en.wikipedia.org/wiki/Alex_Krizhevsky
[21] https://en.wikipedia.org/wiki/Ilya_Sutskever
[22] https://en.wikipedia.org/wiki/Andrew_Ng
[23] https://en.wikipedia.org/wiki/Ronald_J._Williams
[24] https://en.wikipedia.org/wiki/Kunihiko_Fukushima
[25] https://www.linkedin.com/in/dan-c-49317a8b/
https://people.idsia.ch/~ciresan/
[26] https://kaiminghe.github.io/
[27] https://en.wikipedia.org/wiki/Ernst_Ising
[28] https://en.wikipedia.org/wiki/Wilhelm_Lenz
[29] https://en.wikipedia.org/wiki/John_Hopfield
[30] https://en.wikipedia.org/wiki/Jeffrey_Elman
[31] https://en.wikipedia.org/wiki/Michael_I._Jordan
[32] https://en.wikipedia.org/wiki/Sepp_Hochreiter
[33] https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber
[34] https://en.wikipedia.org/wiki/Ashish_Vaswani
[35] https://en.wikipedia.org/wiki/Sam_Altman
[36] https://en.wikipedia.org/wiki/Demis_Hassabis
[37] https://zh.wikipedia.org/zh-cn/李飞飞
[38] https://en.wikipedia.org/wiki/Ian_Goodfellow
[39] https://en.wikipedia.org/wiki/Oriol_Vinyals
[40] https://en.wikipedia.org/wiki/Quoc_V._Le