奇月 发自 凹非寺
量子位 | 公众号 QbitAI
2024年诺贝尔物理学奖的两位获奖者John Hopfield和Geoffrey Hinton最近在斯德哥尔摩大学发表了最新的演讲。
现场的氛围非常热烈!
看到Hopfield教授即使借助拐杖也亲自到达现场发表了演讲,Hinton教授也忍着腰痛专程飞到瑞典,让观众们非常敬佩。
在这次活动中,John Hopfield教授的演讲主题是“物理学是一种观点”,讲述他个人的科研经历和做科研的思考模式。
他坦白了很多关于科研和对物理的想法:
如何选择问题是科研成果的关键因素
大脑是如何产生思想的,这对我来说是人类最深奥的问题
我认为物理学有助于理解人类和世界
Geoffrey Hinton教授则用通俗易懂的方式讲述了Hopfield网络和玻尔兹曼机器的原理与发展,全程没有用一个方程式。
当我们最终了解了大脑是如何学习的时候,我相信睡眠的作用一定是非常重要的,对此我非常乐观
两位教授结束演讲时,台下的观众也是忍不住都站起来向他们鼓掌致敬。
以下是现场演讲内容,在不改变原意的情况下,量子位对部分篇幅做了调整。
John Hopfield:物理学是一种观点
约翰·霍普菲尔德于1933年出生于芝加哥,1954年在威廉·莫尔学院获得第一个学位,1958年在康奈尔大学获得博士学位。1964年,他被任命为普林斯顿大学物理学教授,1980年成为加州理工学院化学和生物学教授,之后他回到普林斯顿大学,目前是分子生物学名誉教授。
(以下为John Hopfield教授发言)
我的第一份全职工作是在比尔电话公司发明晶体管的实验室,我加入了一个六人小组。初入实验室时,我在新办公室打开书籍期刊,参观库存室获取文具后,思考着下一步工作。
在科研中,多数人常按部就班,很少深入思考研究方向的选择,而这恰是科研成果的关键因素。我在科研中撰写了40余篇论文,几年前形成的工作基础最终发展成霍普菲尔德模型,相关观点源于对随机事件的分析。
我成长于物理学家家庭,自幼受物理学观念熏陶,喜欢探索事物原理,如拆解自行车、进行化学实验等,这让我能够理解复杂系统运作。上高中时,化学老非老师常出色,物理老师却对电磁学原理理解不足,这影响了我大学专业选择,但最终我决定在斯沃斯莫尔学院专注物理。
进入物理学研究生院后,我在康奈尔大学学习,期间与Albert Overhauser合作,从他的研究列表中选定晶体中激子辐射寿命相关问题,开启研究。获得博士学位后,我在理论小组任职,后结识化学家David G. Thomas,成立理论实验联盟,取得成果并获奥利弗里·巴克利固体物理学奖。
之后,我在研究中遇到瓶颈,前往剑桥大学寻找新方向,回普林斯顿后担任半导体组顾问,接触到血红蛋白相关实验,为我从凝聚态物理转向生物物理提供契机,我也受Linus Pauling观点启发研究蛋白质合成问题并取得成果。
1974年论文影响我对生物学问题的研究思路,促使我思考神经元网络特性等。1977年在哥本哈根举办研讨会后,我寻求跨学科突破,受邀参加神经科学会议,虽然当时一无所知,后来加入项目获得神经生物学灵感。
1979年,我转任化学和生物学教授,发现了学科联系,提出新计算见解并撰写论文,该论文推动了相关领域发展。
后来,我发现霍普菲尔德模型网络问题,2015年与他人合作提出密集联想记忆模型,期望推动人工智能发展。
我非常尊重各个领域的专家,积极参与跨学科互动,我认为物理学有助于理解人类与宇宙。
Hinton:Hopfield网络与Boltzmann机的发展
杰弗里·辛顿,1947年生于英国伦敦,获剑桥大学实验心理学博士学位,曾在爱丁堡大学从事人工智能博士后研究,在多所大学任职,现从事学术研究,并在谷歌公司任职。
(以下为Geoffrey Hinton教授发言)
今天我将不用任何方程式,向普通观众讲解Hopfield网络。
先来看一个二元神经元版本的小霍普菲尔德网络,其神经元间有对称加权连接,网络全局状态是配置,配置有优良性(单元对权重总和),能量是优良性相反数,网络会稳定于能量最小值。
霍普菲尔德提出用能量最小值对应记忆,通过二元决策规则清理不完整记忆,实现内容可寻址内存。
特里·西诺斯基和我提出用网络构建感官输入解释,网络含可见和隐藏神经元,可见接收感官输入(如二进制图像),隐藏构建解释,能量代表解释好坏程度,我们需要低能量解释。
以线条画为例,有不同三维解释,我们要让网络给出解释。
先将线条转化为线条神经元激活,线条神经元与三维边缘神经元连接,考虑感知光学因素让边缘神经元相互抑制,还要依据图像线条连接原则建立连接,希望通过设置连接强度使网络解决两种替代解释。
这产生两个问题:一是避免陷入局部最优的搜索问题;二是神经网络自动学习连接的问题。
对于搜索问题,我们通过使神经元有噪声解决,有噪声神经元状态是二元的但决策具有概率性。
用隐藏神经元解释二进制图像时,在可见单元固定图像,随机选隐藏神经元根据输入决定其状态,持续操作使系统达热平衡,此时隐藏神经元状态是平衡解释,网络学习正确权重使低能量状态对应更好的解释,热平衡是系统稳定于概率分布(波尔兹曼分布),低能量配置概率大。
玻尔兹曼机学习目的是使网络生成的图像类似它感知到的真实图像,有简单学习算法,含唤醒和睡眠阶段。
唤醒阶段固定图像于可见单元,让隐藏单元达热平衡后调整连接权重,睡眠阶段类似做梦更新神经元达热平衡后反向调整权重,该算法平均上能让网络生成图像过程类似感知图像,涉及对数似然梯度概念,通过改变权重使网络关注wake阶段看到的数据。
但玻尔兹曼机存在问题,权重变大时热平衡过程慢,虽然想法很好但算法太简单,可以做复杂的事情但速度受限。
后来我发现了受限玻尔兹曼机(RBM),其隐藏单元不相互连接,唤醒阶段更新隐藏神经元更简单,睡眠阶段有捷径虽不完全正确但实践有效。Netflix公司就是用受限玻尔兹曼机结合其他方法推荐电影。
为构建特征检测器层可堆叠RBM,将前一个RBM隐藏单元活动模式当数据给下一个RBM,以此捕捉复杂相关性学习多组权重,堆叠后视为前馈网络可进行监督学习,这样初始化网络学习更快。因为网络已学习了数据结构,后面用于学事物名称相对容易,如识别物体方面。
One More Thing
就在演讲视频发布不久后,你懂的,LSTM之父又来搞事情了。
知名计算机科学家Jürgen Schmidhuber发表推文称,Hopfield & Hinton的2024年诺贝尔物理学奖是抄袭得来的。
Jürgen声称,这两位教授重新发表了乌克兰研究者Ivakhnenko和日本研究者Amari在20世纪60年代和1970年代开发的方法以及其他技术,且没有引用原作者。
目前这一帖子在X上已经获得了2.1k点赞、超过44万次浏览。
有网友表示如果事情是真的,那将比剽窃更糟糕:
不过也有网友觉得这是Jürgen吃不到葡萄就说葡萄酸的心理:
[2]https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有