梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
DeepMind近两万引科学家Felix Hill，去世了。
他参与过NLP领域经典的GLUE和SuperGLUE基准，2016年起在DeepMind工作直到最后一天。
在他去世的前几个月，留下一篇讨论“在现代AI领域工作的压力”的文章《2000亿权重的责任》，引起热议。
文章中提到他因家人去世、压力等原因患上急性精神病，经历了6个月危及生命的抑郁症之后，感觉开始在好转了，重新恢复写文章。
他把自己的经历，以及对过去两年AI领域的烦死分享出来，希望能够帮助到同样正在经受痛苦的人。
Felix Hill去世的消息由他的好友、纽约大学教授Kyunghyun Cho带来。
Kyunghyun Cho表示12月9日就写好了这篇悼文，但迟迟不敢发布，因为不想也不敢相信所发生的事。现在光是想到这件事，心仍然很痛。
无论是与他合作过，还是仅有一面之缘，又或是只读过他文章、听过他学术演讲的学者纷纷表示，这个消息令人心碎。
他留下讨论AI工作压力的文章，再次引起很多人共鸣。
Felix Hill其人
Felix Hill不是职业生涯一开始就进入AI行业的。
2006年，他在牛津大学数学专业毕业后做过几年数学教师。2016年在剑桥大学获得计算语言学博士学位。
这期间他致力于教育，除了在高中教数学之外，也参加过非盈利组织，以及自己创办教育企业。
2016年加入DeepMind后一直工作了近9年。
除了研究之外，Felix Hill经常分享自己的思考，他会从语言学的角度分析Transformer。
他留下的最新一篇学术文章，是探讨Transformer中归纳偏置的作用，与Sutton的《苦涩的教训》相对，提出《苦乐参半的教训》。
Felix Hill认为，语言中局部依赖远比长距离依赖更为常见，依存句法分析器结果显示语言中依存关系分布严重偏向短距离。
但奇怪的是，RNN有表示局部依赖的归纳偏置，而Transformer在依赖长度上无偏好却在很多任务中表现更优。
他提议或许人们应该停止设计反映数据最常见模式的归纳偏置，一个好的通用模型很容易学到这些现象。
但只要计算、规模和数据有限，特定领域的偏置仍有必要设计，Transformer 的自注意力是一种有效的归纳偏置。
此外，他10年前第一次接触RNN时，在一次演讲中提出大胆的观点“语法不存在了”，以及神经网络语言模型给语言学带来的其他令人震惊的结论。
当时这个观点在学术界引起了一些争议，现在却常常被人回味。
最后附上Felix Hill探讨AI研究工作压力的文章整理翻译。
2000亿权重的责任
人工智能领域在过去两年中发生了不可逆转的变化。
ChatGPT的月活跃用户接近2亿。Gemini在2024年5月访问量接近3.2亿次，AI爱好者现在可以享受AI微波炉、AI牙刷甚至AI足球。
然而，对于许多从事人工智能工作的人来说，这种公众兴趣的激增既是福也是祸。当然，薪资、股价和市值都上涨了。另一方面，这种变化也带来了一组独特的压力。
这篇博客是关于现代人工智能的压力，它面向那些工作与人工智能相关的人（保守估计现在约占世界人口的 87%），尤其是那些从事人工智能研究的人。
最终，我希望讨论是什么让AI研究变得有压力，能让那些有幸从事这一领域工作的我们生活更加快乐。因为，尽管目前混乱，它仍然是一项美好、充实的职业；一项有潜力解决科学、哲学乃至人类自身许多重大问题的职业。
无法逃脱
几个月前，我在一个朋友的40岁生日聚会上。我们关系很好，所以我认识大部分客人，有些还非常熟悉。但并不是所有人都认识。
在那些我最不熟悉的人中，我注意到了一个奇特的现象。
尽管我身体不适（稍后详述），显然也不愿意交谈，但围绕我形成了一个小队伍。仅仅因为人们知道我在DeepMind工作，所以想要和我交谈。
并且聊的并非关于足球或80年代音乐等事物。这些人想要谈论的是我尽量避免思考的一件事：人工智能。
虽然很多人对我的工作感兴趣让我感到荣幸，但也让我意识到过去两年发生了多大的变化。银行家、律师、医生和管理顾问都想要了解我对ChatGPT的看法；尽管很少有人声称直接在自己的工作中使用这样的大模型，但他们确信人工智能领域正在发生一些他们应该了解的事情。
作为一名研究人员，我确信您能理解在社交场合无法放松的感觉。
但情况更糟。即使在自家的范围内，我也并不安全。
我已经很久不再看新闻，害怕引发焦虑。但即使在看足球、VH1电视频道、优秀电视剧改编，广告中也充满了对人工智能的提及。
在这个时候，我常常想收拾行李，穿越大陆，加入一个孤立的小团体。尽管在这个阶段，即使内观禅修在某种程度上被AI渗透，我也不会感到惊讶。
隐含竞争
几家大型公司似乎在竞争开发最大、最好的大型语言模型，这一事实本身就有内在的压力；无论你为谁工作。
目前从事人工智能研究可能会感觉像是在参与一场战争，众所周知，战争可能导致严重的后果，包括精神错乱、离婚和自杀。
当然，这并不是将参与人工智能研究等同于“字面上的战争”中的身体战斗。但根据我自己的经验，这种相似性是真实的，尽管有些微弱。
关注底线
通常，工业界的研究人员不习惯他们的工作直接且立即影响雇主的财务状况。
当然，许多研究人员都会梦想有机会产生这样的影响。只是之前这就像是十年一遇的事情。
在大多数情况下，今天对大模型的基础研究结果是小的，可能是模型性能的短期波动。然而，由于公众估值与大模型的表现紧密相连，这些波动反过来可能导致股价出现数十亿美元的波动。
这种动态当然非常紧张，这不是 AI 研究人员在研究生院、博士后期间，甚至 2022 年之前工作中准备好的事情。
钱、钱、钱
大多数人工智能研究人员，尤其是我们这些年龄稍大的人，并没有为了赚钱而进入研究领域。
为热爱的工作赚取大量金钱听起来像是一种万能药，但它也可能引发强烈的焦虑。尤其是如果推动你收入增加的外部因素不在你的控制范围内，或者有让你不再像以前那样热爱工作的效果。
无论AI是否与此有关，都有充分的证据表明突然积累财富可能会导致各种问题；只需看看那些经过多年努力终于取得成功的演员或歌手。上瘾、破裂的关系、破碎的友谊甚至自杀只是其中一些更常见的症状。这些当然是我能够感同身受的症状。
没有科学家的位置
规模、简洁性和大模型的有效性使得进行相关“科学”研究变得困难，即在意义上它立即使大模型变得更好。
领先的研究员们已经宣扬了Rich Sutton的《苦涩的教训》；事实是，在规模之外几乎不需要任何创新。
即使理论上可能实现实质性创新（这当然可能），实现它通常需要在大约1001个条件下进行反复训练。这甚至不是最大的公司都能承担得起的。对于一个“仅仅”是研究科学家的人来说，这可能感觉是无法解决的痛苦。
这些条件对于习惯于在小团队（5-10人）中工作的工业科学家来说很困难。但对于学术界的人来说，这些条件无疑更加严峻：博士生、博士后以及AI/CS/ML领域的教师。
发表
尽管学术界的人士可以（并且应该）继续发表从实验大模型中获得的见解，但对于工业界的科学家来说，是否发表的问题并不那么明确。
发表一直是科学过程的一个内在组成部分，并且始终是人工智能研究的一个核心原则。我与大多数人工智能研究人员交谈过，尤其是研究科学家，他们都同意我的观点，认为发表是我们职业生涯的一个关键方面。
然而，在工业界至少，过去两年里，关于发表研究成果是否可行的问题变得越来越不明确。能够改善大模型的小技巧在大模型的竞争中可能成为至关重要的武器。是否将这些秘密公之于众对资助研究组织的利益总是个复杂的问题。
这所有的一切意味着研究人员往往对自己的想法的命运没有意识，至少在我个人的情况下，这可能导致巨大的压力。
初创企业
当然，一种可能的摆脱这些担忧的方法是制定一个科学愿景，筹集一些资金并成立一家初创公司。事实上，目前AI初创公司（无论大小）的激增显示了有多少科学家选择了这条道路。
但成为创始人并不能保证避免与压力相关的问题。事实上，这众所周知是压力很大的；即使在当前投资者的热情水平下，许多资金充足的 AI 初创公司也失败了。我从自己的经历中知道，成为创始人是一条特别孤独的旅程。毫无疑问，对于有抱负的科学家来说，这是一个可行的选择，但这并不是一个能让科学研究变得容易的选择，也不是一个能减轻压力的选择。
为什么我选择写关于压力的博客？
过去两年，人工智能领域混乱而疯狂，但对我来说，这也是一段特别动荡的时期。
2023年4月，我的母亲在与阿尔茨海默病长期斗争后去世。当时我因急性精神错乱正在精神病院接受治疗，压力可能是重要因素。
接下来的12个月里，理论上我在恢复，但实际上处于极度焦虑和自杀抑郁的状态。在这段时间里，我很幸运有理解我的情况（以及我对公司的价值）的雇主，他们提供了持续的治疗和精神支持。
经过6个月的危及生命的抑郁症之后，我开始感觉好转，最近能够写关于我的经历。我了解到压力和焦虑是相辅相成的；实际上，它们最终可能是同一件事。当然，像任何适应性特征一样，焦虑也可能带来好处（例如，提高生产力），但当焦虑变得恶性时，后果可能非常严重。
在反思过去两年的人工智能领域，同时尝试重新学习如何成为一名人工智能研究者时，我获得了在这篇博客中分享的见解。当然，分享这些见解并不能解决一般性的问题，但在我最黑暗的时刻，让我感到希望的少数事情之一是知道我并不孤单。如果你现在正在遭受痛苦，请相信我——你并不孤单。
社交焦虑
我已经涵盖了目前可能困扰那些从事人工智能研究的人们的许多压力或焦虑的催化剂。但有一种压力我尚未提及，因为我很幸运从未亲身经历过。相反，我是通过与朋友和同事的亲密交谈了解到的。
这种压力形式是社会焦虑。
根据朋友的说法，那些社交焦虑的人觉得群体互动很困难。在当今人工智能领域，大型项目团队和大规模（通常是跨大陆）的合作是必不可少的，这更加困难。目前行业的高流动率只会使情况变得更糟，因为那些通常作为社交“安全网”的既定团队可能会在一夜之间被摧毁。流动率还可能导致信任问题，因为之前可靠的盟友可能会离开去加入“敌对”的研究团队。
好消息是，社交焦虑，就像我迄今为止讨论的所有焦虑或压力的表现一样，是可以克服的。这个过程始于培养家庭和“非 AI”朋友等自然支持网络。但对于我们所有在 AI 领域工作的人来说，一个关键的第二步是开始并持续进行关于压力的坦诚对话。
所以请分享您的个人经历，发文或评论，让我们看看能否让AI研究不仅成为一个充满活力和智力挑战的地方，而且还是一个充满同情和善良的地方。
参考链接：
[1]https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/
[2]https://kyunghyuncho.me/bye-felix/
