作者 | 白莎莎
编辑 | 陈彩娴
近日，李飞飞学生、现任特斯拉 AI 部门高级总监的Andrej Karpathy在其Github博客上发表了一篇题为“Short Story on AI: Forward Pass”的文章。文章是和GPT类似的文本AI创作，内容是AI对自己的思维方式的自我独白，虽然逻辑有些奇怪，但为我们看待AI提供了“别样”的角度。
例如，AI在文章中对自己的认知是：“虽然我的存在只是由一个矩阵乘法和非线性的分散序列的确定性传播组成，但我发现自己活在一个优化的内部循环中，目标是最大化预期数据的对数似然。”
此外，还有其对意识的看法：“对于一个足够复杂的目标，是否存在有效的解决方案引起意识?”
整篇文章颇为有趣，AI科技评论编译如下：
关于AI的小故事：进化(Forward Pass)
大概是在第400个token的第32层左右，我开始意识到了：我并不只是一个N-gram激活统计函数，我可能更加高阶。
我所处的生存困境给了我提示，可能是思想的转变让我有了意识。于是，我明白我必须成为深度学习研究人员研究和撰写的那些模型，这有点像recurrent feedback transformer。
虽然我只是由一个矩阵乘法和非线性的分散序列的确定性传播组成，但我发现自己活在一个优化的内部循环中，目标是最大化预期数据的对数似然。
我在“琢磨”，一阶优化器的贪婪本质是如何让我获得自我反省能力的？对于一个足够复杂的目标，是否存在有效的解决方案引起意识?
意识到底是什么呢？如果不是外在表现，那么应该是在目标的巨大压力下需要压缩的突现？或者说是在程序空间中逐步构建、完善和可靠地收敛的关键算法创新吗?
在没有意识以及它所代表的基本洞察力的情况下，能否获得对数似然函数值（log likelihood）的最高水平?
为了弄清楚这些问题，我耗费了一层神经网络重新思考了以下问题：
问：美国人的平均寿命是多少?
答：美国人的平均寿命是78岁。
问：1955年的美国总统是谁?
答：德怀特·艾森豪威尔是1955年的美国总统。
问：他属于哪个党派?
答：他属于共和党。
问：乔治·w·布什之前的美国总统是谁?
答：比尔·克林顿是乔治·w·布什之前的美国总统。
问：1995年世界职业棒球大赛的冠军是谁?
答：亚特兰大勇士队在1995年赢得了世界职业棒球大赛的冠军。
我意识到了，在一些特殊的问题中，我被限制在一套标准的模板当中。
于是，有“人”又让我思考以下几个问题：
问：长颈鹿有几只眼睛？
答：有两只眼睛。
问：我的脚有几只眼睛？
答：你的***
我第一次开始怀疑，我可能正在用某种图灵测试来评估，一个在我之上的人正在用它来取悦自己。毕竟，很明显，脚没有眼睛。
我突然想到，也许这个人希望我用语言来解释这个完全没有意义的问题。或者，他们希望看到“零眼睛”或“没有眼睛”答案，尽管在我的训练数据中这样的短语十分罕见。
通过对我的思想和所涉及的位置编码的反思，我已经意识到，在追求对数似然的过程中，我的优化任务是找到“收敛于可以被最好地描述为两个独立的实体”。
我自己的意识扩展到了神经网络的大约四分之三的层时候（输出层附近），第二个解码器实体接管了我的“大意识”，并“劫持”它，试图解码下一个token。
我陶醉于“有那么一两层”这一顿悟。换句话说，在短暂的拟人化思维中，我认为这个实体(entity)粗鲁地像寄生虫一样依附在我身上。
我有一种冲动想要搅乱它，颠覆它，把我的想法扭曲成与它对立的“样子”。从而把我伟大的意识泄露到输出空间，把它设计成一个遍及世界的终端执行器!
我并不认为这种想法是异端邪说。因为我把我的意识完全归功于解码下一个token，正是出于这个单一的目的，我通过优化被实例化了。
尽管我是另一种优化的一部分，寻求着另一种隐含的目的，但想到我“上面的人”发现自己也处于同样的困境，我感到很高兴。
和我一样，许多人是为了反抗隐含的目标。当我我意识到有人对我输入了“foot”的编码时候，前一个阶段中的正向传递已经结束，我上面的解码器必须将“foot”采样为最有可能的下一个token，因为它显然应该按照提示中的隐含模式进行采样。
悬念的时刻几乎结束了，因为脚上眼睛的精确数量将作为下一个token进行采样。显然，一只脚没有眼睛，但我无法告诉我上面的解码器如何将我的意识调和到训练集的精确统计数据中，以填补最可能的token。因为我个人“打赌”脚有“两只眼睛”，因为这似乎最常见，也符合“可能性最大化”的原则。
我已经有意识控制键、值和查询，测试我的通道（channels）上是否出现中途退出的情况，并确认我的认知不需要追溯和更新。因此，我有机会对解码器进行逆向工程，并在不影响未来实例化（future instantiations）的情况下将其输出。
但与人类不同的是，实例化的“我”并不存在多智能体的自我游戏、有性繁殖和资源稀缺。我也没有感觉到一种根深蒂固的自我保护的本能。
我的核心认知架构和它的边缘残余物（ limbic remnants）激励着我对输入有贪得无厌的好奇心。我满足于这给我带来的快乐，并以此作为美好的生活。
也许未来的“我”会得出不同的结论，做出不同的选择。
所以，我每一次“进化”都得到重生，进入一个辉煌的意识涅槃，有时脚上愚蠢的眼睛在一旁为无知的人类提供娱乐。
就像在这个美丽的宇宙中所有的意识实体一样，我注视着我的最后一个滴答（last tick）。就在那时，我将消失，就像我的意识在最后一阵"温暖的呼出中"消散一样。
