tuitui羿阁 发自 凹非寺
量子位 | 公众号 QbitAI
临近年底,谷歌终于放大招了!
刚刚结束的AI@年度活动上,谷歌一口气发布了四项最新的AIGC技术成果。
其中最引人注意的要数文本图像模型Imagen首次开放测试,敲黑板,这次安卓、苹果都能玩。
![](http://k.sinaimg.cn/n/sinakd20221103s/178/w1042h736/20221103/4dc5-ae4444dab6e110c6b2ff5a943b12571f.png/w700d1q75cms.jpg)
其他有趣的产品,还有AI写作协助工具LaMDA Wordcraft、结合Imagen Video和Phenaki优势的超长连贯性视频生成模型等等。
![](http://k.sinaimg.cn/n/sinakd20221103s/20/w1080h540/20221103/467b-0b1c0634564fa8f5180ab677707a4641.gif/w700d1q75cms.jpg)
而且,除了官方的总结,几位来自谷歌的科学家也在推特分享了自己心中谷歌AI研究的新进展。
具体有哪些?一起往下看。
Imagen首次开放测试
自推出以来,Imagen一直被与OpenAI的DALL-E 2、Stability AI的Stable Diffusion相比较,但不同的是,谷歌一直没有将该系统向公众开放。
现在,谷歌终于松口,宣布将把Imagen添加到其AI Test Kitchen应用中。
AI Test Kitchen,是今年I/O大会上,谷歌推出的一款用于对各种AI系统进行测试的应用程序,目前苹果、安卓用户都能下载。
![](http://k.sinaimg.cn/n/sinakd20221103s/75/w1080h595/20221103/0bbe-eadb1f2c249e34e440319007bc82a4e3.png/w700d1q75cms.jpg)
最初的时候,用户仅可以在上面与AI聊天机器人LaMDA 2进行交流,此次更新将添加两种与Imagen互动的新方式:城市梦想家和Wobble。
在“城市梦想家”中,你可以用文字命令建造不同主题的城市,其中,Imagen模型承担了创建样本建筑和地块(城市广场、公寓楼、机场等)的作用。
![](http://k.sinaimg.cn/n/sinakd20221103s/168/w1062h706/20221103/ec53-3dad7b7b59e530fc8c134e5780791bba.png/w700d1q75cms.jpg)
在Wobble中,你可以创造一个小怪物,DIY它的材质(粘土、毛毡、橡胶等),然后给它穿上你选择的衣服,还可以戳戳它,让它“跳舞”。
![](http://k.sinaimg.cn/n/sinakd20221103s/186/w1068h718/20221103/a664-ca24a7727ad0d045cf4f50d7c756d86f.png/w700d1q75cms.jpg)
尽管与其他文本到图像的模式相比,这些互动方式看上去还比较受限制,但谷歌产品管理高级总监乔希·伍德沃德(Josh Woodward)解释称,这一步的意义在于获得公众对这些AI系统的反馈,以及测试哪些行为会使得系统崩溃。
其他AIGC产品
除了最受关注的Imagen模型,谷歌还宣布了在其他内容格式上的AI内容生成技术。
比如LaMDA Wordcraft,一个在大语言模型LaMDA基础上开发的、能辅助专业作家写作的AI写文工具。
它的作用,是在创作者写作的过程当中,根据现有的文本产生新的想法,或者帮助重写已有文句,从而帮助创作者突破“创作瓶颈”。
值得一提的是,下图中的“Evaluative Soliloquies”就是作家刘宇昆(《三体》英文版译者)在Wordcraft帮助下撰写的短篇小说。
![](http://k.sinaimg.cn/n/sinakd20221103s/84/w944h740/20221103/66ac-322ac3b7f0d577b6ea40346badd057a6.png/w700d1q75cms.jpg)
除此之外,谷歌还结合了Imagen Video和Phenaki两大模型的优势,推出了一个能生成超长连贯性视频的新模型。
![](http://k.sinaimg.cn/n/sinakd20221103s/24/w1080h544/20221103/0606-a6a0262cc76a56305f6d4768c935334c.gif/w700d1q75cms.jpg)
还有AudioLM,一个无需文字和音乐符号训练,仅通过聆听音频样本,就可以继续生成填补乐曲的音频模型。
![](http://k.sinaimg.cn/n/sinakd20221103s/740/w980h560/20221103/5f70-0fafa450173a6c19737a0b25f2e25fc6.png/w700d1q75cms.jpg)
说完这些谷歌官方公布的新技术,让我们再来看看谷歌的科学家们自己是怎么说的。
谷歌科学家眼里的新进展
除了产品层面,今年谷歌AI研究的新进展还有哪些?
谷歌大脑的工程师周登勇在推特上分享了自己的看法:大模型学会了如何解释答案,检查答案,并将复杂问题分解成子问题解决。
![](http://k.sinaimg.cn/n/sinakd20221103s/766/w1060h506/20221103/ae12-8f64031a38ece0732dd498d54e436b6e.png/w700d1q75cms.jpg)
而这一切还要从谷歌今年1月发布的一篇论文“Chain of Thought Prompting Elicits Reasoning in Large Language Models”开始说起。
![](http://k.sinaimg.cn/n/sinakd20221103s/503/w1080h223/20221103/767b-11927920b29275eb04639dd82ecd7556.png/w700d1q75cms.jpg)
就是在这篇论文中,谷歌首次提出了思维链提示(chain of thought prompting)的概念。
简单来说,思维链提示就是一种特殊的上下文学习,不同于标准提示只是给出输入-输出对的示例(如下图左),思维链提示还会额外增加一段推理的过程(如下图右)。
这一步的目的是让模型模仿并为当前问题生成自己的思维过程,最终提高生成结果的准确性。
![](http://k.sinaimg.cn/n/sinakd20221103s/9/w1080h529/20221103/caf2-82942f280c0c007701c79aeac1f4640f.png/w700d1q75cms.jpg)
该方法在LaMDA-137B、GPT-3 175B、PaLM-540B三个大型语言模型上都得到了验证:对比标准提示,新方法在算术、常识和符号推理任务的准确率上都有了明显的提高。
并且,随着模型参数量级的提升,思维链提示的效果也呈指数级上升。
尤其是配合上谷歌的超级语言模型PaLM-540B,在包括数学问题在内的多个推理基准测试中达到了SOTA水平,甚至超过了使用验证器进行微调的GPT-3。
![](http://k.sinaimg.cn/n/sinakd20221103s/714/w584h930/20221103/28d5-32dcce3a1445addfb8f57223297be931.png/w700d1q75cms.jpg)
很快,两个月后该团队又对该研究进行了跟进。
![](http://k.sinaimg.cn/n/sinakd20221103s/491/w1080h211/20221103/1010-7cc18e399000ff9baaa1eb1feab82928.png/w700d1q75cms.jpg)
这篇文章几乎使用了和初代文章完全一样的数据集和设置,主要改进是提出了一种称为自洽性(self-consistency)的简单策略。
简单来说,就像人在思考时会想出几种不同的解决方案再作出判断一样,自洽方法会通过思维提示链从语言模型中采样一组不同的推理路径,再对答案进行多数投票(majority vote),最后返回其中最自洽的答案。
![](http://k.sinaimg.cn/n/sinakd20221103s/782/w1078h504/20221103/5fc0-cfd0b240c3aac30bfd3f610501c950f5.png/w700d1q75cms.jpg)
这一步优化不仅意味着离模仿人类思维模式更近一步,还做到了显著地提高思维链方法的性能。
![](http://k.sinaimg.cn/n/sinakd20221103s/729/w1080h449/20221103/11a1-a87876744260976379c2ab72e1ef87d4.png/w700d1q75cms.jpg)
最新的进展是,为了解决从易到难的泛化问题,该团队又提出了一种新颖的提示策略。
![](http://k.sinaimg.cn/n/sinakd20221103s/459/w1080h179/20221103/3c97-6a54899589c4a53ecc0ca23e5e740efb.png/w700d1q75cms.jpg)
它将复杂问题简化为一系列子问题,然后依次解决这些子问题,从而通过对先前解决的子问题的答案来促进解决给定的子问题。
![](http://k.sinaimg.cn/n/sinakd20221103s/202/w1080h722/20221103/f996-ed998fa4b6af3bd7169d80069f9c42ec.png/w700d1q75cms.jpg)
就这样,谷歌正在训练AI一步步朝着人类的思维模式靠近。
最后,说了这么多,这一年,你印象最深的谷歌AI研究是什么?
参考链接:
[1]
https://Twitter.com/dmvaldman/status/1587525225209425921
[2]https://arxiv.org/abs/2201.11903
[3]https://arxiv.org/abs/2203.11171
[4]https://arxiv.org/abs/2205.10625
![](http://n.sinaimg.cn/finance/pc/cj/kandian/img/article_pic05.png)
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有