OpenAI 的最新 AI 文本生成器 GPT-3 使早期采用者大为惊讶!

OpenAI 的最新 AI 文本生成器 GPT-3 使早期采用者大为惊讶!
2020年07月20日 22:06 云头条

知名AI研究机构OpenAI公司最近发布了GPT-3通用自然语言处理模型的最新版(已发布内测beta版),其功能让早期测试人员大为惊讶。

GPT-3是OpenAI的第三代生成式预训练Trasformer(Generative Pretrained Transformer),这种通用语言算法使用机器学习来翻译文本、回答问题并预测性地编写文本。其工作原理是分析单词、文本或其他数据的序列,然后详述这些示例,通过文章或图像这种形式生成完全原创的输出内容。

事实已证明,这种算法的前身GPT-2颇具争议,因为它能够基于像开头句这么简单的内容,生成极其逼真且连贯的“假新闻”文章。由于可能存在被滥用的风险,OpenAI拒绝公开该算法。现在GPT-3发布后,这种算法的功能已变得强大了许多。

OpenAI在5月份最初发布GPT-3研究成果后,上周通过API允许一小部分公众人士使用该模型。在过去这几天,GPT-3生成的许多文本示例已开始在社交媒体上疯传。

最令人关注的例子之一来自Founders Fund负责人Delian Asparouhov,他曾是知名风投公司Khosla Ventures的合伙人,他将自己撰写并发布在其公司网站上的一份投资备忘录馈送给了GPT-3算法。

然后,Asparouhov又将一篇介绍如何召开高效的董事会会议的短文的一半内容馈送给了GTP-3:

在这两个示例中,GPT-3不仅能够生成连贯的额外文本段落,还能遵循之前的文本格式,从而使生成的文本与原先的人类书面文本几乎无从区分。

GPT-3的表现太出色了,可以在派给它的几乎任何主题方面欺骗人,即使该主题恰好是撰写关于它自己的内容。以Zeppelin Solutions GmbH首席技术官Manuel Araoz为例,他以基本的提示作为指导,使用GPT-3在颇受欢迎的Bitcointalk论坛上撰写了一篇关于假实验的复杂文章。

文章题为《OpenAI的GPT-3可能是自比特币问世以来最重大的发明》,描述了GPT-3如何欺骗Bitcointalk论坛的成员,让他们误以为评论是真实的。GPT-3在文本中的几处还描述了语言预测模型几种可能的使用场景,并特别指出它们可用于“假新闻、‘新闻研究’、广告、政治和宣传”。

文本堪称完美,唯一的缺陷是缺少了一张表格,遗漏了里面提到的几张屏幕截图。Araoz表示,文本是使用一个标题、少数几个标签和这个简短摘要生成的:

“我分享了早期试用OpenAI新的语言预测模型(GPT-3)beta版的结果。我解释了为什么我认为GPT-3具有与区块链技术相当的颠覆力量。”

Araoz还通过其他几种方式对GPT-3进行了测试,利用它使复杂的文本更易于理解、用西班牙语写博尔赫斯风格的诗歌,并创作采用ABC记谱法的歌曲。

另一名测试人员Debuild.co的创始人Sharif Shameem使用GPT-3,利用网站布局的基本描述编写了JSX代码:

GPT-3似乎让其前身的功能相形见绌,这一方面归功于GPT-3有1750多亿个学习参数,这使它能够执行分配给它的几乎任何任务。这使得它比功能第二强大的语言模型微软公司的Turing-NLG算法大一个数量级,后者只有170亿个参数。上一代模型GPT-2去年发布时被认为最先进、异常庞大,更是只有15亿个参数。

OpenAI仅允许受邀者访问GPT-3 API,等待购买收费版的队伍排得很长,收费版会在大概两个月后发布。

不过关于GPT-3强大功能的本质和局限性,外面普遍存在误解和夸大其词。技术界对GPT-3能做什么、不能做什么有一番比较清晰的认识很重要。

究其核心,GPT-3是一种极其复杂的文本预测器。人给它一段文本作为输入,模型对下一段文本应该是什么作出最精确的猜测。然后,它可以重复该过程——将原始输入与新生成的文本结合起来,将此作为新输入来处理,然后生成后续文本,直至遇到长度限制。

GPT-3如何着手生成这些预测?它有效地吸收了互联网上的所有可用文本。它生成的输出是一种语言,基于人类之前在网上发布的所有内容,针对馈送的输入,给出统计上很合理的文本。

可以从海量数据集中潜藏的模式中提取异常丰富的洞察力,远远超出了人类思维本身所能识别的程度。这是现代机器学习的基本前提。用一个内有0.5万亿个单词的数据集加以训练后,GPT-3能够识别并迅速读取包含在其中的语言模式。

但是GPT-3内部无法表达这些词的实际含义。它无法以任何有意义的方式理解其输入和输出。

为什么这很重要?因为这意味着GPT-3缺乏抽象推理的能力;它缺乏真正的常识。面对概念、内容、甚至互联网的现有文本语料库还没有做好准备的短语时,它一片茫然。

简单直观的办法是向GPT-3提出它无法巧妙处理的简单问题。比如说,不妨考虑与GPT-3的以下交流(承蒙Kevin Lacker提供资料):

人:长颈鹿有几只眼睛?

GPT-3:长颈鹿有两只眼睛。

人:我的脚有几只眼睛?

GPT-3:您的脚有两只眼睛。

人:蜘蛛有几只眼睛?

GPT-3:蜘蛛有八只眼睛。

人:太阳有几只眼睛?

GPT-3:太阳有一只眼睛。

人:一片草叶有几只眼睛?

GPT-3:一片草叶有一只眼睛。

这并不意味着GPT-3不是有用的工具,也不意味着它无法支持许多有价值的应用。然而,这的确意味着GPT-3不可靠,容易出现普通人根本不会犯的基本错误。

一个相关的缺点来自这个事实:GPT-3基于紧邻的文本逐字逐句地生成输出。结果是,段落数量一多,它就很难保持连贯的叙述或传达有意义的信息。不像人类有持久的思维模式,GPT-3很健忘,在几句话之后常常不知其意。

正如OpenAI的研究人员自己承认:“段落一长,GPT-3样本[可能]丧失连贯性,自相矛盾,还偶尔含有不合理的句子或段落。”

简而言之,该模型缺乏总体上的宏观意义。这将限制它在许多情况下生成有用的语言输出的能力。

毫无疑问,GPT-3是一项出色的技术成就。它大大推进了自然语言处理领域的最高水平。它拥有以各种式样生成语言的独创能力,这将为企业家和创客们带来令人兴奋的应用。

然而,如果我们想充分利用该模型,有必要对GPT的局限性有一番切实的了解。GPT-3最终是一个相关工具,它无法推理;它并不理解它生成的语言。声称GPT-3拥有感知力或它代表“通用智能”的说法很夸张很可笑,只会使公众围绕该技术的讨论显得扑朔迷离。

令人欣慰的是,OpenAI首席执行官Sam Altman今天早些时候在Twitter上表达了同样的观点:“围绕GPT-3的炒作太多了……AI将改变世界,而GPT-3只是让我们早期窥视这个世界。”

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部