原文来自：天天查ttc110.cn
在 OpenAI 的 ChatGPT 出现并因其创造引人入胜的句子的能力而受到全世界关注之前，一家名为 Latitude 的小型初创公司凭借其 AI Dungeon 游戏让消费者惊叹不已，该游戏让他们可以根据自己的提示创造奇幻故事。
但随着 AI Dungeon 越来越受欢迎，Latitude 首席执行官尼克沃尔顿回忆说，维护基于文本的角色扮演游戏的成本开始飙升。为 AI Dungeon 的文本生成软件提供动力的是Microsoft提供的 GPT 语言技术支持的人工智能研究实验室 OpenAI。玩 AI Dungeon 的人越多，Latitude 支付给 OpenAI 的账单就越大。
让困境雪上加霜的是，Walton 还发现内容营销人员正在使用 AI Dungeon 生成宣传文案，这是他的团队从未预见到的 AI Dungeon 的一种用途，但最终却增加了公司的 AI 账单。
沃尔顿估计，在 2021 年达到顶峰时，Latitude 每月在 OpenAI 的所谓生成人工智能软件和亚马逊网络服务上花费近 20 万美元，以便跟上每天需要处理的数百万用户查询。
“我们开玩笑说我们有人类员工，也有人工智能员工，我们在他们每个人身上花费的钱差不多，”沃尔顿说。“我们每个月在 AI 上花费数十万美元，而且我们不是一家大型初创公司，所以这是一笔非常巨大的成本。”
Walton 说，到 2021 年底，Latitude 从使用 OpenAI 的 GPT 软件转向了初创公司 AI21 Labs 提供的更便宜但功能仍然强大的语言软件，并补充说该初创公司还将开源和免费语言模型纳入其服务以降低成本。沃尔顿说，Latitude 的生成人工智能账单已经降至每月 10 万美元以下，而且这家初创公司向玩家收取更高级人工智能功能的每月订阅费，以帮助降低成本。
Latitude 昂贵的 AI 账单凸显了近期生成式 AI 技术繁荣背后的一个令人不快的事实：开发和维护软件的成本可能非常高，对于开发底层技术（通常称为大型语言或基础模型）的公司来说都是如此，以及那些使用 AI 为自己的软件提供动力的人。
机器学习的高成本是业内一个令人不安的现实，因为风险投资公司关注的是可能价值数万亿美元的公司以及微软、META等大公司, 和谷歌利用他们可观的资本在较小的挑战者无法赶上的技术上取得领先地位。
但是，如果人工智能应用程序的利润率永远低于以前的软件即服务利润率，那么由于计算成本高，它可能会抑制当前的繁荣。
训练和“推理”——实际运行——大型语言模型的高成本是一种结构性成本，不同于以往的计算热潮。即使在构建或训练软件时，它仍然需要大量的计算能力来运行大型语言模型，因为它们每次返回对提示的响应时都会进行数十亿次计算。相比之下，为网络应用程序或页面提供服务需要的计算要少得多。
这些计算还需要专门的硬件。虽然传统的计算机处理器可以运行机器学习模型，但速度很慢。大多数训练和推理现在都在图形处理器或 GPU 上进行，它们最初用于 3D 游戏，但已成为 AI 应用程序的标准，因为它们可以同时进行许多简单的计算。
Nvidia 为 AI 行业生产大部分 GPU，其主要数据中心主力芯片售价 10,000 美元。构建这些模型的科学家经常开玩笑说他们“融化了 GPU ”。
训练模型
英伟达 A100 处理器
分析师和技术人员估计，训练像 GPT-3 这样的大型语言模型的关键过程可能花费超过 400 万美元。专注于 AI 和机器学习的 Forrester 分析师 Rowan Curran 表示，更高级的语言模型可能需要花费“数百万美元”的训练成本。
例如，Meta 上个月发布的最大 LLaMA 模型使用了 2,048 个 Nvidia A100 GPU 来训练 1.4 万亿个词条（750 个词约等于 1,000 个词条），耗时约 21 天，该公司在上个月发布该模型时表示。
训练花费了大约 100 万个 GPU 小时。以AWS 的专用价格计算，它的成本将超过 240 万美元。它有 650 亿个参数，比 OpenAI 目前的 GPT 模型要小，比如 ChatGPT-3，它有 1750 亿个参数。
AI 创业公司 Hugging Face 的首席执行官 Clement Delangue 表示，该公司的 Bloom 大型语言模型的训练过程耗时两个半月，需要使用一台“相当于 500 个 GPU 的超级计算机。 “
他说，构建大型语言模型的组织在重新训练软件时必须谨慎，这有助于软件提高其能力，因为它的成本很高。
“重要的是要认识到，这些模型并不是一直都在训练，就像每天一样，”Delangue 说，并指出这就是为什么一些模型，比如 ChatGPT，不了解最近发生的事件。他说，ChatGPT 的数据将在 2021 年停止。
“实际上，我们现在正在为 Bloom 的第二个版本进行培训，重新培训的成本不会超过 1000 万美元，”Delangue 说。“所以这是我们不想每周都做的事情。”
推理以及谁为此买单
Bing 与聊天
为了使用经过训练的机器学习模型进行预测或生成文本，工程师在称为“推理”的过程中使用该模型，这可能比训练昂贵得多，因为它可能需要为流行产品运行数百万次。
对于像 ChatGPT 这样受欢迎的产品，投资公司 UBS 估计其在 1 月份的月活跃用户已达到1亿，Curran 认为，OpenAI 可能花费 4000 万美元来处理当月人们输入该软件的数百万条提示。
当这些工具每天被使用数十亿次时，成本就会飙升。金融分析师估计，微软的 Bing AI 聊天机器人由 OpenAI ChatGPT 模型提供支持，至少需要40 亿美元的基础设施才能为所有 Bing 用户提供响应。
例如，就 Latitude 而言，虽然这家初创公司无需支付培训其正在访问的底层 OpenAI 语言模型的费用，但它必须考虑类似于“每次调用半美分”的推理成本Latitude 发言人说，“每天有几百万个请求”。
“而且我相对保守，”柯伦谈到他的计算时说。
为了播下当前 AI 热潮的种子，风险资本家和科技巨头一直在向专门从事生成 AI 技术的初创公司投资数十亿美元。例如，根据 1 月份的媒体报道，微软向 GPT 的监督者 OpenAI 投资了高达 100 亿美元。销售队伍该公司的风险投资部门 Salesforce Ventures 最近推出了一项 2.5 亿美元的基金，旨在为生成式 AI 初创公司提供服务。
正如风险投资公司 Haystack 和 Lightspeed Venture Partners 的投资者 Semil Shah在 Twitter 上所描述的那样，“风险投资资金从补贴你的出租车和墨西哥卷饼交付转向 LLM 和生成人工智能计算。”
许多企业家认为，依赖他们无法控制且仅按使用付费的潜在补贴人工智能模型存在风险。
“当我在创业大会上与我的 AI 朋友交谈时，我告诉他们的是：不要仅仅依赖 OpenAI、ChatGPT 或任何其他大型语言模型，” personal.ai的创始人 Suman Kanuganti 说，聊天机器人目前 在测试模式。“因为业务转移，它们都归大型科技公司所有，对吧？如果他们切断访问权限，你就走了。”
企业技术公司 Conversica 等公司正在探索如何以当前的折扣价通过 Microsoft 的 Azure 云服务使用该技术。
虽然 Conversica 首席执行官 Jim Kaskade 拒绝评论这家初创公司支付的费用，但他承认补贴成本是受欢迎的，因为它探索了如何有效地使用语言模型。
“如果他们真的想要收支平衡，他们会收取更多的费用，”卡斯卡德说。
目前尚不清楚人工智能计算是否会随着行业的发展而保持昂贵。制造基础模型的公司、半导体制造商和初创公司都看到了降低运行 AI 软件价格的商机。
Nvidia 拥有约 95% 的 AI 芯片市场，继续开发更强大的专为机器学习设计的版本，但近年来整个行业芯片总功率的提升已经放缓。
尽管如此，Nvidia 首席执行官黄仁勋认为，在 10 年内，人工智能的效率将提高一百万倍，因为不仅在芯片方面，而且在软件和其他计算机部件方面都有改进。
“摩尔定律在其最好的日子里，会在十年内实现 100 倍的增长，”黄在上个月的财报电话会议上表示。“通过提出新处理器、新系统、新互连、新框架和算法，并与数据科学家、AI 研究人员合作开发新模型，在整个跨度内，我们已经使大型语言模型的处理速度快了一百万倍。”
一些初创公司将人工智能的高成本视为商机。
“没有人说，你应该构建一些专门用于推理的东西。那会是什么样子？” D-Matrix 的创始人 Sid Sheth 说，这家初创公司构建了一个系统，通过在计算机内存中进行更多处理而不是在 GPU 上进行推理来节省推理成本。
“如今，人们正在使用 GPU，NVIDIA GPU，来进行大部分推理。他们购买了 NVIDIA 销售的 DGX 系统，这花费了大量金钱。推理的问题是工作负载是否会迅速激增，这就是 ChatGPT 所发生的情况，它在五天内增加了 100 万用户。你的 GPU 容量无法跟上它，因为它不是为此而构建的。它是为训练、图形加速而构建的，”他说。
HuggingFace 的 CEO Delangue 认为，更多的公司会更好地专注于训练和运行成本更低的更小、更具体的模型，而不是吸引大部分注意力的大型语言模型。
与此同时，OpenAI 上个月宣布它正在降低公司访问其 GPT 模型的成本。它现在对大约 750 个单词的输出收取五分之一美分的费用。
OpenAI 较低的价格引起了 AI Dungeon 制造商 Latitude 的注意。
“我认为可以公平地说，这绝对是我们很高兴看到行业发生的巨大变化，我们正在不断评估如何为用户提供最佳体验，”Latitude 发言人说。“Latitude 将继续评估所有 AI 模型，以确保我们拥有最好的游戏。”
