训练一个 AI 大模型成本很快将高达 100 亿美元!

训练一个 AI 大模型成本很快将高达 100 亿美元!
2024年04月16日 22:52 云头条

AI 正变得越来越高效?在某些领域可能确实如此。

但 Anthropic 首席执行官 Dario Amodei 表示,训练的工作量和成本将继续激增。

凭借 Claude 3 Opus,Anthropic 成为第一家将 GPT-4 赶下宝座的 AI 模型开发商。

近日 Amodei 在接受《纽约时报》专栏作家 Ezra Klein 的采访时畅谈了 AI 发展的近期和远期态势。

他预计,在未来几年内,训练大语言模型的成本将迅速上升。

虽然训练今天的模型成本在 1 亿美元左右,但他预计在不久的将来成本将高达 10 亿美元左右。

“今天的模型需要花费 1 亿美元来训练。现在正在训练的模型以及将在今年晚些时候或明年年初的不同时间推出的模型需要接近 10 亿美元的成本来训练。这一幕已经发生。然后,我认为到 2025 年和 2026 年,成本会逼近 50 亿美元或 100 亿美元。”

Amodei 认为,原因在于所谓的缩放定律(scaling laws),即馈入到 AI 系统的算力越强、数据越多,它们的功能就变得越强大。有人说这种关系是可预测的、呈指数级的。

Amodei 认为,如果绽放定律的预测是正确的,那么两到五年内,AI 模型的功能将变得非常强大,不再需要人类或被人类控制。他认为,我们在科幻小说中想象的那种系统将在 2 年到 5 年、而不是 20 年或 40 年后出现。

Amodei 并不认为减缓 AI 的发展是一个解决方案。为了确保系统的安全性,AI 系统需要扩大规模并作进一步研究。

Amodei 认为,这是早期发现潜在威胁并制定对策的唯一途径。

他认为,停止发展既不现实,也不可取。

与此同时,他强调领先 AI 公司肩负的责任。随着模型能力不断增强,私营公司手中的权力也随之加大。

Amodei 认为,几年后,社会将不得不想方设法对中央系统的控制权实行民主化。

Amodei 看到了未来的潜在危险,包括利用 AI 开发生物武器或从事政府虚假宣传活动。AI 系统可能很快就能大幅提升政府撑腰的敌对势力在这些领域具有的能力,比如在辩论中提供高度的说服力。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部