喝点VC|a16z:进入大模型通胀时代—推理成本3年内下降1000倍
Z Potentials·2024-11-19 12:09
图片来源:Unsplash 在很大程度上,推动技术周期的是基础商品成本的快速下降。 两个显著的例子是摩尔定律和丹纳德缩放,它们通过描述芯片如何随着时间的推移变得更具 性能来帮助解释个人电脑革命。 一个不太为人所知的例子是埃德霍姆定律,它描述了网络带宽的增加——这是互联网泡沫的一个关键因素。 在分析自 GPT-3 公开发布以来的历史价格数据时,似乎——至少到目前为止——大语言模型(LLMs)的推理成本遵循类似的规律。 我们将这一趋势称为 LLM 通货膨胀,因为在固定价格下,可以获得的 Token 数量迅速增加。 事实上,LLMs的价格下降速度甚至快于个人电脑革命期间的计算成本或互联网泡沫期间的带宽:对于性能相当的LLM,成本每年下降 10 倍。 鉴于该行业 的早期阶段,时间尺度可能仍会变化。但从这些较低价格点开放的新用例表明,人工智能革命将继续带来重大进展,持续相当长一段时间。 方法论 在确定这一趋势时,我们查看了使用 MMLU 分数的 LLMs 的表现,这些分数由模型创建者或外部评估报告。LLMs 通常按每百万 Token 定价(平均而言, 一个单词相当于 1-2 个 To ken ),我们从互联网档案馆获得 ...