“大模型 2.0” 报告:展望Gemini 2/GPT Next,从Intelligence Per Token到Intelligence
天风证券·2024-08-14 15:02

报告的核心观点 - 从"Intelligence Per Token"到"Intelligence Per Task"是大模型发展的重要方向 [5][6] - 训练阶段大模型将继续遵循"Scaling Law",训练集群规模将持续扩大,对数据中心建设提出新挑战 [40] - 推理阶段将通过树状搜索/自博弈等方式提升"Intelligence Per Token",GPU与CPU的高速互联将成为关键 [41] - 新一代大模型将具有更强的规划能力、数学能力和通用能力 [41] 报告内容总结 模型架构之变 1) Google Gemini2将结合AlphaGo/AlphaZero的规划能力 [13] 2) OpenAI正在研究"Q*"和"Strawberry"项目,以提升大模型的记忆和规划能力 [18] 大模型1.0时代 1) 大语言模型训练遵循"Scaling Law",形成万卡GPU互联集群 [25] 2) 大语言模型推理不断降低单token成本,通过Prompt完成交互 [26] 3) 大模型具有一定的记忆和简单的规划能力,主要应用于Chatbot [26] 大模型2.0时代 1) 新一代大模型将成为"自我优化能力的智能体" [28] 2) 通过在推理时增加计算量,可以超越原有训练水平 [29][30][31][32] 3) CPU与GPU的高速互联将成为模型效率的焦点 [34][35][36][37] 投资建议 1) 建议关注NVDA、MSFT、GOOG、AMD、ARM、CFLT、ESTC等相关公司 [41] 风险提示 1) 行业竞争加剧 [42] 2) AI发展与需求不及预期 [42] 3) 产品交付不及预期 [42]