-AI最前线:商汤大模型背后的技术洞见0
中金财富期货·2024-04-25 19:20

新产品和新技术研发 - 公司发布了日新5.0大模型,与GPT4 Turbo进行对标[1] - 公司的大模型系列包括语言、多模态、文生图、文生视频和语音大模型[2] - 公司在V4版本中加入了一轮的RHF,在V5版本中加入了三轮的RHF[18] - 公司通过对图像进行多尺度处理和Tokenization,能够捕捉图像的细节,提高模型的效果[19] 未来展望 - 公司预期未来合成数据占比将提升至20-30%,对数据能力有重要期望[14] - 模型能力的增长有潜力进入更核心的领域[35] - 未来模型结构可能会承载更复杂的思考过程和执行路径选择[46] - 模型学习路径可能逐渐引入更主动的学习方式,突破人类知识限制[49] 市场扩张和并购 - 公司拥有顶尖的研究团队,在各个方向都有创造力和进步[27] - 公司拥有强大的基础设施,使得在算力成本上具有优势[27] - 公司在多模态数据储备方面有积累,未来将实现多模态深度融合的体系[29] 负面信息 - 集群算力在规模扩大时会遇到系统性问题[38] - 关注算力的效率提升和国产芯片与国外差距的持续存在[39] - MOE一旦降低推理能力,单体模型的size下降会影响推移能力,需要保持较高的推理能力[62]