深度|对话英伟达产品经理:AI推理相比6年前已提速3000倍,效率提升将是今年LLM的主题
Z Potentials·2024-09-13 02:00

图片来源:Latent Space Z Highlights: 技术与基础硬件进步相结合:Nvidia、Convai高级产品经理Nyla Worker认为改进量化技术的同时,专注于推理,优化现有硬件和未来推理硬件,实现量 化与精度双赢。 打破数据瓶颈:合成数据用于模型训练是一门艺术,是一项独特的技能。如何有效地生成数据,如何在3D世界中对生成的对象进行域随机化,以有效地 训练网络,本身就是一门艺术。高效训练大规模模型和量化模型,从而减少所需的计算资源。 AI在游戏中的应用:计算效率提升对于AI在游戏及影视中的应用至关重要,延迟是我们今天最需要优化的关键因素,以使游戏体验更为自然。另外, Convai致力于帮助NPC 需要采取合适的行动,模拟不同角色,构建角色的心智。 本期嘉宾Nyla Worker是Nvidia、Convai的高级产品经理,并且最近加入了Google,同时她还是世界博览会上"GPU与推理"赛道的主持人。她第一个向我们指 出,对于2024年的LLM而言,效率提升将成为主导主题。从她在eBay优化V100推理以用于ResNet-50模型进行图像搜索开始,她见证了诸如多效率提升实 例,如GPU推理实 ...