文章核心观点 - 英伟达推出NVIDIA AI Foundry和NVIDIA NIM推理微服务两大新业务,帮助企业定制化制造大模型并加速部署 [2][3][17] - 英伟达与Meta合作,为Llama 3.1提供了一种提炼方法,供开发者为生成式AI应用创建更小的自定义Llama 3.1模型 [10] - 英伟达和Meta意识到,用于生产合成数据将是他们发挥作用的最大场景,推出了Nemotron-4 340B系列模型 [18][19] - Llama 3.1更新的开源协议允许使用Llama生产的数据去改进其他模型 [20][21][22][23][24] 文章目录总结 NVIDIA AI Foundry - 提供从数据策管、合成数据生成、微调、检索、防护到评估的全方位生成式AI模型服务 [2] - 企业可以使用NeMo Curator开源Python库完成快速且可扩展的数据集准备和大核型用例的管理 [14] - 使用NeMo Customizer简化大模型的微调和对齐,支持多种参数高效微调技术 [15] - NeMo Evaluator支持多种学术基准的自动评估,也支持使用大模型作为评委对模型响应进行自动评估 [16] - NeMo Guardrails使开发者能够构建主题、功能安全和信息安全三种边界 [16] NVIDIA NIM推理微服务 - 使用几行代码就可以在云、数据中心、工作站和PC上部署AI模型,吞吐量最多可比不使用NIM运行推理时高出2.5倍 [3][17] - 企业可以将Llama 3.1 NIM微服务与NVIDIA NeMo Retriever NIM微服务组合使用,为AI copilot、助手和数字人虚拟形象搭建先进的检索工作流 [9] 合成数据生成 - 英伟达和Meta意识到,用于生产合成数据将是他们发挥作用的最大场景 [18] - Nemotron-4 340B系列包括基础、指导和奖励模型,形成一个管道,用于生成用于训练和优化LLMs的合成数据 [19] - Llama 3.1更新的开源协议允许使用Llama生产的数据去改进其他模型 [20][21][22][23][24]