文章核心观点 - 公司推出了新的私有GPU云设施SKATHE,由NVIDIA加速,位于弗吉尼亚州阿什本 [1] - SKATHE提供专用的GPU计算处理解决方案,旨在提升公司AI数据助手Voicebox的性能 [1][2] - SKATHE采用混合云基础设施,平衡GPU和CPU工作负载,CPU处理在AWS和Azure上进行 [1] - 公司计划在全球范围内扩展SKATHE设施,包括纽约、湾区、德克萨斯、伦敦和德国等战略市场 [3] - 公司将扩大SKATHE的计算能力,支持更多GPU密集型任务,如知识图谱问答、图神经网络、向量嵌入等 [3] 公司概况 - 公司名称为Stardog,是一家专注于企业数据和AI的公司 [5] - 公司为跨国组织和政府机构提供更好地访问关键数据的解决方案,客户包括Boehringer Ingelheim、Raytheon、Schneider Electric、NASA和美国国防部等 [5] 技术亮点 - SKATHE采用NVIDIA Triton Inference Server和NVIDIA TensorRT-LLM技术,支持NVIDIA GH200 Grace Hopper Superchip [2][3] - TensorRT-LLM库可提升NVIDIA GPU上的推理性能,包括动态批处理和注意力机制等优化 [3] - GH200 Grace Hopper Superchip集成NVIDIA H200 Tensor Core GPU和72核Grace CPU,推理性能比NVIDIA A100快6倍 [3]