生活中每天遇到的问题都能够解答那对我们的产品就提出了很高的挑战最后呢实际上是说呃搜索产品其实是偏呃需要有规模效应需要有这个足够的用户才能够做的好的所以呢你希望这个用户量提上去那推理成本能够让能够能够cover这个推理成本就非常重要那可以看到呢随着很多的硬件的 迭代和一些软件推理框架的一些更新那现在的实际的推理成本是不停的在下降今天我听上方说还是谁说他们的API的报价其实降了差不多一万倍那我觉得如果它再降百分之九十呢对很多的AI应用来说那是一个非常好的事情所以现在呢你不太可能有一个模型能够完全解决说我速度又快然后又足够聪明同时呢 还能够支撑数千万人同时去使用那怎么办呢我们今天其实可以看到周总就推了一个新的COE的架构在这个COE的架构我们其实分了几步过去其实都是说让大模型进行一次推理但是我们现在拆了 拆成四步首先所有的请求都是有一个叫做意图识别的模型让模型帮你理解好你的意图是什么 第二个 我们打造了一个所谓的路由模型这个路由模型相当于是说我背后接了15家模型15家按版本去看的话上面就有超过100个模型的版本而且每个模型的版本它的推理速度 性能以及它的这个叫知识含量完全都不一样那我去问一个非常简单的问题比如说1加 ...