AI终端展望专家会
未来移动通信论坛·2024-05-08 23:01

另外一个挑战最大的其实就是在MemoryDRAM这一块其实我们预期它是会要有一个比较明显的增加那如果你真的是要全部去运行这个On-Device AI运行70亿左右的这个参数的这个你如果其实要把它全部要跑到这个DRAM里边我们其实要至少要14GB以上 但是这个所以之所以现在就是各家能够要去做的就能够实现on device的用8GB或者是12GB能够实现的是一定程度上去压缩了这样的一个大模型的这个 这种方法来去做的那最近好像苹果也推出了就是他们自己想要的这个解决方案就相当于是通过这个flash和DRAM的这个配合然后再通过自己特定的大模型去摘取你想要实现任务的这 这部分的这个内容然后放在DRAM里面去运行所以我们就我可以简单的把它称为是一个切片的一个模式去运行的话这样子就可以降低DRAM的这样子一个loading的一个状态但是如果你想要达到更好的效果其实还是需要去配有更高承载力的就是有更高传输速率或者是更大带宽的这样的一个memory 所以我们需要去跑到更先进的这种或者是更大的RAM size然后另外一个呢就是就是我的这个电池的功耗了我们知道手机是我们非常高强度的一个运行的一个工具所以我们不光是要去考虑 考虑我的 ...