5月24日消息，AI算力目前的瓶颈已经从GPU转向了存储芯片，国内尤其缺少高性能HBM内存等芯片，所以也发展出了各种优化技术，清华大学日前的研究就在华为昇腾上实现了6倍用量的降低。
面壁智能、清华大学与 OpenBMB 社区日前联合发布了BitCPM-CANN，这是首个原生基于华为昇腾NPU构建的端到端1.58比特（三元）大语言模型训练系统。
顾名思义，这套系统引入了一套三元量化的技术，模型权重被压缩为-1、0、1三种状态，使得显存占用量降低了6倍，还顺带着降低了功耗，因为运算中高耗能的浮点乘法计算简化成了加减法运算。
通常降低算子也会导致大模型的精度降低，不过这套三元量化的实际表现还是很强的，团队公布了从0.5B、1B、3B再到8B参数量的大模型与全精度MiniCPM4的对比，1B、3B和8B 三元版本分别保留了各自对应尺寸全精度原版模型97.1% 、97.2%和95.7%的平均性能。
0.5B小尺寸的性能损失虽然是最大的，但也达到了90.1%的比率。
速度上的损失也在可接受范围内，在昇腾910B芯片平台上，全尺寸精度的吞吐量是155TFLOP/S，三元量化版也有148TFLOP/S，损失只有4.5%。
更重要的是，这套系统一开始就是基于昇腾平台原生开发的，做到了端到端运行，而且开源、可完全复现——从研究到部署，用户可以放心使用任意尺寸的模型。
至于这些技术的意义，不只是提升了国产AI平台的能力，更重要的是降低了对HBM等高价存储芯片的依赖，当初谷歌的那个TurboQuant技术也是差不多降低6倍内存用量，一度引发了三星、SK海力士、美光等公司股价暴跌。
如今内存市场不仅价格涨得离谱，而且厂商几乎都不会增加产能，任由缺货涨价蔓延，改变这个局面是不可能指望三星等公司自己了，还得靠国内的公司提升内存闪存芯片产能，同时加大技术优化，让内存闪存的用量不那么虚高才行。
