AI实验室PrismML在高通骁龙峰会上推介了为智能眼镜设计的1-bit Bonsai语言模型。该模型拥有20亿参数,针对视觉和语言任务进行了优化,能够在高通Snapdragon AR1 Gen 1平台上本地运行。
PrismML推出了Ternary Bonsai 2 27B模型,该模型基于阿里巴巴的开源Qwen 27B模型,采用三值量化技术实现显著的模型压缩。经过压缩后,模型大小仅为5.9GB,相比全精度版本缩小9至10倍,使高性能推理能够在个人电脑和智能手机等本地设备上运行。