由加州理工学院研究人员创立、加州大学伯克利分校的Ion Stoica担任顾问的AI实验室PrismML,为其微型语言模型打造了一个可在搭载高通骁龙芯片的智能眼镜上运行的版本。
周三,在高通骁龙峰会上,这家芯片制造商展示了PrismML的1-bit Bonsai LLM,该模型可在基于骁龙AR1 Gen 1平台构建的AI智能眼镜上本地运行。
正如TechCrunch此前报道的那样,PrismML的成名之处在于它能大幅缩小大型模型(在此例中缩小了4倍),同时在标准基准测试中几乎保留其全部性能。智能眼镜版本是一个20亿参数的模型,针对视觉和语言进行了调优,因此佩戴者可以实时询问他们正在看什么。
Prism更大的目标是打造在设备上运行、并更好地利用设备已有算力的开放权重AI。这家初创公司将其宣传为一种替代方案,以取代依赖专有AI实验室的隐私承诺及其对更多算力的无止境需求。
为高通芯片发布模型是朝着这一愿景迈出的一步。但目前尚未有运行PrismML的智能眼镜发布。