加载中...
加州理工团队 PrismML 开源了 1-bit Bonsai 系列大模型。 8B 参数的模型只占 1.15GB 内存，iPhone 上跑到 44 token/s。
什么是 1-bit？ AI 模型的本质是几十亿个数字（参数）。
主流模型用 16-bit 精度存储每个参数，也就是每个数字可以取 65536 种不同的值，记录非常细微的差异。 代价是一个 8B