同样是Mac,有人觉得本地大模型“已经够用了”,有人却一打开长文档、长代码仓库就开始卡、开始慢、开始爆内存。很多时候,问题不完全在模型大小,而在另一件更容易被忽略的事上:模型的“临时记忆”太占地方了。

这件事在技术上叫KV Cache。你可以把它理解成,大模型在推理时随身带着的一本笔记本。对话越长,文档越长,代码上下文越长,这本笔记本就越厚。随着和模型不断对话,Mac那本就很宝贵的统一内存,也会被不断占用。
有没有一种办法,能够将这个笔记本压缩一下,从而让用户能够更好地在Mac上使用本地模型?
开源项目“TurboQuant+”提供了一个方法。
一个来自大厂思路的开源项目
TurboQuant+基于谷歌研究院发表在 ICLR 2026 学术会议上的最新论文,用了一套数学方法,专门解决这个"笔记本太厚"的问题。
用一句话概括:这个项目把AI的“工作记忆”压缩到原来的1/4到1/6,但内容几乎不变。
就像你手机拍的一张5MB照片,压成JPEG之后只有500KB,肉眼却几乎看不出差别。
TurboQuant+对AI的“记忆”做的,就是类似的事情。

数据显示,压缩之后原来需要2.78GB的长对话记忆,现在只需要0.98GB,压缩比最高可达6.4倍,而且质量损失极小,4-bit压缩方案的回答质量几乎与未压缩时相同。
Mac用户福音
该项目亮相后,也被很多Mac用户关注。因为TurboQuant+对Mac用户的价值,比对其他平台的用户要大得多。
原因很简单,因为Apple Silicon是统一内存架构,运行大语言模型的时候,电脑的内存可以直接被用作显存。
也正因为此,统一内存架构有一个现实影响,那就是模型权重、KV Cache,以及系统本身,都在争同一份内存。因此TurboQuant+对于Mac的价值,就不只是“账面上省一点”,而是会直接体现在可用余量上。
使用搭载M5 Max的MacBook Pro实测
压缩空间以后,意味着同样一款Mac,可以承载更多的内容。压缩后,无论是想在本地读超长 PDF、会议纪要、技术文档,还是想让AI理解整个大项目的代码,或是想做本地知识库检索,使用更大的模型等等,都能随着空间的增多以及上下文长度的增强,获得更好的体验。
这个项目的意义在于,它的目的是尽量榨干硬件的能力,让Mac少被内存瓶颈卡住,不需要让用户立刻升级硬件。
这种“让用户省钱”的开源项目,自然也得到了更多用户的关注。
一个全新的设计思路
在上手前,我还要帮大家避个坑。虽说TurboQuant+已经有可用实现,也和llama.cpp生态有关,但不能简单理解成目前已经完整内置,复制参数就能直接跑。

因为目前这个项目还是在开源社区测试,相比于真正用起来,把他看成一个很值得关注的技术方向,其实是更好的选择。当然,如果真要上手,也可以先确认一下项目的README文件,这样也会少踩很多坑。
如果你已经在Mac上本地跑模型,而且经常碰到上下文或内存限制,或者很在意隐私,希望把文档、知识库、代码分析尽量留在本地,这个开源项目都是值得关注的。说到底,TurboQuant+的意义不是让Mac成为更强的AI助手,而是让Mac在本地大模型这条路上,少一点束手束脚。
很多时候,真正决定体验的不是模型排行榜顶端那一点差距,而是你手上这台机器能不能稳定、顺畅、持续地完成你要做的事。
从这个角度看,TurboQuant+ 这种底层优化,反而很可能是最接近“有用”的那一类进展。
如果你是 Mac 用户,并且认真在本地用大模型,那 TurboQuant+ 值得关注。它不一定最显眼,但它解决的是最现实的问题:怎样让同一台 Mac,装下更多上下文,少吃一点内存,跑起来更像工具,而不是玩具。
上一篇:曝华为Pura先锋盛典4月20日及以后举行 新品数量不少
下一篇:最后一页
优装机下载站(https://www.uzhuangji.net/)版权所有:闽ICP备2026008968号-1
本站资源均收集整理于互联网,其著作权归原作者所有,如果有侵犯您权利的资源,请来信告知,我们将及时撤销相应资源。





