加载中...
匿
Google的Turbo Quant确实不错啊，最新Qwen3.5 9...
匿名用户•
1 阅读
Google的Turbo Quant确实不错啊，最新Qwen3.5 9B模型也能在老的M1 MacbookPro 16GB上跑起来。
4k context 模式下总共占用了5.9GB内存, 节省了差不多一半。
加载中...
Google的Turbo Quant确实不错啊，最新Qwen3.5 9B模型也能在老的M1 MacbookPro 16GB上跑起来。
4k context 模式下总共占用了5.9GB内存, 节省了差不多一半。