利用苹果“LLM in a Flash”在本地运行Qwen 397B的研究
文章介绍了Dan Woods的研究:基于苹果“LLM in a Flash”,让定制版Qwen3.5-397B-A17B在48GB内存的MacBook Pro M3 Max上实现本地运行并达到5.5+ tokens/second。
Source
这里收集 simonwillison.net 最近同步到 opc.ren 的文章。原站地址:https://simonwillison.net
文章介绍了Dan Woods的研究:基于苹果“LLM in a Flash”,让定制版Qwen3.5-397B-A17B在48GB内存的MacBook Pro M3 Max上实现本地运行并达到5.5+ tokens/second。