在手机上运行超大moe模型（
仅限12gb以上运行内存的任意手机进行。通过把不用的权重放进储存里，仅需要用的才留在内存里实现，在手机上也能运行超大的moe模型。
在12gb的手机上运行的效果（16gb甚至更高的设备或许可能有更好的体验？我还没尝试过）
Gemma 4 26B-A4B和Qwen3.6-35B-A3B这两个模型的Q4是平均4，5tok/s。
deepseek v4 flash的q2是每秒1token，qwen 3.8 flash的q2是每秒3，4token。
感兴趣的可以试试。
项目地址是：https://github.com/Helldez/BigMoeOnEdge
度盘链接是：https://pan.baidu.com/s/1exzseyAS7IUARabdU8D1pQ?pwd=4pj6
没有密码
去审查的模型：
Gemma 4 26B-A4B地址是https://hf-mirror.com/SC117/gemma-4-26B-A4B-it-qat-heretic-GGUF/blob/main/gemma-4-26B-A4B-it-qat-heretic-UD-Q4_K_XL.gguf
Qwen3.6-35B-A3B地址是https://hf-mirror.com/SC117/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF/tree/main
页:
[1]