时代变了，以前是token每秒，有人提出了秒每token。。。。
This is a AI post classified by AGK Intelligence as Open & local models (a tool drop), kept by the AI Radar because it carries real work, not commentary.
时代变了，以前是token每秒，有人提出了秒每token。。。。 开发者用纯 C 语言手搓 176 KB 推理引擎，在单颗 CPU 和 8.24 GB 内存上跑通 2.78 万亿参数的 Kimi K3。他只用标准的 C99 语言，不依赖 PyTorch 等深度学习框架，不用外部 BLAS 数学库，甚至完全不需要 GPU，硬生生在单颗 CPU 和实测峰值 8.24 GB 内存 的机器上，把月之暗面开源的旗舰大模型 Kimi K3 跑了起来。 Kimi K3 的总参数量高达 2.78 万亿，完整权重下载到硬盘上足足有 1.56 TB（分成 96 个分片文件）。别说普通家用电脑，就算是一台百万元级的服务器，也很难直接把这么庞大的文件一次性塞进内存。而 Fareed Khan 编译出来的整个推理引擎，体积只有 176 KB。 这个项目解决的核心问题不是“怎么算得更快”，而是“怎么在不改变输出结果的前提下，让一个比可用内存大 200 倍的模型跑起来”。引擎靠四个环环相扣的工程设计做到了这一点。 第一层底座是 Kimi K3 自身的混合专家（MoE）架构。它虽然总共有 896 个专家子网络，但每生成一个词（Token），路由器只会挑出其中最相关的 16 个专家 干活。也就是说，每次实际参与计算的参数只有 1040 亿，仅占总参数量的 3.7%，剩下九成多的数据在这一步根本不需要碰。
Posted by lifcc (18.1k followers) 1 h ago · 7 likes · 1k views · view the original post on X. Kept by the AI Radar as Open & local models.
More AI work like this
- Qwen 4 (unnamed quant) — @loktar00
- 北冥有鱼，其名为鲲。 — @NFT_Chen
- If you want to get started with Local AI but dunno where to start, THIS IS FOR YOU 🚨 — @javierbits
- 💥重磅！Qwen3.8-Flash-Next 量化版炸裂升级：Token消耗直接腰斩50%，准确率暴涨15%！本地32GB丝滑跑通125B级MoE！ — @NFT_Chen
- This could be so cool. — @niklaslenz_ai
- Qwen is teasing a new model — @RoundtableSpace
- Qwen3.8-Flash-Next GGUFs now run faster with less thinking and less token use. — @UnslothAI
- Last Qwen3.8 Flash update with STQ 2.75bpw v2.0 pack. It moves away from hybrid… — @Beamsters1
Every post is read and classified by AGK Intelligence: what it is, which market it belongs to, and whether the link is a real tool. 65.6k posts from 5k X accounts over the last 14 days, 10.4k tools, 19 markets. New posts are collected several times an hour and the full ranking is recomputed every hour — last update 2026-11-06 16:05 UTC. Full method.