发布于2026年9月17日纯 C 引擎 1 块 NVMe 跑 744B MoE:这件事让我重新看 JVM 多级缓存那套老底子LLM-推理MoE存储优化C-引擎Java-调优github 上一个 35K stars 的 pure C 推理引擎 JustVugg/colibri,把 744B MoE 跑在 1 块 NVMe + 128G 内存上,1.06 tok/s。看完它的 multitier memory 设计,我突然意识到 10 年前在阿里调 JVM 那套"heap / off-heap / mmap / page cache" 的多级缓存哲学,在大模型时代又被重新严肃对待了。