在本地运行大模型的门槛，往往卡在显存和内存的容量上。一个 700B 参数的模型，即使量化到 int4，也需要数百 GB 的存储空间，更别提将其全部加载到 RAM 或 VRAM 中了。但 MoE（混合专家）架构提供了一个突破口：每次推理只激活一小部分参数。JustVugg/colibri 正是利用这一特性，通过将“冷”专家存放在 SSD 上，只把“热”参数留在内存中，实现了在 25GB RAM 的普通笔记本上运行 744B 参数的 GLM-5.2，甚至在 32GB 内存的设备上挑战 2.8T 参数的 Kimi K3。

核心信息速览

项目	详情
项目名称	colibri
GitHub 仓库	https://github.com/JustVugg/colibri
开源协议	Apache-2.0
主要语言	纯 C（单文件/模型家族，零外部依赖）
最新版本	v2.1.0（2026-10-31）
GitHub Star	约 32k（2026年9月数据）
核心定位	面向 MoE 大模型的磁盘流式推理引擎
支持模型	13 个引擎，覆盖 10 个语言模型（GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash 等）、1 个图像模型、2 个决策模型
硬件要求	最低 8GB RAM（推荐 16GB+），22GB 空闲磁盘（最小模型），GPU 可选
硬件加速	CPU（AVX2/AVX-512）、Vulkan（任意 GPU）、CUDA（NVIDIA）

一、核心技术机制：把 SSD 当作“显存”的 MoE 流式推理

colibri 的核心设计围绕 MoE 架构的“稀疏激活”特性展开，它将模型拆分为常驻部分和流式部分。

1.1 常驻 RAM：Dense 部分

以 GLM-5.2（744B）为例，模型中的 Attention 层、Embedding 层、共享专家等每次推理都必须用到的 Dense 部分，参数量约为 17B。colibri 将这些参数压缩到 int4 精度，仅占用约 9.9 GB 的 RAM，使其常驻内存。

1.2 按需流式加载：专家部分

GLM-5.2 拥有 21,504 个专家，总参数量约 370GB（int4 精度）。colibri 将这些专家全部存放在 SSD 上，当模型生成每个 token 时，Router 会判断需要激活哪些专家，colibri 则只从磁盘读取这些被选中的专家数据。

1.3 缓存策略：LRU + 学习型缓存

为了减少对 SSD 的频繁读取，colibri 设计了两层缓存：

• LRU 缓存：在 RAM 中保留最近使用过的专家。
• 学习型缓存：记录对话历史中频繁调用的专家，并在下次启动时优先将其固定到空闲 RAM 中。

1.4 纯 C 实现：零依赖

colibri 的推理引擎核心由约 1300 行 C 代码构成，运行时不依赖任何外部库（如 Python、CUDA 运行时以外的数值计算库），这使得它具有极强的可移植性。

二、支持的模型矩阵与硬件配置

colibri 通过“一个模型家族对应一个 C 文件”的方式，支持了广泛的 MoE 模型。

2.1 语言模型

模型	参数量	特点
GLM-5.2 / 5.3	744B	同时支持 Mistral-Large-4（1T）
Kimi K3	2.8T	需要约 1.6TB 磁盘，32GB RAM 起步
DeepSeek V4 Flash	284B	支持视觉的 V4.1 Flash（552B）
Inkling	975B	—
Qwen3.8-Flash-Next	125B	支持 256k 上下文
OLMoE	7B	最小模型，约 4GB 磁盘即可运行

2.2 硬件加速与关键参数

colibri 支持 CPU、Vulkan 和 CUDA 三种后端。在 CUDA 后端下，可以通过环境变量精细控制显存的使用：

参数	默认值	说明
COLI_CUDA	off	启用 CUDA 后端
CUDA_EXPERT_GB	0	在 GPU 上缓存专家的 VRAM 预算（GB）
CUDA_RESERVE_GB	2.0	为激活值、临时数据和 KV 缓存保留的 VRAM（GB）

三、快速开始

3.1 环境要求

• 操作系统：Windows、Linux（Ubuntu/Debian）、macOS。
• 最低配置：8GB RAM，22GB 空闲磁盘（运行最小模型）。GPU 非必需。

3.2 安装与启动

Windows：

1. 从 GitHub 页面点击 Code -> Download ZIP 并解压。
2. 双击解压目录中的 START-HERE.bat。如果缺少 Python，脚本会提示安装。

Linux / macOS：

# Linux (Ubuntu/Debian)
sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh

# macOS (需要 Homebrew)
xcode-select --install
brew install libomp git python
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh

3.3 初始化流程

启动脚本会自动完成以下工作：

1. 检测硬件：RAM、空闲磁盘、CPU 和 GPU。
2. 推荐模型：根据你的硬件推荐能够运行的模型。
3. 构建或下载引擎：如果存在编译器，则为你的机器构建引擎；否则下载预编译版本。

四、客观边界与注意事项

1. 速度受限于 SSD 的随机读取性能。colibri 的推理速度高度依赖 SSD 的 IOPS（每秒输入/输出操作次数）。当模型频繁切换专家时，磁盘读取可能成为瓶颈。LRU 和学习型缓存可以缓解这一问题，但无法完全消除。
2. 它是一个“实验性推理引擎和研究平台”。项目官方自述为 “experimental inference engine and research platform”。这意味着它的稳定性和生产就绪程度，无法与 vLLM、TensorRT-LLM 等成熟的工业级框架相比。
3. 对 MoE 架构的强依赖。colibri 的流式加载机制是为 MoE 模型量身定制的。对于 Dense（稠密）模型，其加速效果会大打折扣，因为稠密模型没有可以“流式加载”的稀疏专家部分。
4. 内存和磁盘的权衡。虽然 colibri 降低了对 RAM 的要求，但对磁盘空间和磁盘性能提出了更高的要求。运行 2.8T 的 Kimi K3 需要约 1.6TB 的 SSD 空间。这并非一个可以“免费”获得的午餐。

五、小结

colibri 的核心贡献不在于它发明了新的模型结构，而在于它用一套极简的纯 C 工程，将 MoE 架构的“稀疏激活”特性利用到了极致。通过将 Dense 部分常驻内存、将稀疏专家存放在 SSD 并按需流式加载，它打破了“运行大模型必须拥有海量显存/内存”的固有认知。在 25GB RAM 的笔记本上运行 744B 参数的模型，从不可能变成了可验证的事实。

它的边界同样清晰：它高度依赖 MoE 架构和 SSD 性能，是一个面向研究者和极客的实验平台，而非即插即用的生产工具。但对于那些想在有限硬件上探索前沿大模型能力、或对推理引擎底层机制感兴趣的开发者来说，colibri 提供了一个极其轻量、可读性极高的 C 语言实现范本。

附录：资源列表

类型	资源	说明
✅ 下载地址	点击下载	基础包、显卡补丁包和源码
✅ GitHub 仓库（主）	https://github.com/JustVugg/colibri	Apache-2.0
🌐 官方网站	https://justvugg.github.io/colibri	项目主页
📄 v2.1.0 发布说明	GitHub Releases	GGUF 原生支持、CUDA 设备链、256k 上下文
📄 v1.5.0 安全公告	GitHub Releases	包含 8 项安全公告
📄 GGUF 文档	docs/gguf.md	关于 GGUF 原生运行的说明
📄 Hugging Face 模型	Justvugg/GLM-5.3-colibri-int4-g64	int4 量化模型权重

本文为原创内容，转载请注明来源与作者。

CSDN 首发 | 版权所有 © 2026

---

📢 免责声明与版权说明

1. 版权归属
本文提及的开源软件、第三方工具、代码片段、网盘资源及教程合集，其版权均归原作者或开源社区所有。本人仅出于技术分享与评测目的进行整理与推荐，不拥有相关内容的版权。

2. 仅供学习交流，严禁商用
本文提供的任何资源（包括但不限于软件安装包、教程、素材等）均来源于公开互联网渠道，仅供个人学习、研究与技术交流。严禁将本资源用于任何形式的商业牟利、二次售卖或非法传播。如需在商业环境中使用，请务必前往官方渠道购买正版授权。

3. 技术风险自行承担
文中涉及的软件、脚本及代码均在特定测试环境下验证。由于每位读者的设备硬件、操作系统及网络环境存在差异，因参考本文内容进行操作而导致的任何系统崩溃、数据丢失、硬件损坏或安全事故，由使用者自行承担全部风险，作者不承担任何连带法律及经济责任。操作前请务必做好重要数据的备份工作。

4. 侵权处理机制（避风港原则）
本人极其尊重原创与知识产权。若本文内容（包括文字、图片、附件链接等）无意中侵犯了您的合法权益，请务必通过 CSDN 站内私信或文末留言联系我，并提供您的身份证明及版权权属证明。核实无误后，我将在第一时间删除相关内容并致歉。