744B パラメータモデルを 25GB RAM で動かす colibrì を試してみた

colibrì は、744B パラメータの MoE モデル GLM-5.2 を、GPU なしで RAM 25GB 程度の一般的なマシン上で動かすために書かれた C 製の推論エンジンです。アテンションや共有エキスパートなど常に使う部分だけを RAM に常駐させ、21,504 個あるルーティング対象のエキスパートはディスクからストリーミングで読み込むことで、370GB 相当のモデルを 10GB 程度の RAM で扱えるようにしています。この記事では、GitHub で公開されている JustVugg/colibri を実際に手を動かして試してみます。