Run Kimi K3 using 29 GB of RAM at 0.50 tok/s

> 用 29 GB 内存以 0.50 tok/s 运行 Kimi K3

使用29GB内存以0.50 tok/s速度运行Kimi K3

> 使用 29 GB 内存以 0.50 tok/s 速度运行 Kimi K3

HN 235 分 · 96 条评论 · 作者 marcobambini · 来源 github.com · HN 讨论

> HN 235 分 · 96 条评论 · 作者 marcobambini · 来源 github.com · HN 讨论

Kimi K3, a model with 2.78 trillion parameters, can now run on a consumer laptop using WASTE, an embeddable inference engine written in C with no third-party runtime dependencies.

⋯ 继续阅读请开通会员 ⋯