Running a 28.9M parameter LLM on an $8 microcontroller

> 在8美元微控制器上运行28.9M参数LLM

HN 109 分 · 25 条评论 · 作者 boveyking · 来源 github.com · HN 讨论

> HN 109分 · 25条评论 · 作者 boveyking · 来源 github.com · HN 讨论

A new 28.9 million parameter language model runs entirely on an $8 ESP32-S3 microcontroller, generating text at roughly 9 tokens per second without server connectivity.

⋯ 继续阅读请开通会员 ⋯