Running a 28.9M parameter LLM on an $8 microcontroller

在8美元微控制器上运行2890万参数的LLM

HN 109 分 · 25 条评论 · 作者 boveyking · 来源 github.com · HN 讨论

【摘要】

A new 28.9 million parameter language model runs entirely on an $8 ESP32-S3 microcontroller, generating text at roughly 9 tokens per second without server connectivity.

⋯ 继续阅读请登录会员 ⋯