GigaToken: ~1000x faster Language model tokenization

GigaToken: ~1000x faster Language model tokenization

HN 154 分 · 27 条评论 · 作者 syrusakbary · 来源 github.com · HN 讨论

【摘要】

原文抓取失败，摘要暂不可用，请访问原文链接。

【评论】共 55 条 · 按 HN 热度顺序 · 楼中楼缩进展示

1L @maxdo · 2026-07-23 01:57

Interesting :

Q: Did you just way over-optimize for a specific CPU and tokenizer? How is it so fast?

⋯ 继续阅读请登录会员 ⋯