Hugging Face Blog·· 10 天前精选AI 评分69
Hugging Face tokenizers v1 发布候选版，编码速度达到 v0.23 的 3 到 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 release candidate，官方基准显示其在 Apple M4 Max 单线程下的编码速度达到 v0.23 的 3 到 30 倍。
推荐理由
文章用统一的 tokbench 基准比较 v1 与 v0.23 的编码表现，并解释缓存、SIMD 分词和无分配合并循环分别带来的加速来源。
来源：Hugging Face Blog · huggingface.co