Hugging Face tokenizers v1 发布候选版，编码速度达到 v0.23 的 3 到 30 倍

Hugging Face 发布 tokenizers v1 release candidate，官方基准显示其在 Apple M4 Max 单线程下的编码速度达到 v0.23 的 3 到 30 倍。