用 AI 做 BPE 合并练习：词表学完以后，新句子不会再现场造规则 AI服务按token计算输入量时，一个词不一定只占一个token。与其让模型猜“这段大约几个”，可以先让它制作一份很小的BPE训练记录，亲手看一次字符怎样合成片段，再回到实际工具查询真实数量。 yunqueblog/ AI分享/ 2026-10-02/ 3 阅读
yunqueblog