最新Python untokenize 往返边界:词元完全相同,为什么源码空格和返回类型仍然变了 写源码改写器时,先切成词元、再原样拼回,看上去应该什么都没改。但版本控制却出现一堆空格差异,写文件时还可能因bytes和str类型不一致而报错。问题在于词元往返和字节往返是两份不同契约:前者保住语言片段及其顺序,后者... yunqueblog/ 技术教程/ 2026-10-04/ 3 阅读
Python 源码编码探测:写了 coding 注释,为什么 UTF-8 BOM 仍可能让文件报错 这是源码约定,不是猜任意文本编码写源码检查工具时,直接用固定编码读取所有 py 文件,可能错过文件自己声明的编码;反过来,扫描任意一处 coding 注释也不符合解释器规则。tokenize.detect_encod... yunqueblog/ 技术教程/ 2026-10-01/ 3 阅读