云鹊BLOG云鹊BLOG云鹊BLOG
  • 首页

云鹊BLOG云鹊BLOG云鹊BLOG

当前位置:首页关于 tokenize 的文章
Python untokenize 往返边界:词元完全相同,为什么源码空格和返回类型仍然变了

最新Python untokenize 往返边界:词元完全相同,为什么源码空格和返回类型仍然变了

写源码改写器时,先切成词元、再原样拼回,看上去应该什么都没改。但版本控制却出现一堆空格差异,写文件时还可能因bytes和str类型不一致而报错。问题在于词元往返和字节往返是两份不同契约:前者保住语言片段及其顺序,后者...

yunqueblogyunqueblog/ 技术教程/ 2026-10-04/ 3 阅读
Python 源码编码探测:写了 coding 注释,为什么 UTF-8 BOM 仍可能让文件报错

Python 源码编码探测:写了 coding 注释,为什么 UTF-8 BOM 仍可能让文件报错

这是源码约定,不是猜任意文本编码写源码检查工具时,直接用固定编码读取所有 py 文件,可能错过文件自己声明的编码;反过来,扫描任意一处 coding 注释也不符合解释器规则。tokenize.detect_encod...

yunqueblogyunqueblog/ 技术教程/ 2026-10-01/ 3 阅读
  • 1
  • 共 1 页
Copyright2020后台修改文字. 基于Z-BlogPHP搭建