BigQuery与Dataform接入目录质量评分:执行结果自动同步,历史评分不会一直累积
2026年10月1日,Google Cloud宣布,BigQuery pipelines的自动元数据丰富与Knowledge Catalog数据质量评分集成正式可用,Dataform工作流也获得相应支持。发布记录同时说明,Data Engineering Agent可以主动为管道资产生成语义元数据。这次变化把“数据怎样产生”与“本次检查是否通过”带到了更集中的目录入口。
目录里的质量状态来自哪一次运行
官方管理文档给出了具体机制:管道执行期间,Dataform断言的结果会自动发布到Knowledge Catalog,以通过或失败的状态填入质量评分卡。每次执行会覆盖此前Dataform运行写入的评分,但不会影响Knowledge Catalog数据扫描创建的评分卡。
这一点决定了读者应该如何理解界面。最新显示通过,表示对应运行中的已定义断言通过;它并不是一份自动保存全部历史问题的报告,也不能证明所有业务规则都已经被检查。需要回溯某次异常时,仍应结合运行记录理解发生时间。
AI模型生成的概念示意图,表现管道检查结果进入数据目录,并非真实产品截图。
说明文字与质量检查各自解决什么
以下为本文分析。以每日订单汇总为例,语义说明可以解释“成交金额”是否扣除取消订单;断言则可以检查订单编号是否重复、关键字段是否为空。说明写得准确,帮助使用者选对数据;检查设计得合适,帮助维护者发现数据不符合约定。两者放在一起有价值,但不能相互替代。
如果AI生成的说明把“下单时间”解释成“付款时间”,即使断言全部通过,使用者仍可能做出错误比较。因此,最有用的起步动作不是给所有表一次性补满介绍,而是挑选一条被频繁引用的管道,请业务负责人确认关键字段含义,再决定哪些约定值得变成自动检查。
让同步结果进入真实交接
管道本身默认可在Knowledge Catalog中管理;相关能力仍受目录服务配额、限制与定价约束。团队应把同步状态和执行状态一起看:任务运行完毕之后,目录是否已经反映本次结果,使用者能否找到对应资产及负责人。
一个小规模试点可以保留三次演示运行:正常数据、故意缺少字段的数据、修正后的数据。观察评分如何变化,并记录历史该从哪里查。这样验证的是一次完整交接,而不是只确认目录里出现了绿色标记。本文未实测该功能,试点安排为原创分析。
来源与核验
BigQuery官方发布记录公告日期为2026年10月1日;管道管理文档说明评分同步、覆盖与目录限制。资料于北京时间2026年10月2日核验。


