今天要分享的知识点是关于阿里云DataWorks的数据质量管理功能。数据质量管理帮助用户及时感知源端数据的变更和在ETL(Ext
今天要分享的知识点是关于阿里云DataWorks的数据质量管理功能。数据质量管理帮助用户及时感知源端数据的变更和在ETL(Extract,Transformation,Load)过程中产生的脏数据,自动拦截问题任务,有效防止脏数据扩散到下游。数据质量规则的费用包括DataWorks的相关收费和非DataWorks收费。数据质量规则校验会生成SQL并在引擎端执行,因此还会产生额外的引擎费用。功能介绍主要内容包括:-数据质量概览:提供数据质量报警与阻塞性情况的概览,展示离线数据和流数据质量报警。-我的订阅:展示通过短信、钉钉群机器人等方式发送的报警信息。-规则配置:支持按表配置或按模板配置质量监控规则。DataWorks数据质量支持对常见的大数据存储(如MaxCompute、E-MapReduceHive、Hologres等)进行质量校验,可以在完整性、准确性、有效性、一致性、唯一性和及时性等多个维度配置监控规则。用户还可以将质量监控规则与调度节点关联,任务完成后即触发规则校验,快速感知问题,并根据需要设置规则的强度,控制任务是否因为问题数据而终止。此外,去噪管理功能支持对当前工作空间在某一时间内的数据质量规则校验结果进行管理。报告模板管理页面支持用户创建报告模板,规则模板库支持自建通用的自定义监控模板。使用场景包括离线数据校验,可以在任务完成后立即触发质量规则校验,避免脏数据影响。配置规则包括创建规则和订阅规则,用于接收数据质量规则校验报警信息。
在Telegram中查看相关推荐
![](https://soso.news/wp-content/uploads/2023/09/coin-300x85.png)
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人