问答 查看内容
返回列表

etl数据的变化差异问题

13 1
发表于 昨天 11:38 | 查看全部 阅读模式
截图202411161137069261.png

截图202411161137117076.png
这是我23和24号生成的数据,拿23日的数据看,有1000左右的差距,理解数据是一直在变动中的~
问题1:然后24号的数据,系统上午推送的时候是1752,下午手动更新了一下,成了1930,看了一下本地的系统,是2228,为什么会有这种差异呢?
问题2:同时etl的数据,单次运算的量级会有多大
问题3:会不会是一次更新还没更新完,后续持续再滚动更新呢?

评论1

观小豪楼主Lv.1 发表于 昨天 11:41 | 查看全部
针对这种情况:

先确认etl设置了自动更新的时间周期,比如每天0点更新的
问题1:

1)按设置的时间周期(每天0点),这里会更新到0点之前系统的数据
2)然后手动更新那次,也是一样的会更新系统全部的数据
3)现在系统是2228,可能是手动更新之后到查看系统,这段时间内新增的数据,所有才觉得有差异

问题2:
etl数据量级的限制(最多是50亿行)
问题3:
1)这边更新是更新那个时间节点之前的数据,即使点击etl运行之后,下一秒数据集里面有新数据进来,也是只会先更新点击etl运行的那个时间节点之前的数据
2)如果想要etl更新跟着您数据集的更新实时变化,可以点击“更新方式-勾选数据集更新后”满足当您的这个etl的上游数据集更新之后,etl就会自动更新了
截图202411161141161556.png

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2024 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表