抽取数据集,未设置主键和未设置前置清理规则的情况:
首次查询:select * from `table` where dt>= '20250101'(假设现在数据集的数据为20250101-20251001)
增量更新sql : select * from `table` where dt>= '20250501'
此时每次更新,都是直接执行增量sql。
我的问题点在于增量更新抽取到的数据会全部作为新增数据,但是因为没有设置主键,对于当前数据集中>=2025051的数据如何处理?
是直接先删除再新增吗,删除的时候没有主键,拿什么字段判断?或者是直接增量更新查到的数据全部作为新数据插入,那是否会存在两份一致的数据?
如果是直接删除dt>=20250501,那和前置规则设置dt>=0501是不是一样的效果
(上次提问没得到回复,再提问下)
|