问答 查看内容
返回列表

抽取数据增量更新的逻辑

682 1
发表于 2025-11-11 19:31:17 | 查看全部 阅读模式
抽取数据集,未设置主键和未设置前置清理规则的情况:
首次查询:select * from `table`  where dt>= '20250101'(假设现在数据集的数据为20250101-20251001)


增量更新sql : select * from `table`  where dt>= '20250501'

此时每次更新,都是直接执行增量sql。
我的问题点在于增量更新抽取到的数据会全部作为新增数据,但是因为没有设置主键,对于当前数据集中>=2025051的数据如何处理?
是直接先删除再新增吗,删除的时候没有主键,拿什么字段判断?
如果是直接删除dt>=20250501,那和前置规则设置dt>=0501是不是一样的效果

评论1

chsunLv.1 发表于 2025-11-12 09:17:03 | 查看全部
这也是我的疑问。
手动更新可以设置添加数据或覆盖数据。
但自动更新没有这样的选项。坐等答案

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2026 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表