问答 查看内容
返回列表

抽取更新增量的方式,是一次性全读写到guan-index然后再识别做增量处理吗?

10 1
发表于 5 小时前 | 查看全部 阅读模式
本帖最后由 观小咩 于 2026-9-1 09:14 编辑

近期遇到数据库死锁的频率开始升高,想了解下是否能做成类似每次几百条分页处理增量更新的逻辑方式

评论1

观小咩楼主Lv.1 发表于 5 小时前 | 查看全部
是的,开启增量后执行用户配置的增量 SQL;但这个增量 SQL 返回的结果集会作为一次抽取任务读入 Avro,再写入抽取数据集。

目前数据库抽取数据集没有产品化的“自动分页增量抽取”配置;只能通过增量 SQL 自己控制本次抽取范围。
实操上建议把条件收窄到更小时间窗或 ID 区间,例如按 order_time 小窗口、order_id 范围、status 分段拆多个数据集/ETL 节点,并错峰调度。
如果死锁频率升高,优先让 DBA 检查 SQL Server 源表索引和隔离级别:order_time、status、order_id 应有合适索引;必要时评估快照读、读写分离、或在可接受一致性风险下使用 SQL Server 侧读锁规避写法。

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2026 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表