设为首页
收藏本站
切换到宽版
社区
人才交流
观远BI合伙人计划
登录
问答
›
查看内容
返回列表
发布新帖
抽取更新增量的方式,是一次性全读写到guan-index然后再识别做增量处理吗?
10
1
观小咩
Lv.1
发表于
5 小时前
|
查看全部
阅读模式
本帖最后由 观小咩 于 2026-9-1 09:14 编辑
近期遇到数据库死锁的频率开始升高,想了解下是否能做成类似每次几百条分页处理增量更新的逻辑方式
快速回复
回复
举报
电梯直达
评论
1
观小咩
楼主
Lv.1
发表于
5 小时前
|
查看全部
是的,开启增量后执行用户配置的增量 SQL;但这个增量 SQL 返回的结果集会作为一次抽取任务读入 Avro,再写入抽取数据集。
目前数据库抽取数据集没有产品化的“自动分页增量抽取”配置;只能通过增量 SQL 自己控制本次抽取范围。
实操上建议把条件收窄到更小时间窗或 ID 区间,例如按 order_time 小窗口、order_id 范围、status 分段拆多个数据集/ETL 节点,并错峰调度。
如果死锁频率升高,优先让 DBA 检查 SQL Server 源表索引和隔离级别:order_time、status、order_id 应有合适索引;必要时评估快照读、读写分离、或在可接受一致性风险下使用 SQL Server 侧读锁规避写法。
回复
顶
举报
返回列表
发布新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
观小咩
Lv.1 注册会员
主题
261
回帖
286
积分
1572
+ 关注
Ta的主页
微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
产品
观远BI
BI Copilot
移动分析
智能ETL
报表分析
多维分析
解决方案
消费品
泛零售
金融
互联网
先进制造
资源与服务
资源下载
直播干货
BI行业资讯
观远学堂
帮助中心
技术支持
伙伴与生态
生态合作伙伴
观远BI合伙人计划
关于我们
公司介绍
荣誉奖项
行业资质
市场活动
Copyright © 2001-2026
观远社区
版权所有
All Rights Reserved.
浙 ICP 备15006424号-3
去回复
去发帖
返回顶部
快速回复
返回顶部
返回列表