问答 查看内容
返回列表

ETL去重后关联数据有误

73 5
关联数据后,字段内容出现了去重前的内容,非去重后的结果

去重前有两条数据,720和721:
截图202607221054445920.png
去重后结果只有720了:
截图202607221055214818.png
接入第一个关联数据,修改字段名称,只有720一条:
截图202607221056571845.png
截图202607221056055927.png
再去接入第二个关联数据,再次修改字段名称,但是字段内容变成了721:
截图202607221058334917.png
截图202607221057596811.png


评论5

观小哈Lv.1 发表于 3 天前 | 查看全部
去重节点是否配置了明确的保留规则。如果同一个去重键下有多条记录,建议先按需要保留的字段做排序,或用分组聚合明确取 MIN/MAX/第一条,再去关联。
如果只是普通去重但没有稳定排序,后续关联或重新执行时可能取到同一组里的另一条数据,看起来就像关联回了去重前内容。
Guandata_2a7513c7楼主Lv.1 发表于 3 天前 | 查看全部
本帖最后由 Guandata_2a7513c7 于 2026-7-22 13:59 编辑
观小哈 发表于 2026-7-22 13:47
去重节点是否配置了明确的保留规则。如果同一个去重键下有多条记录,建议先按需要保留的字段做排序,或用分 ...

去重前有对字段升序,保留时间最早的一条,去重结果也是最早的一条,但是用去重结果去关联不知道为什么关联后显示了时间晚的一条
截图202607221357345889.png
去重键也只有一条规则
截图202607221359017944.png
观小哈Lv.1 发表于 3 天前 | 查看全部
从描述看,去重节点本身可能是生效的,问题更可能出在后续关联。请检查关联节点的右表关联键是否唯一,如果右表同一个关联键还有多条记录,左表即使已去重,关联后仍会被放大成多条。另外也要确认关联后展示的时间字段来源,是去重后左表字段,还是右表带过来的同名字段。建议在去重节点后先接“选择列”,只保留去重键和已确认的最早时间字段,并改名为“去重后进班日期”,再去做关联;同时右表如果也有重复键,需要先按同样规则去重或聚合后再关联。
Guandata_2a7513c7楼主Lv.1 发表于 3 天前 | 查看全部
观小哈 发表于 2026-7-22 15:07
从描述看,去重节点本身可能是生效的,问题更可能出在后续关联。请检查关联节点的右表关联键是否唯一,如果 ...

有直接的联系方式吗,我把ETL截图给您看
观小哈Lv.1 发表于 3 天前 | 查看全部
可以售后群里反馈 会有对应技术支持解答

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2026 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表