数据集增量更新配置去重主键抽取上来的数据null值数据没有去重是为什么？

数据集增量更新配置去重主键抽取上来的数据null值数据没有去重是为什么？如下图获取的数据，配置了四个去重主键，但是没有去重

关于这个问题，是由于去重的时候是聚合的逻辑，null 和 null 会被视为同样的值。
但是增量更新的时候是 join 的逻辑，null 和 null 会被视为不同的值，所以最终获取下来的数值可能会变成两条有 null 的值。

所以建议可以先对数据库数据进行处理，排除 null 值。