多个ftp文件更新相关

如果多个ftp文件一起更新，不同的文件中有相同的id数据，但每个文件中只有一条id数据，这样会如何更新？

多个文件的话，逻辑是：
1.遍历读取所有的文件，然后把数据写到avro文件（中间文件），这时候这个文件数据是重复的
2.该中间文件与数据集文件合并，如果有主键，按照主键去重，具体最后覆盖上去的是哪一条是随机的。