针对这个问题,主要有以下两个方面排查
1)是否是在数据集更新任务取消之后,立马对这个刚取消任务的数据集进行更新,然后出现该报错
1.1)原因是因为在取消更新任务之后,立马对这个刚取消任务的数据集进行更新。取消更新任务之后,程序正在删除目录下的所有东西,但是这个时候只是任务展示结束,但实际还在进行删除,因此重新更新数据集的时候,会发起一个新的数据集更新任务,创建文件夹和文件,但由于上一个任务还在删除相关文件,因此这个新任务发起的所创建的文件夹和文件也会被上一个任务进行中的程序删除,最后就报错“No such file or directory” 1.2)因此建议取消任务之后不要立马灸更新数据集可以等待一会再进行更新
2)数据集更新这个时候是不是设置了定时更新,且更新的时间设置在凌晨一点 2.1)原因是我们的系统会在每天的凌晨一点自动删除空的文件夹,而这个时候数据集如果更新,是会创建一个新的文件夹,然后新建avro文件,因此这个时候可能会出现刚好新建好一个空的文件夹,就被定时清理任务的程序自动删除了。那么就会出现No such file or directory的报错。
|