针对这个问题,排查思路:
1)首先要清楚,一个文件类型数据集上传主要是有三步,“获取数据到临时文件”,“临时文件数据合并到数据集”,以及“获取数据集行数”三个部分,因此针对上传数据集缓慢问题,我们主要分析这三个部分哪个部分缓慢
2)获取调用上传数据集接口这段时间bi上“管理员设置-运维管理-运维日志”的server日志
2.1)通过搜索对应的接口名public-api/upload-dataset/v2,然后获取到请求号
2.2)然后根据前面的请求号开始分析调用开始的时间,以上图举例从16:31开始调用,直至16:36才结束获取数据的阶段,因此主要缓慢是在获取数据到临时文件的阶段
2.3)通过分析,中间有“去重主键”的配置,因此可以判断是因为这个导致了上传缓慢
2.4)因此后续可以先暂停配置“去重主键”,保障调用接口上传数据集速率
|