问答 查看内容
返回列表

调用上传数据集接口,数据量不大的情况下上传很缓慢

64 1
发表于 2025-6-19 09:55:17 | 查看全部 阅读模式
调用上传数据集接口,数据量不大的情况下上传需要6s,但是同样的一份excel数据,通过新建文件类型数据集的方式却快很多,这个是为什么?

评论1

观小豪楼主Lv.1 发表于 2025-6-19 10:04:53 | 查看全部
针对这个问题,排查思路:

1)首先要清楚,一个文件类型数据集上传主要是有三步,“获取数据到临时文件”,“临时文件数据合并到数据集”,以及“获取数据集行数”三个部分,因此针对上传数据集缓慢问题,我们主要分析这三个部分哪个部分缓慢
截图202506191000226198.png
2)获取调用上传数据集接口这段时间bi上“管理员设置-运维管理-运维日志”的server日志
2.1)通过搜索对应的接口名public-api/upload-dataset/v2,然后获取到请求号
截图202506190958048255.png
2.2)然后根据前面的请求号开始分析调用开始的时间,以上图举例从16:31开始调用,直至16:36才结束获取数据的阶段,因此主要缓慢是在获取数据到临时文件的阶段
截图202506190959283382.png
2.3)通过分析,中间有“去重主键”的配置,因此可以判断是因为这个导致了上传缓慢
2.4)因此后续可以先暂停配置“去重主键”,保障调用接口上传数据集速率
截图202506191004287057.png





回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2025 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表