问答 查看内容
返回列表

智能ETL运行失败:Job aborted due to stage failure

137 1
发表于 2025-2-27 17:25:38 | 查看全部 阅读模式
截图202502271725257054.png

评论1

观小咩楼主Lv.1 发表于 2025-2-27 17:25:59 | 查看全部
报这个错的原因正常来讲都是ETL使用的内存过大,导致OOM重启了。
比较推荐的做法是:
1、尽可能在一个任务里减少数据量,或者减少计算逻辑。因为是偶现的,所以跟当时整体的任务也有关系,如果有两个比较大的任务同时跑,就确实可能发生这种情况。
2、对etl逻辑进行优化:https://docs.guandata.com/product/bi/428145897340141568
3、禁用BroadcastJoin(在系统内,Spark为默认启用。但当两张关联表的数据量都较大时,其实并不适合启用Spark的 BroadcastJoin 功能。)
截图202502271725507546.png

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2025 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表