问答 查看内容
返回列表

etl运行报错Not enough memory to build and broadcast the table to all...

158 1
发表于 2024-12-16 11:34:03 | 查看全部 阅读模式
截图202412161133506301.png

etl运行报错Not enough memory to build and broadcast the table to all worker nodes. As a workaround, you can either disable broadcast by setting spark.sql.autoBroadcastJoinThreshold to -1 or increase the spark driver memory by setting spark.driver.memory to a higher value.

评论1

观小豪楼主Lv.1 发表于 2024-12-16 11:34:26 | 查看全部
这个报错原因主要还是driver内存不够用导致的问题。可以在这个etl的高级设置里面禁用掉BroadcastJOIN能减少内存OOM的风险

截图202412161134227323.png

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信服务号
联系我们
电话:400-880-0750
邮箱:hello@guandata.com
Copyright © 2001-2025 观远社区 版权所有 All Rights Reserved. 浙 ICP 备15006424号-3
去回复 去发帖 返回顶部
快速回复 返回顶部 返回列表