数据集更新报错

数据集更新报错报错Direct buffer memory是什么原因呢

该报错通常是由于写入 Parquet 文件时发生Java 堆外内存溢出异常导致。具体原因及解决方案如下：
核心原因
数据集中存在数组类型字段，且大量字段值长度较大（通常为 JSON 格式存储），导致内存占用超出预期。
解决方案
字段预处理（推荐）：
若确认字段值为 JSON 格式，可通过 get_json_object 函数 提前提取目标键值对，仅保留业务所需字段，避免抽取整个数组字段。

若还是未解决，可以联系相关技术支持排查处理~