请教各位大佬,我用 spark 算的一张几十万级别的表,结果保存到 hive. 结果任务卡在 save task 几个小时,该如何优化呢?实例代码如下
df.write.format(“orc”). saveAsTable(“db. table”)
df 是一个几十万条数据的 dataframe
请教各位大佬,我用 spark 算的一张几十万级别的表,结果保存到 hive. 结果任务卡在 save task 几个小时,该如何优化呢?实例代码如下
df.write.format(“orc”). saveAsTable(“db. table”)
df 是一个几十万条数据的 dataframe