spark内存管理总结

##spark.executor.memory详细介绍

https://www.jianshu.com/p/10e91ace3378

##堆外内存(Off-heap Memory)介绍

https://www.iteblog.com/archives/2342.html

####default

INFO yarn.Client: Will allocate AM container, with 896 MB memory including 384 MB overhead

spark.yarn.am.memory =512M

spark.yarn.am.memoryOverhead = 384M

https://blog.csdn.net/ainidong2005/article/details/53152605

https://blog.csdn.net/fansy1990/article/details/54314249/

参数spark.yarn.executor.memoryOverhead与参数spark.memory.offHeap.size都表示堆外内存大小，有什么区别？

答：作用不同。因为spark.yarn.executor.memoryOverhead表示Executor自身JVM进程需要的内存开销，

spark.memory.offHeap.size表示rdd计算执行和数据存储使用的offheap（默认计算和存储各占50%，由参数spark.memory.storageFraction控制）。