spark动态资源分配参数一览

Spark学习随笔 同时被 2 个专栏收录
73 篇文章 5 订阅
58 篇文章 0 订阅
属性默认值含义自版本
spark.dynamicAllocation.enabledfalse

是否使用动态资源分配,该资源分配将根据工作负载上下扩展在此应用程序中注册的执行程序的数量。 

这需要设置spark.shuffle.service.enabled或spark.dynamicAllocation.shuffleTracking.enabled。 以下配置也相关:spark.dynamicAllocation.minExecutors,spark.dynamicAllocation.maxExecutors和spark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.executorAllocationRatio

1.2.0
spark.dynamicAllocation.executorIdleTimeout60s如果启用了动态分配,并且执行器闲置了超过此持续时间,则该执行器将被删除。 有关更多详细信息,请参见此描述。如果启用了动态分配,并且执行器闲置时间超过了此持续时间,则该执行器将被删除。 1.2.0
spark.dynamicAllocation.cachedExecutorIdleTimeoutinfinity如果启用了动态分配,并且已缓存数据块的执行器闲置了超过此持续时间,则该执行器将被删除1.4.0
spark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.minExecutors 

如果启用了动态分配,则要运行的执行程序的数量不多。

如果设置了--num-executors(或spark.executor.instances)并且大于此值,它将用作执行者的初始数量。

1.3.0
spark.dynamicAllocation.maxExecutorsinfinity如果启用了动态分配,则执行者数量的上限。1.2.0
spark.dynamicAllocation.minExecutors0如果启用了动态分配,则执行者数量的下限。1.2.0
spark.dynamicAllocation.executorAllocationRatio1默认情况下,动态分配将要求足够的执行者根据要处理的任务数量最大化并行性。 虽然这可以最大程度地减少作业的等待时间,但是对于小型任务,此设置可能会由于执行程序分配开销而浪费大量资源,因为某些执行程序甚至可能无法执行任何工作。 此设置允许设置一个比率,该比率将用于减少执行程序的数量。 完全并行。 默认为1.0以提供最大的并行度。 0.5将执行者的目标数量除以2由dynamicAllocation计算的执行者的目标数量仍然可以被spark.dynamicAllocation.minExecutors和spark.dynamicAllocation.maxExecutors设置覆盖2.4.0
spark.dynamicAllocation.schedulerBacklogTimeout1s如果启用了动态分配,并且有待解决的任务积压的时间超过了此期限,则将请求新的执行者。1.2.0
spark.dynamicAllocation.sustainedSchedulerBacklogTimeoutschedulerBacklogTimeout与spark.dynamicAllocation.schedulerBacklogTimeout相同,但仅用于后续执行程序请求1.2.0
spark.dynamicAllocation.shuffleTracking.enabledfalse实验功能。 为执行程序启用随机文件跟踪,从而无需外部随机服务即可动态分配。 此选项将尝试保持为活动作业存储随机数据的执行程序。3.0.0
spark.dynamicAllocation.shuffleTracking.timeoutinfinity启用随机跟踪时,控制保存随机数据的执行程序的超时。 默认值意味着Spark将依靠垃圾回收中的shuffle来释放执行程序。 如果由于某种原因垃圾回收无法足够快地清理随机数据,则此选项可用于控制执行者何时超时,即使它们正在存储随机数据。3.0.0
  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值