欢迎来到尧图网

客户服务 关于我们

您的位置：首页 > 健康 > 美食 > spark运行流程

spark运行流程

2025/2/4 1:40:57 来源：https://blog.csdn.net/m0_51192710/article/details/145366614  浏览:  次   关键词：spark运行流程

spark运行流程

在这里插入图片描述

  1. 任务提交后，先启动 Driver 程序
  2. 随后 Driver 向集群管理器注册应用程序
  3. 集群管理器根据此任务的配置文件分配 Executor 并启动
  4. Driver 开始执行 main 函数，Spark 查询为懒执行，当执行到 Action 算子时开始反向推
    算，根据宽依赖进行 Stage 的划分，随后每一个 Stage 对应一个 Taskset，Taskset 中有多个 Task
  5. 查找可用资源 Executor 进行调度
  6. 根据本地化原则，Task 会被分发到指定的 Executor 去执行
  7. 任务执行的过程中，Executor 也会不断与 Driver 进行通信，报告任务运行情况
    进行通信，报告任务运行情况

版权声明:

本网仅为发布的内容提供存储空间，不对发表、转载的内容提供任何形式的保证。凡本网注明“来源：XXX网络”的作品，均转载自其它媒体，著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处。

我们尊重并感谢每一位作者，均已注明文章来源和作者。如因作品内容、版权或其它问题，请及时与我们联系，联系邮箱：809451989@qq.com，投稿邮箱：809451989@qq.com

相关资讯

热文排行

最新新闻

推荐新闻

热搜词

【Unity2D 2022：C#Script】DoTween插件的使用 【Rust自学】15.4. Drop trait：告别手动清理，释放即安全 登录管理——认证方案(JWT、拦截器、ThreadLocal、短信验证) [EAI-028] Diffusion-VLA，能够进行多模态推理和机器人动作预测的VLA模型 NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram 鸿蒙开发黑科技“stack叠层”替代customdialog