Spark总体架构和运行流程

  • 内容
  • 评论
  • 相关

本节将首先介绍 Spark 的运行架构和基本术语,然后介绍 Spark 运行的基本流程,最后介绍 RDD 的核心理念和运行原理。

Spark 总体架构

Spark 运行架构如图 1 所示,包括集群资源管理器(Cluster Manager)、多个运行作业任务的工作结点(Worker Node)、每个应用的任务控制结点(Driver)和每个工作结点上负责具体任务的执行进程(Executor)。

Spark运行架构
图 1  Spark运行架构

本文标题:Spark总体架构和运行流程

本文地址:http://www.hosteonscn.com/5442.html

评论

0条评论

发表评论

邮箱地址不会被公开。 必填项已用*标注