Spark架构与工作机制

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程主要介绍Spark的架构与工作机制。课程中将对Spark的内部模块结构进行详细的阐述,同时对Spark内部调度进行讲解,完成对Spark核心工作机制的剖析。

    1.Spark的架构 00:05:41

    本课时介绍Spark的架构,对Spark架构中各个组件,例如Master,Worker等进行剖析讲解。

    2.Spark的工作机制 00:06:37

    本课时介绍Spark的工作机制。对Spark作业中的Application,Job等进行讲解,详细剖析Spark作业的运行流程。

    3.Spark的调度 00:09:22

    本课时介绍Spark的调度。 课时将会针对Spark中各种不同的调度进行深度的分析讲解。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Spark架构与工作机制

3课时,22分钟2015-07-27
高彦杰
高彦杰

极客学院签约布道师

课程背景:
Spark架构整体包含Master,Worker,Driver,Executor等组件,在集群上完成大规模数据处理。Spark通过一定的调度机制,将作业并行化运行。

核心内容:
1.Spark架构
2.Spark作业与任务
3.Spark工作机制
4.Spark Application调度
5.Spark Job调度

软件环境:Intellij,Linux,Scala

是否提供资料:

课程等级:初级

适合人群:
数据工程师,数据分析师
  • 技术问答
  • 1

    Spark的架构

    05:41

    本课时介绍Spark的架构,对Spark架构中各个组件,例如Master,Worker等进行剖析讲解。

  • 2

    Spark的工作机制

    06:37

    本课时介绍Spark的工作机制。对Spark作业中的Application,Job等进行讲解,详细剖析Spark作业的运行流程。

  • 3

    Spark的调度

    09:22

    本课时介绍Spark的调度。 课时将会针对Spark中各种不同的调度进行深度的分析讲解。

相关课程

  • Spark简介与计算模型

    本课程主要对Spark进行了简单介绍,给出了Spark的生态系统综述,同时进行Spark基本概念、计算模型进行了阐述,最后向大家讲解了Spark开发环境的配置。

    3课时 28分钟
    中级
    12966人学习
  • Storm 实战:统计日志和处理

    本课程将会讲解一个 Storm 实时处理系统应用实战案例:日志的统计和处理,并在实战演练过程中对各个重要知识概念进行讲解,讲解如何过滤日志和分类处理。

    4课时 64分钟
    初级
    5744人学习
  • Hive 环境搭建

    “工欲善其事,必先利其器”,出自孔子的《论语·卫灵公》,其意指工匠想要使他的工作做好,一定要先工具锋利。本课程我们将要学习 Hive 所需的环境搭建,包括系统的选择、终端的选择、环境的配置以及 Hadoop 和 Hive 的安装。

    3课时 97分钟
    初级
    7066人学习
  • 安装 Hadoop YARN

    本课程将介绍如何安装 Hadoop YARN,主要是为后面的实验准备 YARN 的实验环境。本课程会介绍 Hadoop 的三种安装模式,主要介绍如何进行伪公布式安装。

    3课时 38分钟
    中级
    9116人学习