Spark简介与计算模型 认证专享

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程主要对Spark进行了简单介绍,给出了Spark的生态系统综述,同时进行Spark基本概念、计算模型进行了阐述,最后向大家讲解了Spark开发环境的配置。

    1.Spark简介 00:06:59

    本课时介绍 Apache Spark的前世今生、基本功能。Spark生态系统,并对比传统批处理式系统讲解Spark的优点。

    2.Spark计算模型 00:08:29

    本课时介绍Spark计算模型,讲解了RDD和RDD上的运算Transformation和Action,以及Spark的运行时模型。

    3.Spark开发环境搭建 00:13:01

    本课时主要介绍Spark开发环境的搭建,在Windows以及Linux平台搭建Spark开发环境,通过SBT构建Spark项目,通过Spark Shell执行Spark程序。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Spark简介与计算模型

3课时,28分钟2015-06-30
高彦杰
高彦杰

极客学院签约布道师

课程背景:
Apache Spark是自由开源的分布式内存计算平台,目前已经成为 Apache 基金会的顶级项目。该平台可以快速、多计算范式、可靠地处理海量数据,除了基本批处理型外,还支持流计算、图计算、SQL分析和机器学习。

核心内容:
1.Spark生态系统
2.Spark优点
3.RDD
4.Transformation和Action
5.Spark开发环境搭建

软件环境:Intellij,Linux,Scala

是否提供资料:

课程等级:中级

适合人群:
数据工程师,数据分析师
  • 技术问答
  • 1

    Spark简介

    06:59

    本课时介绍 Apache Spark的前世今生、基本功能。Spark生态系统,并对比传统批处理式系统讲解Spark的优点。

  • 2

    Spark计算模型

    08:29

    本课时介绍Spark计算模型,讲解了RDD和RDD上的运算Transformation和Action,以及Spark的运行时模型。

  • 3

    Spark开发环境搭建

    13:01

    本课时主要介绍Spark开发环境的搭建,在Windows以及Linux平台搭建Spark开发环境,通过SBT构建Spark项目,通过Spark Shell执行Spark程序。

相关课程

  • Hadoop 用户行为分析项目之编码实践

    本课程以用户行为分析案例为基础,带着大家去完成对各个 KPI 的编码工作,以及应用调度工作,让大家通过本课程掌握 Hadoop 项目的编码、调度流程。

    4课时 35分钟
    中级
    10835人学习
  • Yarn 的发展背景及基本原理

    本课程主要介绍 Hadoop Yarn 产生的历史背景,以及与 MapReduce 的区别,Yarn 的主要特点及优势。

    3课时 33分钟
    中级
    10441人学习
  • Apache Storm 计算模型详解与实战

    本课程将会针对 Storm 模型逐一进行详细介绍和讲解,并对照现有系统进行对比,并根据讲解的内容给出了对应的实战演示程序示例。

    4课时 62分钟
    初级
    5806人学习
  • Storm 实战:频繁组合查找

    本课程将会讲解一个 Storm 实时处理系统应用实战案例:频繁组合查找,并在实战演练过程中对各个重要知识概念进行讲解,着重讲解序列化的概念。

    5课时 75分钟
    初级
    5632人学习