Hadoop MapReduce 进阶 认证专享

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程主要讲解 Hadoop 序列化机制,自定义序列化完成 MapReduce 任务,并通过 ToolRunner 运行标准任务,演示 Hadoop 中的 RPC 通信,着重对 MapReduce On YARN 的源码进行分析。

    1.Hadoop RPC 00:10:00

    本课时主要讲解 Hadoop 中的 RPC 通信机制,并编写客户端与服务端完成通信。

    2.Hadoop 序列化 00:09:28

    本课时主要分析 MapReduce 流程,并对 Hadoop 中的序列化机制进行讲解,最后讲解序列化 Demo 需求。

    3.Hadoop 自定义序列化 00:29:32

    本课时主要讲解编写代码完成序列化功能。

    4.MapReduce Tool 接口 00:08:47

    本课时主要讲解实现 Tool 接口通过 ToolRunner 运行程序,并对源码做一些分析。

    5.MapReducec On YARN 源码分析 00:05:41

    本课时主要通过源码分析 MapReduce 运行在 YARN 上的流程。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Hadoop MapReduce 进阶

5课时,63分钟2016-04-27
Wil1
Wil1

极客学院签约布道师

课程背景:
MapReduce 是一个高性能的批处理分布式计算框架,用于对海量数据进行并行分析和处理。与传统数据仓库和分析技术相比,MapReduce 适合处理各种类型的数据,包括结构化、半结构化和非结构化数据。数据量在 TB 和 PB 级别,在这个量级上,传统方法通常已经无法处理数据。MapReduce 将分析任务分为大量的并行 Map 任务和 Reduce 汇总任务两类。

核心内容:
1.Hadoop RPC
2.Hadoop 序列化
3.ToolRunner 运行 MapReduce
4.MapReduce On YARN 源码分析

软件环境:Centos6.4,Hadoop2.7.1

是否提供资料:

课程等级:高级

适合人群:
具有 Linux 基础
  • 技术问答
  • 1

    Hadoop RPC

    10:00

    本课时主要讲解 Hadoop 中的 RPC 通信机制,并编写客户端与服务端完成通信。

  • 2

    Hadoop 序列化

    09:28

    本课时主要分析 MapReduce 流程,并对 Hadoop 中的序列化机制进行讲解,最后讲解序列化 Demo 需求。

  • 3

    Hadoop 自定义序列化

    29:32

    本课时主要讲解编写代码完成序列化功能。

  • 4

    MapReduce Tool 接口

    08:47

    本课时主要讲解实现 Tool 接口通过 ToolRunner 运行程序,并对源码做一些分析。

  • 5

    MapReducec On YARN 源码分析

    05:41

    本课时主要通过源码分析 MapReduce 运行在 YARN 上的流程。

相关课程

  • Hadoop 管理与调优

    本课程主要介绍 Hadoop 整合 Hue、Hadoop 数据添加 LZO 压缩调优,同时也会讲解 Hadoop 升级原理并进行升级演示。

    4课时 59分钟
    高级
    4656人学习
  • HDFS 架构详解

    本课程主要介绍 HDFS 底层架构,并演示在 Linux 中开发 Java 程序操作 HDFS 中的数据,以及如何通过 HDFS Shell 命令操作数据。

    4课时 61分钟
    高级
    5946人学习
  • YARN 架构详解

    本课程主要介绍 YARN 底层架构,着重讲解 YARN 各个进程的作用,演示如何开启 YARN 的高可用架构。

    3课时 49分钟
    高级
    4965人学习
  • Hadoop MapReduce 入门

    本课程主要讲解 Hadoop 核心之一的 MapReduce 相关概念,并在 Windows 中演示安装 Eclipse 运行 MapReduce 的插件,编写运行词频统计测试。

    3课时 56分钟
    高级
    9740人学习