Flume 基础架构 VIP

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程主要讲解 Flume 的基础架构,然后会对 Flume 的三大组件(Source组件、Channel组件、Sink组件)以及 Flume 过滤器 ( Interceptors )、Flume Channel 选择器 ( Selectors )、Flume 序列化器 ( Serializers ) 进行详细的讲解。最后会讲解 Flume Sink 容错和负责均衡。

    1.Flume 整体架构 00:08:27

    本课时首先讲解 Flume 的的数据模型,然后讲解 Flume Agent 链以及 Flume 内部多路复用模型。

    2.Flume Source 组件 00:11:18

    本课时主要讲解常见的几种 Flume Source 组件: Avro、HTTP、Kafka、Syslog、Exec 和 Spooling Directory。从这些常用 Source的介绍, 认识 Flume Source 组件的通用特性,最后会介绍通过配置 Flume 过滤器可以在 Source组件中过滤数据。

    3.Flume Channel 组件 00:07:14

    本课时主要讲解常见的几种 Flume Channel 组件: 内存、文件、JDBC、Kafka。从这些常用 Flume Channel 的介绍, 认识 Flume Channel组件的通用特性,最后会介绍通过配置 Flume Channel 选择器将 Source 组件的数据多路复用到不同的 Channel 中。

    4.Flume Sink 组件 00:18:23

    本课时主要讲解常见的几种 Flume Sink 组件: HDFS、HBASE、Avro,ElasticSearch,File,Logger 或者其它的 Flume Agent。从这些常用 Sink 的介绍, 认识 Flume Sink 组件的通用特性,然后会介绍通过配置 Flume Serializers 将 Flume Sink 的数据定制序列化格式后输出,最后会介绍Flume Sink 的容错和负责均衡方式。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Flume 基础架构

4课时,45分钟2016-05-09
Scoot
Scoot

极客学院签约布道师

课程背景:
在前一课程了解了 Flume 是什么能干什么之后,这节课主要带领大家认识 Flume 的整体结构,认识 Flume 的三大核心组件: Source 组件、Channel 组件和 Sink 组件。每种组件当前已经有很多的开源实现供选择。本课程也会介绍一些常见的 Source、Channel 和 Sink 组件。最后会介绍Flume Sink 的容错和负责均衡方式。

核心内容:
1.Flume 整体架构;
2.Flume Source组件;
3.Flume Channel组件;
4.Flume Sink组件;

软件环境:linux 服务器(或者linux虚拟机)至少一台;jdk1.7以上;flume1.6.0

是否提供资料:

课程等级:初级

适合人群:
大数据爱好者,大数据开发者,大数据架构师,服务器端开发,需要数据搬运的开发者
  • 技术问答
  • 1

    Flume 整体架构

    08:27

    本课时首先讲解 Flume 的的数据模型,然后讲解 Flume Agent 链以及 Flume 内部多路复用模型。

  • 2

    Flume Source 组件

    11:18

    本课时主要讲解常见的几种 Flume Source 组件: Avro、HTTP、Kafka、Syslog、Exec 和 Spooling Directory。从这些常用 Source的介绍, 认识 Flume Source 组件的通用特性,最后会介绍通过配置 Flume 过滤器可以在 Source组件中过滤数据。

  • 3

    Flume Channel 组件

    07:14

    本课时主要讲解常见的几种 Flume Channel 组件: 内存、文件、JDBC、Kafka。从这些常用 Flume Channel 的介绍, 认识 Flume Channel组件的通用特性,最后会介绍通过配置 Flume Channel 选择器将 Source 组件的数据多路复用到不同的 Channel 中。

  • 4

    Flume Sink 组件

    18:23

    本课时主要讲解常见的几种 Flume Sink 组件: HDFS、HBASE、Avro,ElasticSearch,File,Logger 或者其它的 Flume Agent。从这些常用 Sink 的介绍, 认识 Flume Sink 组件的通用特性,然后会介绍通过配置 Flume Serializers 将 Flume Sink 的数据定制序列化格式后输出,最后会介绍Flume Sink 的容错和负责均衡方式。

相关课程

  • Hadoop MapReduce 进阶

    本课程主要讲解 Hadoop 序列化机制,自定义序列化完成 MapReduce 任务,并通过 ToolRunner 运行标准任务,演示 Hadoop 中的 RPC 通信,着重对 MapReduce On YARN 的源码进行分析。

    5课时 63分钟
    高级
    6961人学习
  • Hadoop MapReduce 入门

    本课程主要讲解 Hadoop 核心之一的 MapReduce 相关概念,并在 Windows 中演示安装 Eclipse 运行 MapReduce 的插件,编写运行词频统计测试。

    3课时 56分钟
    高级
    9740人学习
  • YARN 架构详解

    本课程主要介绍 YARN 底层架构,着重讲解 YARN 各个进程的作用,演示如何开启 YARN 的高可用架构。

    3课时 49分钟
    高级
    4965人学习
  • Flume 概述

    本课程主要是带领大家认识 Flume,了解 Flume 是什么、Flume 能干什么以及 Flume 的发展历史,最后能够在 Linux 或者类 Unix 环境下通过正确的修改配置文件进行 Flume 的安装。

    3课时 35分钟
    初级
    5639人学习