Storm 实战进阶: DataOptTopology实例 认证专享

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程为 Storm 应用开发实战的进阶,结合消息队列MQ,为大家呈现一个相对比较完整的 Storm 开发过程。其中涉及了 Metaq 集群的部署、Storm 与 Metaq 的结合、与 Mysql 的结合使用等。

    1.项目实例需求分析及设计 00:12:06

    本课时主要从项目实例的需求分析出发,以 WordCount 实例为基础,进行复杂性扩展,扩展方面包括了数据接入的形式,实时处理的形式,以及数据落地的形式。最后设计出一个方案,并且根据方案设计拓扑。

    2.Storm上下级依赖系统的介绍及搭建 00:17:49

    本课时主要介绍拓扑设计中,Storm 依赖的上下级系统的介绍,主要是数据接入的上级依赖系统,比如 Metaq;以及 Storm 数据落地的下级依赖系统MySQL的安装部署。其中以MQ消息队列为主要内容,并且着重讲解 MQ 中的Metaq 安装部署。

    3.实例代码结构讲解 00:15:39

    本课时主要讲解项目实例代码的结构,大致从三方面进行讲述:数据的消费,即 Metaq 的数据消费 Spout ;数据多重过滤逻辑,包括字段范围过滤、正则过滤以及普通字符串过滤多种模式;最后是数据落地的形式,包括MySQL 入库以及消息队列的回写等。

    4.实例演示及总结 00:13:00

    本课时主要从效果演示的角度进行讲解,先做数据落地前的准备工作,进行 MySQL 的建表;然后模拟最原始的数据源,即 Metaq 的数据生产模拟;准备工作做好后进行本地模式的效果演示;最后对实例做一个总结。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Storm 实战进阶: DataOptTopology实例

4课时,59分钟2015-07-31
blogchong
blogchong

极客学院签约布道师

课程背景:
我们在充分理解了Storm理论知识以及在已经搭建了Storm集群环境的基础上,并且对Storm的编程模式有了一定了解前提下,进一步深入学习Storm的复杂应用编程,包括了Storm的常用的数据复杂接入形式,复杂的数据落地形式等方面。

核心内容:
1.项目实例需求分析及设计
2.上下级依赖系统的介绍及搭建
3.实例代码结构讲解
4.实例演示及总结

软件环境:Linux,Eclipse,IDEA

是否提供资料:

课程等级:中级

适合人群:
数据工程师,对数据处理实时性要求比较高的开发工程师。
  • 技术问答
  • 1

    项目实例需求分析及设计

    12:06

    本课时主要从项目实例的需求分析出发,以 WordCount 实例为基础,进行复杂性扩展,扩展方面包括了数据接入的形式,实时处理的形式,以及数据落地的形式。最后设计出一个方案,并且根据方案设计拓扑。

  • 2

    Storm上下级依赖系统的介绍及搭建

    17:49

    本课时主要介绍拓扑设计中,Storm 依赖的上下级系统的介绍,主要是数据接入的上级依赖系统,比如 Metaq;以及 Storm 数据落地的下级依赖系统MySQL的安装部署。其中以MQ消息队列为主要内容,并且着重讲解 MQ 中的Metaq 安装部署。

  • 3

    实例代码结构讲解

    15:39

    本课时主要讲解项目实例代码的结构,大致从三方面进行讲述:数据的消费,即 Metaq 的数据消费 Spout ;数据多重过滤逻辑,包括字段范围过滤、正则过滤以及普通字符串过滤多种模式;最后是数据落地的形式,包括MySQL 入库以及消息队列的回写等。

  • 4

    实例演示及总结

    13:00

    本课时主要从效果演示的角度进行讲解,先做数据落地前的准备工作,进行 MySQL 的建表;然后模拟最原始的数据源,即 Metaq 的数据生产模拟;准备工作做好后进行本地模式的效果演示;最后对实例做一个总结。

相关课程

  • Storm 实战:统计日志和处理

    本课程将会讲解一个 Storm 实时处理系统应用实战案例:日志的统计和处理,并在实战演练过程中对各个重要知识概念进行讲解,讲解如何过滤日志和分类处理。

    4课时 64分钟
    初级
    6361人学习
  • Storm 实战:频繁组合查找

    本课程将会讲解一个 Storm 实时处理系统应用实战案例:频繁组合查找,并在实战演练过程中对各个重要知识概念进行讲解,着重讲解序列化的概念。

    5课时 75分钟
    初级
    5660人学习
  • Apache Storm 计算模型详解与实战

    本课程将会针对 Storm 模型逐一进行详细介绍和讲解,并对照现有系统进行对比,并根据讲解的内容给出了对应的实战演示程序示例。

    4课时 62分钟
    初级
    5846人学习
  • Storm 实战基础 :WordCount 实例

    正如大家写第一个 HelloWorld 一样的,WordCount 就是 Storm 的最基础实例。本课程将从 WordCount 实例讲解 Storm 的开发过程,让大家更加容易理解 Storm 的编程模型,从而更容易上手进行 Storm 的应用开发。

    3课时 57分钟
    初级
    7118人学习