Storm 实战:统计日志和处理

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程将会讲解一个 Storm 实时处理系统应用实战案例:日志的统计和处理,并在实战演练过程中对各个重要知识概念进行讲解,讲解如何过滤日志和分类处理。

    1.相关开发工具介绍 00:05:23

    本课时介绍开发统计日志和处理所需的所有开发工具和背景知识,并对本套课程即将演示的应用程序进行简要介绍。

    2.日志流处理设计方案 00:03:39

    本课时介绍本套课程即将实战开发的基于 Storm 实时处理系统构建的日志流处理实例的设计方案,并在编写代码前介绍各个环节的设计细节和思路。

    3.实现 Topology 00:51:42

    本课时介绍编写整套实时处理系统实例的方法,并在实战演练的过程中针对一些重要概念着重进行讲解。

    4.实现日志收集分析模块 00:03:16

    本课时介绍统计日志和处理的实时处理系统实例所需日志收集分析模块的编写方法,并在实战演练的过程中针对一些重要概念着重进行讲解。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Storm 实战:统计日志和处理

4课时,64分钟2015-07-24
shirubamac
shirubamac

极客学院签约布道师

课程背景:
日志处理在开发分布式系统或大规模应用程序的过程中占有举足轻重的地位,如何处理海量日志并从中获取具有价值的信息,并以此改善系统对于研发一套系统来说是十分重要的。本套课程针对日志处理这个主题,由浅入深,以实战为导向,指导学生编写一套基于 Storm 开发的具备实际使用价值的日志处理和分析系统。

核心内容:
1.准备工作
2.整体工程架构设计
3.消息源与消息处理单元的设计与实现
4.调试与运行

软件环境:Unix 、Java 、Eclipse

是否提供资料:

课程等级:初级

适合人群:
数据工程师、分布式系统研发工程师、系统架构师
  • 技术问答
  • 1

    相关开发工具介绍

    05:23

    本课时介绍开发统计日志和处理所需的所有开发工具和背景知识,并对本套课程即将演示的应用程序进行简要介绍。

  • 2

    日志流处理设计方案

    03:39

    本课时介绍本套课程即将实战开发的基于 Storm 实时处理系统构建的日志流处理实例的设计方案,并在编写代码前介绍各个环节的设计细节和思路。

  • 3

    实现 Topology

    51:42

    本课时介绍编写整套实时处理系统实例的方法,并在实战演练的过程中针对一些重要概念着重进行讲解。

  • 4

    实现日志收集分析模块

    03:16

    本课时介绍统计日志和处理的实时处理系统实例所需日志收集分析模块的编写方法,并在实战演练的过程中针对一些重要概念着重进行讲解。

相关课程

  • Storm 集群安装部署

    本课程将详细讲述 Storm 集群的安装部署、Zookeeper 介绍及相关依赖软件的安装,并且对安装部署的过程中容易出错的环节进行着重解说。

    5课时 72分钟
    初级
    7249人学习
  • 初识 Apache Storm

    本课程将会介绍 Storm 的基本功能、Storm 等分布式计算平台的基本工作原理(讲解 Storm 流模型的基本原理,也会涉及到 Hadoop 等其他分布式计算平台)、Storm 的优点以及与 Storm 分布式计算相关的一些术语(Topology、Spout、Bolt、Nimbus、Supervisor、Task、Worker、Trident 等),讲解了开发环境的搭建以及 Storm 的配置方法,对分布式版本控制的使用方法结合实际案例进行详细介绍,并给出了第一个 HelloStorm 实战演示程序作为入门。

    5课时 46分钟
    初级
    9271人学习
  • Storm 实战基础 :WordCount 实例

    正如大家写第一个 HelloWorld 一样的,WordCount 就是 Storm 的最基础实例。本课程将从 WordCount 实例讲解 Storm 的开发过程,让大家更加容易理解 Storm 的编程模型,从而更容易上手进行 Storm 的应用开发。

    3课时 57分钟
    初级
    6781人学习
  • Storm 实战:频繁组合查找

    本课程将会讲解一个 Storm 实时处理系统应用实战案例:频繁组合查找,并在实战演练过程中对各个重要知识概念进行讲解,着重讲解序列化的概念。

    5课时 75分钟
    初级
    5441人学习