Kafka 用户日志上报实时统计之编码实践 认证专享

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程以用户实时上报日志案例为基础,带着大家去完成对各个 KPI 的编码工作,实现生产、消费模块、数据持久化,以及应用调度工作,让大家通过本课程掌握 Kafka 项目的编码、调度流程。

    1.数据生产实现 00:10:33

    本课时介绍 Kafka 数据生产的代码实现,在前面搭建好的集群环境下,完成 Kafka 的数据生产功能,以及一些注意事项,为编写消费代码做好准备,让大家掌握 Kafka 的数据生产的代码实现。

    2.数据消费实现 00:07:50

    本课时介绍 Kafka 数据消费的代码实现,在前面创建的 Kafka 的工程基础上,完成消费代码的编写,以及编写 Storm 代码消费 Kafka 数据的需要注意的细节,让大家掌握数据消费的代码实现。

    3.数据持久化 00:06:03

    本课时介绍如何将消费的数据持久化,在前面数据消费实现的基础上,通过流式计算将统计的结果持久化到 Redis 集群或是 DB 中,让大家掌握数据持久化的代码实现。

    4.应用调度 00:07:32

    本课时将介绍将开发好的应用打包部署到服务器,通过提交 Topology 到 Storm 集群,完成 Storm 消费的程序的部署,让大家掌握项目的打包部署以及调度流程。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Kafka 用户日志上报实时统计之编码实践

4课时,32分钟2015-10-12
dengjie
dengjie

极客学院签约布道师

课程背景:
实现项目相应的功能模块也是非常重要的,在完成项目的分析后,剩下就是实现对应的模块功能,通过本课程的学习,大家可以掌握数据的生产模块的开发、消费模块的开发以及应用的调度等一系列流程。

核心内容:
1.Kafka 项目编码配置
2.生产模块实现关键
3.消费模块实现关键
4.完成数据持久化
5.应用调度流程

软件环境:CentOS 6.6、Kafka-0.8.2.1、JDK7、Eclipse、Storm-0.9.4、Zookeeper-3.4.6

是否提供资料:

课程等级:中级

适合人群:
具有一定 Java 基础和 Kafka 基础的开发者
  • 技术问答
  • 1

    数据生产实现

    10:33

    本课时介绍 Kafka 数据生产的代码实现,在前面搭建好的集群环境下,完成 Kafka 的数据生产功能,以及一些注意事项,为编写消费代码做好准备,让大家掌握 Kafka 的数据生产的代码实现。

  • 2

    数据消费实现

    07:50

    本课时介绍 Kafka 数据消费的代码实现,在前面创建的 Kafka 的工程基础上,完成消费代码的编写,以及编写 Storm 代码消费 Kafka 数据的需要注意的细节,让大家掌握数据消费的代码实现。

  • 3

    数据持久化

    06:03

    本课时介绍如何将消费的数据持久化,在前面数据消费实现的基础上,通过流式计算将统计的结果持久化到 Redis 集群或是 DB 中,让大家掌握数据持久化的代码实现。

  • 4

    应用调度

    07:32

    本课时将介绍将开发好的应用打包部署到服务器,通过提交 Topology 到 Storm 集群,完成 Storm 消费的程序的部署,让大家掌握项目的打包部署以及调度流程。

相关课程

  • Kafka 用户日志上报实时统计之分析与设计

    本课程以用户实时上报日志案例为基础,带着大家对一个 Kafka 项目的各个环节做详细的介绍和分析,从而对项目的整体设计做合理的规划,让大家能通过本课程掌握 Kafka 项目的分析与设计。

    4课时 17分钟
    中级
    6163人学习
  • Kafka 用户日志上报实时统计之应用概述

    本课程是通过一个用户实时上报日志来展开的,通过介绍 Kafka 的业务和应用场景,并带着大家搭建本 Kafka 项目的实战开发环境。

    3课时 29分钟
    中级
    6982人学习
  • 安装 Hadoop YARN

    本课程将介绍如何安装 Hadoop YARN,主要是为后面的实验准备 YARN 的实验环境。本课程会介绍 Hadoop 的三种安装模式,主要介绍如何进行伪公布式安装。

    3课时 38分钟
    中级
    9846人学习
  • Yarn 的发展背景及基本原理

    本课程主要介绍 Hadoop Yarn 产生的历史背景,以及与 MapReduce 的区别,Yarn 的主要特点及优势。

    3课时 33分钟
    中级
    10007人学习