Lambda 架构详解(中) VIP

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程将会接着上一课的内容,在基础的 CRUD 接口上实现对数据的实时统计,借助 Trident 和 DRPC 实现 Lambda 架构中的速度层、批处理层和服务层。

    1.实时数据统计 00:29:28

    使用 Apache Trident 实现数据统计功能,并使用 DRPC 封装实时处理模块,完成 Lambda 架构的速度层。通过时间窗口确定需要统计的部分数据。

    2.离线数据统计 00:11:59

    使用普通的定时任务完成数据的离线统计。并使用 DRPC 封装批处理模块,完成 Lambda 架构的批处理层。通过时间窗口确定需要统计的部分数据。

    3.合并统计数据 00:04:34

    通过 DRPC 获取速度层和批处理层的处理结果,并根据时间窗口,采用适当算法合并统计结果,计算出最终的统计结果。完成 Lambda 架构的服务层。最后构建完整的 Apache Topology。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

Lambda 架构详解(中)

3课时,46分钟2015-12-28
shirubamac
shirubamac

极客学院签约布道师

课程背景:
本课程是 Lambda 架构课程的第二部分。第一部分主要讲解数据管理,这一部分则主要讲解数据统计。我们使用 Trident 和 DRPC 来构建速度层,基于时间窗口完成对数据的实时统计。并结合对数据的定时批处理计算结果,合并得到最后的数据统计结果。

核心内容:
1.Lambda 架构
2.实时处理
3.批处理
4.Trident
5.DRPC

软件环境:Linux 、Java 、Eclipse

是否提供资料:

课程等级:中级

适合人群:
数据工程师、分布式系统研发工程师、系统架构师
  • 技术问答
  • 1

    实时数据统计

    29:28

    使用 Apache Trident 实现数据统计功能,并使用 DRPC 封装实时处理模块,完成 Lambda 架构的速度层。通过时间窗口确定需要统计的部分数据。

  • 2

    离线数据统计

    11:59

    使用普通的定时任务完成数据的离线统计。并使用 DRPC 封装批处理模块,完成 Lambda 架构的批处理层。通过时间窗口确定需要统计的部分数据。

  • 3

    合并统计数据

    04:34

    通过 DRPC 获取速度层和批处理层的处理结果,并根据时间窗口,采用适当算法合并统计结果,计算出最终的统计结果。完成 Lambda 架构的服务层。最后构建完整的 Apache Topology。

相关课程

  • 高级抽象元语 Trident

    本课程将会讲解 Storm 实时处理系统当中一个重要的概念分支:Trident——高级抽象元语,在讲解了 Trident 的概念之后,将辅以实战演练编写基于 Trident 实现的 Storm 实时处理系统实例。

    3课时 38分钟
    中级
    4358人学习
  • Storm 架构基础:实时基础平台架构

    本课程将围绕 Storm 讲解实时处理基础平台的架构,从元数据管理、多节点统一配置管理、系统监控以及数据总线等几个方面进行讲解,最后对基于 Storm 的基础平台做一个全局的梳理。

    5课时 46分钟
    中级
    6221人学习
  • 分布式远程过程调用 DRPC

    本课程将会讲解远程过程调用和分布式远程过程调用的概念,并结合实例进行讲解。

    3课时 43分钟
    中级
    5086人学习
  • Lambda 架构详解(上)

    本课程将会温习并深入讲解 Lambda 架构。并着眼于在基于 Lambda 架构的系统中实现对数据的 CRUD 操作,并以实际代码为例进行讲解。

    3课时 38分钟
    中级
    5456人学习