kafka 消息处理过程与集群维护 认证专享

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程首先从磁盘随机和顺序读讲解 kafka 消息写入、删除的原理,然后会重点讲解 kafka 消息的检索(kafka consumer 定点消费原理),在之后会讲解 kafka 集群的维护,主要包括 kafka 集群的分区 leader 平衡,kafka 集群日志文件 broker 迁移等,最后会通过 Kafka Offset Monitor 和 Kafka Manager 两个 kafka 集群的监控工具对 kafka 集群进行监控。

    1.kafka 消息组织原理 00:28:26

    本课时首先讲解磁盘顺序写和随机写性能上的差别,然后讲解kafka 消息的写入(利用磁盘顺序写性能高)原理,最后会结合kafka 集群配置参数对 kafka 消息的删除原理进行详细的介绍

    2.kafka 消息检索原理 00:13:16

    本课时首先会讲解 kafka 消息 segment file 的组成和物理结构,然后会讲解 kafka 消息的 index file 的组成和物理结构,最后会详细讲解 kafka 通过 segment file 和 index file 检索某条特定消息的过程

    3.kafka集群维护 00:25:07

    本课时首先会讲解如何通过集群脚本动态的更新集群的配置、动态的查看集群的状态,其次会详细介绍 kafka 集群的 leader 平衡机制和动态进行集群的 leader平衡,最后对已存在 kafka 集群磁盘日志文件 broker 迁移过程进行讲解

    4.kafka集群监控 00:17:07

    本课时首先会对 Kafka 集群的两种监控工具 Kafka Offset Monitor 和Kafka Manager 进行介绍,然后会分别利用两种监控工具对 kafka集群进行监控做详细的讲解
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

kafka 消息处理过程与集群维护

4课时,84分钟2015-11-10
Scoot
Scoot

极客学院签约布道师

课程背景:
前面两节课我们搭建了 kafka 集群,也能够使用 Python 和 Java 两种常用的服务器端语言编写 kafka producer 和 kafka consumer,这节课首先从 kafka 消息组织原理和检索原理方面对 kafka 的架构进行深入和详细的剖析。其次在生产环境中需要服务的高可用性,那么就不可避免的需要对 kafka 集群进行监控,本课程会介绍两种目前常用的 kafka 集群监控工具。最后当生产环境出现功能和性能上的问题时,需要立刻解决,本课程也讲解了 kafka 集群的维护和优化。

核心内容:
1、kafka server 消息的写入原理;
2、kafka server 消息的删除原理;
3、kafka 消息的检索原理;
4、kafka 集群的维护;
5、kafka 集群的监控

软件环境:Linux服务器至少一台;zookeeper-3.4.6;kafka_2.9.2-0.8.1.1

是否提供资料:

课程等级:高级

适合人群:
需要进行大量日志传输;有kafka基础知识;需要更近一步了解原理的大数据爱好者
  • 技术问答
  • 1

    kafka 消息组织原理

    28:26

    本课时首先讲解磁盘顺序写和随机写性能上的差别,然后讲解kafka 消息的写入(利用磁盘顺序写性能高)原理,最后会结合kafka 集群配置参数对 kafka 消息的删除原理进行详细的介绍

  • 2

    kafka 消息检索原理

    13:16

    本课时首先会讲解 kafka 消息 segment file 的组成和物理结构,然后会讲解 kafka 消息的 index file 的组成和物理结构,最后会详细讲解 kafka 通过 segment file 和 index file 检索某条特定消息的过程

  • 3

    kafka集群维护

    25:07

    本课时首先会讲解如何通过集群脚本动态的更新集群的配置、动态的查看集群的状态,其次会详细介绍 kafka 集群的 leader 平衡机制和动态进行集群的 leader平衡,最后对已存在 kafka 集群磁盘日志文件 broker 迁移过程进行讲解

  • 4

    kafka集群监控

    17:07

    本课时首先会对 Kafka 集群的两种监控工具 Kafka Offset Monitor 和Kafka Manager 进行介绍,然后会分别利用两种监控工具对 kafka集群进行监控做详细的讲解

相关课程

  • Kafka 基础实战 :消费者和生产者实例

    本课程首先会讲解 Kafka 消费者和生产者的两种编程模型,然后展示用 Python 和 Java 编写的消费者和生产者程序的实际效果,之后讲解用 Python 和 Java 编写 Kafka 消费者和生产者程序的步骤和实际代码,最后,总结使用 Kafka 客户端编程的基本知识点和一些参数调优的过程。

    4课时 75分钟
    初级
    12904人学习
  • kafka的初认识

    本课程首先对kafka的使用背景(kafka是什么,能够用来做什么,为什么要使用它)进行简单的介绍,然后会介绍kafka的一些基本概念,其后边演示边讲解zookeeper集群和kafka集群的搭建,最后会对kafka集群的一些配置参数进行详细的解释。

    4课时 79分钟
    初级
    20393人学习
  • HBase Java 编程

    本课程能让大家使用 HBase Java API 进行 HBase 表的 CRUD,着重对过滤器和范围查询进行重点讲解。

    3课时 32分钟
    初级
    6926人学习
  • HBase 架构详解

    本课程能让大家明白 HBase 的底层原理,让大家知道其存储细节,着重讲解 HBase 运维管理的一些命令。

    4课时 41分钟
    高级
    6910人学习