大数据平台基础架构和常用处理工具 认证专享

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程主要讲解当前大数据领域面临的在线和离线处理问题,以及针对在线处理实时性和迭代性的特点讲解使用 flume + kafka + storm / spark + hbase / redis 的处理架构;针对离线处理批量、大数据量和持久化时间长的特点讲解使用 hdfs做存储,mapreduce 做计算框架的方式。最后简要介绍对海量数据进行 OLAP 和 OLTP 分析的常用大数据处理工具 elasticsearch、drill等

    1.大数据在线分析处理和常用工具 00:32:32

    本课时首先介绍大数据在线分析处理的特点,然后会针对这些特点介绍当前常用的处理架构 flume + kafka + storm / spark + hbase / redis 。其中会重点介绍 flume storm 和 hbase。

    2.大数据离线处理和常用工具 00:16:33

    本课时首先介绍大数据离线处理的特点,然后会针对这些特点介绍当前常用的处理架构 hdfs 做存储,mapreduce 做计算框架, pig、cascading 和 hive 计算工作流。其中会重点介绍 hdfs mapreduce 和 hive。

    3.OLAP 和 OLTP处理和常用处理工具 00:26:05

    本课时首先介绍OLAP 和 OLTP处理的特点,然后会针对这些特点介绍当前常用的处理架构 elasticsearch 做全文检索、drill 和 Impala 专注于大数据上的 SQL 查询, kylin 专注于大数据量的OLAP 分析。其中会重点介绍 elasticsearch Impala 和 kylin 。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

大数据平台基础架构和常用处理工具

3课时,75分钟2016-01-12
Scoot
Scoot

极客学院签约布道师

课程背景:
目前,企业界和商业界面临的大数据问题总结起来主要有以下三点:(1) 在线数据分析和处理;(2) 离线批处理;(3) OLAP 和 OLTP分析和处理。本课程主要介绍这三种问题的特征以及当前处理这三种问题常用的技术手段和使用的工具。在线处理主要介绍 flume + kafka + storm / spark + hbase / redis 架构;离线批处理主要介绍 hdfs、mapreduce 和 pig oozie 等;OLAP 和 OLTP 主要介绍 elasticsearch、drill、和 Impala。

核心内容:
1.大数据在线分析处理和常用工具
2.大数据离线处理和常用工具
3.OLAP 和 OLTP处理和常用处理工具

软件环境:linux 服务器,flume kafka storm spark redis hdfs mapreduce pig oozie drill impala 等

是否提供资料:

课程等级:中级

适合人群:
大数据爱好者,大数据开发者、大数据架构师
  • 技术问答
  • 1

    大数据在线分析处理和常用工具

    32:32

    本课时首先介绍大数据在线分析处理的特点,然后会针对这些特点介绍当前常用的处理架构 flume + kafka + storm / spark + hbase / redis 。其中会重点介绍 flume storm 和 hbase。

  • 2

    大数据离线处理和常用工具

    16:33

    本课时首先介绍大数据离线处理的特点,然后会针对这些特点介绍当前常用的处理架构 hdfs 做存储,mapreduce 做计算框架, pig、cascading 和 hive 计算工作流。其中会重点介绍 hdfs mapreduce 和 hive。

  • 3

    OLAP 和 OLTP处理和常用处理工具

    26:05

    本课时首先介绍OLAP 和 OLTP处理的特点,然后会针对这些特点介绍当前常用的处理架构 elasticsearch 做全文检索、drill 和 Impala 专注于大数据上的 SQL 查询, kylin 专注于大数据量的OLAP 分析。其中会重点介绍 elasticsearch Impala 和 kylin 。

相关课程

  • HBase Rest/Thrift

    本课程主要讲解在 HBase 中如何通过 Rest/Thrift 来访问 HBase 中的数据,方便其他不会 Java 的开发人员调用 HBase 接口。

    2课时 27分钟
    高级
    5094人学习
  • Lambda 架构详解(中)

    本课程将会接着上一课的内容,在基础的 CRUD 接口上实现对数据的实时统计,借助 Trident 和 DRPC 实现 Lambda 架构中的速度层、批处理层和服务层。

    3课时 46分钟
    中级
    4423人学习
  • Lambda 架构详解(上)

    本课程将会温习并深入讲解 Lambda 架构。并着眼于在基于 Lambda 架构的系统中实现对数据的 CRUD 操作,并以实际代码为例进行讲解。

    3课时 38分钟
    中级
    5235人学习
  • Hadoop 性能调优与运维

    Hadoop 性能调优主要分为四个维度,硬件、操作系统、 Java 虚拟机和 Hadoop 参数这几个方面进行,并且 Hive 也有自己独有的调优方式。运维主要从日常运维、故障恢复、故障排查这几个方面进行。

    6课时 33分钟
    中级
    8334人学习