首页 > 大数据平台研发工程师 > 如何进行数据ETL
如何进行数据ETL
  • 如何进行数据ETL

  • 主讲 : 邓杰
  • 通过知识体系的学习,结合使用ETL的实践经验,了解并掌握ETL项目问题分析,设计与实现,使你在今后的ETL项目开发工作中变得游刃有余。
  • ¥59.00 ¥119.00 ¥58.00
  • 立即购买 Pro会员免费学

    6人学习时长 : 0.8 小时有效期 : 180 天 有效期自支付成功后开始计算,到期后仍可观看课程视频和图文,但不再享受问答和作业批改服务。SVIP用户可享受无视有效期权限,随时随意轻松看。单课购买用户需关注课程有效期,合理安排学习计划。

课程概览

在大数据时代下,数据整合变得至关重要,如何将这些不同平台下的数据整合到一起,ETL扮演着重要的角色。如何进行数据ETL,通过知识体系的学习,结合使用ETL的实践经验,了解并掌握ETL项目问题分析,设计与实现,使你在今后的ETL项目开发工作中变得游刃有余。

适合人群

具有Java基础和Hadoop基础以及SQL基础的开发者

学习收获

1.为什么要使用ETL
2.ETL的使用场景
3.ETL的构建流程
4.海量数据下的ETL实现

常见问题

Q:如果有问题,我去哪里咨询?
A:关于课程的任何问题,都可以点击“右下角”的在线客服,我们会有专人为您解答。

Q:『有效期』是什么?
A:『有效期』从订单支付成功后开始计算,到期后仍然可以观看课程视频和图文,但不再享受问答和作业批改等服务。

Q:VIP价格是什么?
A:购买过极客学院 VIP 会员的用户,可享受职业学院课程 VIP 价格,这个价格会比现价有一定的优惠。

Q: 有的章节的知识我已经会了,可以跳过吗?
A: 可以,整个课程采用自由学习方式,不设置每个课时的前后限制要求。

Q: 课程的视频提供下载么?
A: 我们的课程视频进行加密处理,暂时不支持下载。

如何进行数据ETL

主讲:邓杰

在大数据时代下,数据整合变得至关重要,如何将这些不同平台下的数据整合到一起,ETL扮演者重要的角色。如何进行数据ETL,通过知识体系的学习,结合使用ETL的实践经验,了解并掌握ETL项目问题分析,设计与实现,使你在今后的ETL项目开发工作中变得游刃有余。

第 1 部分 ETL基本概念 45 分钟

第 1 节 ETL概览 7 分钟
ETL基础
项目流程整体概述
本小节资料包
第 2 节 ETL使用场景 17 分钟
ETL处理游戏日志数据
游戏数据清洗
目标数据转化
数据导入常见方法
本小节资料包
第 3 节 ETL构建流程实例 11 分钟
分析游戏日志数据来源
预处理及数据分流
本小节资料包
第 4 节 海量数据下的ETL实现 10 分钟
Hive,MR及Spark实现的优缺点比较
HQL,MR及Spark实现细节
本小节资料包

学员服务

  • 有问必答

主讲老师

  • 邓杰

    极客学院布道师

    深圳某互联网公司技术负责人,博客园大数据领域资深博主。经验丰富,主导开发大数据自助类平台系统,善于开发大数据监控系统来提升工作效率,并主导过开源项目。能够充分利用Github开源社区,来开发大数据业务中间件。