课程培训
中国海关大数据培训,hadoop培训,spark培训

大数据培训日程

 

课程目标:

 

通过该课程的学习,会对大数据离线计算、实时计算的企业级构架有清晰的理解以及对常用的成熟的大数据开源项目从原理到使用有深入的理解。

 

实时计算的项目常用组合为Flume(数据采集) + Kafka(高可用高并发分布式消息队列) + spark streaming(流式计算) + hbase(分布式列式存储数据库,亿级行百万列毫秒级查询)

 

离线计算项目常用组合为分布式文件存储HDFS,资源调度器、分布式计算框架MapReduce、数据仓库Hive

 

课程大纲:

 

时间

主题

内容

第一天

上午

 

 

 

 

离线计算:

Hadoop大数据生态圈、分布式存储HDFS、资源管理

大数据生态圈介绍

开源相关项目说明以及每个项目的用途

实时计算整体构架详解

离线计算整体构架详解

分布式文件系统HDFS是什么

HDFS的体系结构

HDFS高可用集群原理详解

HDFS如何使用

资源管理器介绍以及构架

资源管理器核心组件详解

资源调度器详解 

下午

 

 

离线计算:

Hadoop MapReduce&Hive

 

分布式计算MapReduce介绍

MapReduce整体流程

MapReduce实例

数据仓库工具Hive介绍

Hive模型介绍:数据库、表、分区、高级函数

Hive元数据介绍

第二天

上午

 

 

实时计算:

数据采集Flume、分布式消息队列Kafka

实时计算整体构架设计

Flume是什么以及体系结构介绍

Flume组件介绍:agentsourcechannelsink

Flume高可用拓扑介绍

Kafka体系结构详解

Kafka核心概念

Kafka高可用高并发原理

Kafka生产者消费者

Flume写入kafka

下午

 

实时计算:

spark streaming流式计算、HBase分布式列存储

spark是什么以及体系结构

弹性分布式数据集RDD

spark streaming流式计算体系结构

spark steaming读取kafka

spark算子详解

HBase存储数据库体系结构

Hbase的高可用

HBase数据模型详解

HBase毫秒级查询

 

 

以上课程可以根据客户实际情况进行灵活调整。

中科信软高级技术培训中心

电话:010-62884854   

网址:www.info-soft.cn   www.zksoft.org




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
培训特点:
针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示
培训讲师:
中国科学院软件研究所,计算研究所高级研究人员
IBM,oracle,微软,vmware等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享。
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

 电话咨询:010-62883247

                 010-62884854

 电子邮件: soft@info-soft.cn 

 

点击这里给我发消息

点击这里给我发消息

点击这里给我发消息

qrcode_for_gh_98c3580f6c5a_430.jpg

订制培训 更多>>