课程培训
大数据平台数据管控培训课程

 

大数据平台数据管控培训课程
课程大纲

 

主题 内容

数据治理范围

 数据治理面临的挑战
 数据的多元化
 数据的复杂性
 数据的完整性
 数据生命周期管理
 统一元数据管理
 数据集成方法
 数据安全
 数据湖架构
 基于大数据平台的数据建模
 RMDBS数据的增量实时同步采集

大数据在国内的运用

 大数据在国内的使用介绍
 离线计算框架介绍
 流式计算框架介绍
 内存计算框架介绍
 内存流式计算介绍
 大数据实时请求框架介绍
 大数据在证券的案例介绍
 大数据在银行的案例介绍

大数据生态系统介绍

 分布式存储—HDFS
 分布式并行计算—MapReduce
 基于Hadoop的数据仓库—Hive
 统一元数据管理—Hcatlog
 集群管理工具—ambari
 工作流工具—Oozie
 数据的并行采集—Flume
 MapReduce脚本工具—Pig
 与关系型数据库之间的数据迁移—Sqoop
 资源管理平台—Yarn
 数据生命周期管理—Falcon
 数据挖掘算法—Mahout
 分布式统一服务—Zookeeper
 Hadoop安全工具—Knox
 流式计算框架—Storm
 内存计算框架—Spark
 数据挖掘框架—Mahout、Mllib和Graphx

统一元数据管理

 元数据概念
 Hadoop平台元数据处理面临的问题
 Hcatalog介绍 
 Hcatlog原理和架构解析
 Hive与Hcatlog关系
 Hcatlog解决那些问题
 Hcatlog实战
 元数据注册机制
 基于Hadoop平台元数据处理方案

数据生命周期管理

 数据质量
 数据标准
 数据生命周期管理的重要性
 数据生命周期的概念
 开源Falcon解决那些问题
 Falcon架构和原理
 Falcon实战
 Falcon+HDFS、Hive实战
 Falcon+Oozie实战 

大数据平台安全

 Hadoop平台安全介绍
 HDFS2.0的ACLS介绍
 Hive安全介绍
 Hbase基于namespace的安全介绍
 Hadoop访问安全控制Knox
 Knox的架构和原理
 Knox与Kerberos介绍
 Ranger安全工具介绍
 Knox+Ranger整合控制Hadoop平台的安全
 基于Hadoop平台的数据加密

数据湖

 数据湖概念
 数据湖解决那些问题
 数据湖架构
 数据的整合
 数据的landing zone功能
 离线数据管理
 流式数据管理
 RDBMS全量和增量数据实时采集
 Databus框架介绍
 Databus功能介绍
 Databus解决那些问题

Think big基于Hadoop平台实战

 怎么快速迭代在Hadoop平台开发
 Hadoop平台设施的方法论
 2个月快速基于Hadoop平台开发步骤
 Hadoop平台开发的难点
 Hadoop平台开的注意点
 Hadoop平台设施的流程

互联网大数案例分享

 淘宝大数据平台深度解析
 基于大数据平台的实时营销架构
 淘宝大数据推荐架构介绍
 大数据实时分析架构




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>