课程培训
大数据架构设计实战演练培训课程

 

培训目标:

 

  • 主要希望帮助培训方解决的问题,
  • 理解大数据平台的架构与各组件的使用场景,
  • 核心的组件的架构设计与原理,
  • 使用中的经验分享,
  • 互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
  • 一、云计算 云计算架构概览
    云计算能带来什么好处
    云计算之虚拟机
    云计算之大数据
    经典的使用案例
    二、大数据之分布式存储 分布式存储-HDFS
    大数据的好处
    大数据的核心架构
    企业使用大数据的案例
    什么是分布式文件系统和HDFS
    HDFS设计目标
    HDFS的基本组件
    HDFS架构图和工作原理
    HDFS服务进程详解
    HDFS的未来发展
    NameNode详解
    DataNode详解
    HDFS副本备份策略
    三、分布式存储实战 HDFS实战-命令行等使用
    • HDFS安装须知
    • HDFS命令行工具
    • 启动、停止HDFS服务
    • 如何查看HDFS日志
    • 如何查看HDFS Web控制台
    • HDFS参数配置
    • 上机练习 HDFS实战-Java API使用
    • Eclipse 开发环境介绍
    • HDFS 开发基本步骤
    • HDFS Java API详解 oConfiguration
      oPath
      oFileSystem
      oStream、IOUtils
    • HDFS Java API使用场景示例
    • FuseHDFS
    • WebHDFS RESTful API
      上机练习
    四、大数据之分布式计算 什么是MapReduce
    MapReduce服务
    MapReduce服务
    MapReduce作业执行流程
    MapReduce错误处理机制
    MapReduce高级特性
    MapReduce任务调度
    MapReduce任务调度
    五、分布式计算实战 MapReduce命令行使用
    • 启动、停止MapReduce服务
    • 查看MapReduce日志
    • 查看MapReduce控制台
    • MapReduce参数配置
      MapReduce 编程实战
    • MapReduce框架类库介绍
    • 开发MapReduce程序步骤
    • WordCount流程分解
    • WordCount代码分析
    • 上机练习 Hadoop IO 框架
    • 为什么要学习Hadoop I/O框架
    • 序列化
    • SequenceFile
    • MapFile
    • 数据完整性
    • 数据压缩 上机练习
    六、大数据之数据仓库-Hive 什么是Hive?
    Hive的架构原理
    如何利用Hive来建造数据仓库?
    Hive的使用
    HQL的调优:
    操作练习
    七、大数据之NOSQL-Hbase
    什么是Hbase?
    • Hbase的架构原理
    • Hbase核心知识点
    • HBase列族与列
    • HBase时间戳
    • HBase物理模型
    • 数据存储结构:LSM
    • HBase Log
    • HBase Filter HBase安装
      配置与优化
      表设计与相关参数
      操作练习
    八、大数据之内存计算-Spark Spark架构介绍
    Scala介绍
    Mesos介绍
    Spark介绍
    Spark原理及架构剖析
    Spark RDD计算模型解析
    Spark的任务执行机制解析
    Spark的调试与任务分配
    Spark的容错机制剖析
    Spark集群部署
    • Standalone
    • 集群分布式
    • 与HDFS结合 Spark Shell命令行分析
      构建与运行Spark应用
      Spark RDD操作方法解析
      Spark作业测试解析
      Spark的性能调优
      Spark生态体系剖析
    • SPARK SQL
    • SPARK ML
    • SPARK Streaming
      Spark应用实践
    九、大数据之资源管理-Yarn Yarn 与MapReduce的不同
    Yarn 原理与架构
    Apache YARN基本框架
    Apache YARN工作流程
    Apache YARN设计细节
    Yarn 核心技术模块原理解析
    • Yarn ResouceManager原理解析
    • Yarn NodeManager 原理解析
    • Yarn ApplicationMaster MapReduce与YARN结合
      如何与Yarn来结合
      Yarn 配置及搭建
    十、大数据之分析脚本工具-Pig Pig基础
    使用Pig进行简单数据分析
    使用Pig处理复杂数据
    使用Pig分析处理多数据集
    扩展Pig
    Pig排错和优化
    十一、数据安全 安全体系图
    应用安全、数据安全
    多级认证体系
    产品安全思路
    学员实际演练与老师现场指导
    十二、云计算运维体系 云计算运维体系架构图
    服务可靠性
    提高服务质量
    降低服务成本
    现场演示:实际项目中云计算运维体系架构图。
    十三、大练习:以实际项目案例为基础 进行云计算分布式架构的设计思路和流程实际演练。
    (此内容是本课程的重点内容,课程压轴大作,从而 使云计算架构设计最终落地)



如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>