课程大纲

第1章 高薪择业:为什么大数据行业更有前途?

本章将从什么是大数据说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的。课程中,将介绍大数据的特性、大数据对我们带来的技术变革、大数据处理过程中涉及到的技术以及大数据典型应用。在这里,希望大家掌握学习的方法,得以真正不变应万变。

第2章 零基础:急速入门大数据基石框架Hadoop

本章中,将带领大家一起认识Hadoop:Hadoop生态系统、Hadoop的发展史、Hadoop的优势、Hadoop的三个核心组件(HDFS、YARN、MapReduce);探讨Hadoop生态圈的常用框架及职责,以及在工作中如何选择更适合的Hadoop的发行版,为后续深入学习打下坚实的基础。

第3章 入门到进阶:系统玩转分布式文件系统HDFS

本章中,将从Hadoop的设计目标、架构及文件系统命令空间出发,带领大家快速搭建单节点伪分布式HDFS的环境。通过讲解使用hdfs shell以及Java API的方式操作HDFS文件系统,详细分析HDFS文件的读写流程以及安全模式在Hadoop中的使用,并结合HDFS API来实现词频统计案例,帮助大家对Hadoop分布式文件系统HDFS有深刻的认识并能轻松上手实战。

第4章 入门到进阶:系统玩转分布式计算框架MapReduce

本章将从架构、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce,掌握MapReduce整体执行流程以及各个核心组件编程,并通过N个实战案例让大家深入掌握,如何结合各种不同场景的应用基于MapReduce进行开发。本章中会详细剖析如何在MapReduce中实现JOIN,这也是面试中经常被考察到的点,考察你的MapReduce功底以及优化策略。

第5章 入门到进阶:玩转资源管理系统YARN

本章将从YARN的产生背景、YARN的架构及执行流程的角度,带大家认知Hadoop的资源调度框架YARN,能够快速搭建单节点伪分布式YARN的实验环境,掌握如何提交MapReduce作业提交到YARN上运行,以及资源调度器的配置、使用及区别。


本文由转载于互联网,如有侵权请联系删除!