正文
Hadoop storm大数据分析 知识体系结构
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
最近工作工作有用到hadoop 和storm，最近看到一个网站上例句的hadoop 和storm的知识体系。所以列出来供大家了解和学习。来自哪个网站就不写了以免以为我做广告额。
目录结构知识点还是挺全的，可以按照点学习。
| 一、Hadoop入门，了解什么是Hadoop | 二、分布式文件系统HDFS，是数据库管理员的基础课程 |
1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外Hadoop应用案例介绍 4、国内Hadoop的就业情况分析及课程大纲介绍 5、分布式系统概述 6、Hadoop生态圈以及各组成部分的简介 7、Hadoop核心MapReduce例子说明 | 1、分布式文件系统HDFS简介 2、HDFS的系统组成介绍 3、HDFS的组成部分详解 4、副本存放策略及路由规则 5、NameNode Federation 6、命令行接口 7、Java接口 8、客户端与HDFS的数据流讲解 9、HDFS的可用性（HA） |
| 三、初级MapReduce，成为Hadoop开发人员的基础课程 | 四、高级MapReduce，高级Hadoop开发人员的关键课程 |
1、如何理解map、reduce计算模型 2、剖析伪分布式下MapReduce作业的执行过程 3、Yarn模型 4、序列化 5、MapReduce的类型与格式 6、MapReduce开发环境搭建 7、MapReduce应用开发 8、更多示例讲解，熟悉MapReduce算法原理 | 1、使用压缩分隔减少输入规模 2、利用Combiner减少中间数据 3、编写Partitioner优化负载均衡 4、如何自定义排序规则 5、如何自定义分组规则 6、MapReduce优化 7、编程实战 |
| 五、Hadoop集群与管理，是数据库管理员的高级课程 | 六、ZooKeeper基础知识，构建分布式系统的基础框架 |
1、Hadoop集群的搭建 2、Hadoop集群的监控 3、Hadoop集群的管理 4、集群下运行MapReduce程序 | 1、ZooKeeper体现结构 2、ZooKeeper集群的安装 3、操作ZooKeeper |
| 七、HBase基础知识，面向列的实时分布式数据库 | 八、HBase集群及其管理 |
1、HBase定义 2、HBase与RDBMS的对比 3、数据模型 4、系统架构 5、HBase上的MapReduce 6、表的设计 | 1、集群的搭建过程讲解 2、集群的监控 3、集群的管理 |
| 九、HBase客户端 | 十、Pig基础知识，进行Hadoop计算的另一种框架 |
1、HBase Shell以及演示 2、Java客户端以及代码演示 | 1、Pig概述 2、安装Pig 3、使用Pig完成手机流量统计业务 |
| 十一、Hive，使用SQL进行计算的Hadoop框架 | 十二、Sqoop，Hadoop与rdbms进行数据转换的框架 |
1、数据仓库基础知识 2、Hive定义 3、Hive体系结构简介 4、Hive集群 5、客户端简介 6、HiveQL定义 7、HiveQL与SQL的比较 8、数据类型 9、表与表分区概念 10、表的操作与CLI客户端演示 11、数据导入与CLI客户端演示 12、查询数据与CLI客户端演示 13、数据的连接与CLI客户端演示 14、用户自定义函数（UDF）的开发与演示 | 1、配置Sqoop 2、使用Sqoop把数据从MySQL导入到HDFS中 3、使用Sqoop把数据从HDFS导出到MySQL中 十三、Storm1、Storm基础知识：包括Storm的基本概念和Storm应用 2、Storm集群搭建：详细讲述Storm集群的安装和安装时 3、Storm组件介绍: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失败的重发 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm编程实战 |
| 十四、论坛日志分析项目 | |
该项目的数据来自于某网站论坛的日志，它是为本课程量身定做的，非常适合我们Hadoop课程学习。有的同学觉得应该介绍更多项目，其实做过几个项目后，就会发现项目的思路是相同的，只是业务不同而已。 大家写过这个项目后，就对Hadoop的各个框架在项目中是如何使用的，以及Hadoop与JavaEE结合有一个比较清晰的认识与了解。 |
