Hadoop

一、大数据诞生背景

1.传统数据处理架构存在问题

	数据结构类型	数据库类型	在大数据背景下会产生的问题
传统数据处理架构	结构化数据	数据库，数据仓库	单机处理速度慢。MPP架构存在扩展性，热点问题
	非结构化、半结构化数据	NoSQL数据库、并发程序	NoSQL数据库只负责存储，程序处理时涉及到数据移动，数据移动的网络开销大，速度慢

2.大数据的特征（4V特征）

•         数据规模巨大（volume）
•         生成和处理速度极快（velocity）
•         数据类型多样但密度较低（variety）
•         价值巨大但密度较低（value）

3.大数据离线与实时场景

4.大数据典型应用场景及架构改进

移动计算而非移动数据

 

5.大数据的编年史

6.大数据技术生态

二、大数据之HDFS

1.HDFS概念与优缺点

        Hadoop分布式文件系统（Hadoop Distributed File System），2003年10月Google发表了GFS（Google File System）论文，HDFS是GFS的开源实现，HDFS是Hadoop的核心子项目（一个三个核心：HDFS、YARN、MapReduce），在开源大数据体系中，地位无可替代

 HDFS组成

• NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
• DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
• Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

HDFS优点

•         高容错、高可用、高扩展
•         海量数据存储：典型文件大小GB~TB，百万以上文件数量，PB以上规模数据
•         构建成本低：构建在廉价的商用服务器上即可
•         安全可靠：提供了容错和恢复机制
•         适合大规模离线批处理

 HDFS缺点

•         不适合低延迟数据访问
•         不支持并发写入：一个文件同时只能有一个写入者
•         不适合大量小文件存储
•         不支持文件随机修改

2.HDFS架构

 3.HDFS数据存储Block-DataNode

4.HDFS元数据存储-NameNode

 

5.HDFS读写流程

6.HDFS安全模式

 

 

 7.HDFS基本用法