发表于 | 分类于 ， | 评论数：

1. NameNode启动过程NameNode启动过程： 读取fsimage和edits到内存中 执行edits的各项操作，更新内存中的元数据，存在内存中的元数据支持客户端的读操作 将内存中的元数据写到新的fsimage文件中 创建一个新的空的edits文件。同时启动HDFS的安全模式，监听Dat ...

阅读全文 »

发表于 | 分类于 ， | 评论数：

1. NameNode元数据丢失故障处理NameNode故障后，可以采用如下两种方法恢复数据 1.1. 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录先模拟NameNode出现故障 $ jps40528 Jps38147 NameNode38310 DataN ...

阅读全文 »

发表于 | 分类于 ， | 评论数：

1. HDFS 写数据流程1.1. 剖析文件写入 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNod ...

阅读全文 »

发表于 | 分类于 ， | 评论数：

1. Windows JavaClient环境搭建1.1. client添加HDFS节点的hostname记录编辑系统hosts文件，添加以下记录。client请求NameNode操作HDFS时，NameNode会让client根据DataNode的hostname去找DataNode，请求执行相应 ...

阅读全文 »

发表于 | 更新于 | 分类于 ， | 评论数：

1. HDFS Shell1.1. 查看所有命令的用法$ hdfs dfsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreC ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

1. Hadoop目录结构.├── bin # 存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本├── etc # 存放Hadoop的配置文件├── include├── lib # 存放Hadoop的本地库（对数据进行压缩解压缩功能）├── libexec ├── LICENS ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

1. 决定各个服务组件在哪台服务器运行的配置1.1. NameNodeetc/hadoop/core-site.xml <property> <!-- 决定NameNode位于哪个主机，服务监听哪个端口 --> <name>fs.defaultFS&l ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

1. Hadoop2组件启动关闭的三种方式1.1. 方式一：各服务守护进程逐一启动关闭在各节点上执行开启关闭自己的服务 例如：namenode节点执行 hadoop-daemon.sh start|stop namenode 例如：datanode 节点执行 hadoop-daemon.sh st ...

阅读全文 »

发表于 | 更新于 | 分类于 ， | 评论数：

1. 什么是HDFS1.1. HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2. HDFS的定义HDFS ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

1. 什么是hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决海量数据的存储和分析计算问题。 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈 1.1. hadoop核心组件它包括三部分：HDFS，YARN，和MapReduce ...

阅读全文 »