|
|
hadoop从零开始--HDFS篇
一、HDFS体系结构与基本概念
珍惜生命，拒绝废话！
一句话概括：HDFS是distributed file system的简写，是众多分布式文件管理系统中的一种，不适合小文件，重要的事情再说一遍，不适合小文件。
二、HDFS的shell操作
这里总结大部分常用命令，不再过多解释，建议有linux基础的情况下学习。
1、基础命令
hdfs dfs -ls / 查看HDFS根目录
hdfs dfs -mkdir /test 在根目录创建一个目录test
hdfs dfs -mkdir /test1 在根目录创建一个目录test1
echo -e ‘hadoop second lesson’ >test.txt
hdfs dfs -put ./test.txt /test 或
hdfs dfs -copyFromLocal ./test.txt /test
hdfs dfs -get /test/test.txt
hdfs dfs -getToLocal /test/test.txt
hdfs dfs -cp /test/test.txt /test1
hdfs dfs -rm /test1/test.txt
hdfs dfs -mv /test/test.txt /test1
hdfs dfs -rmr /test1
hdfs dfs -appendToFile
2、dfsadmin命令
配额 bin/hdfs dfsadmin -setQuota 10 lisi
-clrQuota 清空
bin/hdfs dfsadmin -setSpaceQuota 4k /lisi/
-clrSpaceQuota 清空
查看 bin/hdfs dfs -count -q -h /lisi
进出安全模式 bin/hdfs dfsadmin -safemode enter/leave
hadoop在启动的时候会默认进入安全模式，不过不用担心，30秒后自动退出安全模式。
3、httpFS访问
很多人认为httpFS访问不重要，其实不然，前面的shell命令必须要在hadoop环境下才能执行，而httpFS命令却可以摆脱这种限制，重要性不再多说。
编辑文件：httpfs-env.sh
编辑文件：core-site.xml
hadoop.proxyuser.root.hosts
*//这里是无限制的意思
hadoop.proxyuser.root.groups
*
编辑文件hdfs-site.xml
dfs.webhdfs.enabled
true
重新启动namenode，执行sbin/httpfs.sh start
执行命令： curl -i “http://ip:14000/webhdfs/v1?user.name=root&op=LISTSTATUS”
更多命令参考http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
三、工作流程
1、namenode
是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。（老板）
1.1、这个boss中包括下列文件：
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件。
fstime:保存最近一次checkpoint的时间
另外这些文件都保存在linux的文件系统中
1.2、如何查看namenode内容
..启动服务器bin/hdfs oiv -i 某个fsimage文件
..查看内容bin/hdfs dfs -ls -R webhdfs://127.0.0.1:5978/
..导出结果bin/hdfs oiv -p XML -i tmp/dfs/name/current/fsimage_0000000000000000055 -o fsimage.xml
..查看edtis内容bin/hdfs oev -i tmp/dfs/name/current/edits_0000000000000000057-0000000000000000186 -o edits.xml
2、DataNode
提供真实文件数据的存储服务（打工的）
2.1、员工包含下列文件
文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block.
不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间！
Replication：多复本。默认是三个。
数据存储流程（staging）总结：
HDFS client上传数据到HDFS时，会首先在本地缓存数据，当数据达到一个block大小时，请求NameNode分配一个block。NameNode会把block所在的DataNode的地址告诉HDFS client。HDFS client会直接和DataNode通信，把数据写到DataNode节点一个block文件中。
四、数据存储解析
1、读文件解析
1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例
2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面.
3.前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的datanode并连接。
4.数据从datanode源源不断的流向客户端。
5.如果第一块的数据读完了，就会关闭指向第一块的datanode连接，接着读取下一块。这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流。
6.如果第一批block都读完了，DFSInputStream就会去namenode找**下一批**blocks的location，然后继续读，如果所有的块都读完，这时就会关闭掉所有的流。
注意：
如果在读数据的时候，DFSInputStream和datanode的通讯发生异常，就会尝试正在读的block的排第二近的datanode,并且会记录哪个datanode发生错误，剩余的blocks读的时候就会直接跳过该datanode。DFSInputStream也会检查block数据校验和，如果发现一个坏的block,就会先报告到namenode节点，然后DFSInputStream在其他的datanode上读该block的镜像
该设计的方向就是客户端直接连接datanode来检索数据并且namenode来负责为每一个block提供最优的datanode，namenode仅仅处理block location的请求，这些信息都加载在namenode的内存中，hdfs通过datanode集群可以承受大量客户端的并发访问。
2、写文件解析
1.客户端通过调用DistributedFileSystem的create方法创建新文件
2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前，namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，namenode就会记录下新文件，否则就会抛出IO异常.
3.前两步结束后会返回FSDataOutputStream的对象，和读文件的时候相似，FSDataOutputStream被封装成DFSOutputStream.DFSOutputStream可以协调namenode和datanode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列data quene。
4.DataStreamer会去处理接受data quene，他先问询namenode这个新的block最适合存储的在哪几个datanode里（参考第二小节），比如重复数是3，那么就找到3个最适合的datanode，把他们排成一个pipeline。DataStreamer把packet按队列输出到管道的第一个datanode中，第一个datanode又把packet输出到第二个datanode中，以此类推。
5.DFSOutputStream还有一个对列叫ack quene，也是有packet组成，等待datanode的收到响应，当pipeline中的所有datanode都表示已经收到的时候，这时akc quene才会把对应的packet包移除掉。
6.客户端完成写数据后调用close方法关闭写入流
7.DataStreamer把剩余得包都刷到pipeline里然后等待ack信息，收到最后一个ack后，通知datanode把文件标示为已完成。
注意：
如果在写的过程中某个datanode发生错误，会采取以下几步：
1) pipeline被关闭掉；
2)为了防止丢包ack quene里的packet会同步到data quene里；
3)把产生错误的datanode上当前在写但未完成的block删掉；
4）block剩下的部分被写到剩下的两个正常的datanode中；
5）namenode找到另外的datanode去创建这个块的复制。
当然，这些操作对客户端来说是无感知的。
另外要注意得一点，客户端执行write操作后，写完得block才是可见的，正在写的block对客户端是不可见的，只有调用sync方法，客户端才确保该文件被写操作已经全部完成，当客户端调用close方法时会默认调用sync方法。是否需要手动调用取决你根据程序需要在数据健壮性和吞吐率之间的权衡。
3、缓解大量小文件
Hadoop Archives (HAR files)是在0.18.0版本中引入的，它的出现就是为了缓解大量小文件消耗namenode内存的问题。HAR文件是通过在HDFS上构建一个层次化的文件系统来工作。一个HAR文件是通过hadoop的archive命令来创建，而这个命令实 际上也是运行了一个MapReduce任务来将小文件打包成HAR。对于client端来说，使用HAR文件没有任何影响。所有的原始文件都 （using har://URL）。但在HDFS端它内部的文件数减少了。
通过HAR来读取一个文件并不会比直接从HDFS中读取文件高效，而且实际上可能还会稍微低效一点，因为对每一个HAR文件的访问都需要完成两层 index文件的读取和文件本身数据的读取。并且尽管HAR文件可以被用来作为MapReduce job的input，但是并没有特殊的方法来使maps将HAR文件中打包的文件当作一个HDFS文件处理。
创建文件 hadoop archive -archiveName xxx.har -p /src /dest
查看内容 hdfs dfs -lsr har:///dest/xxx.har
————————————————
版权声明：本文为CSDN博主「且听_风吟」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_26803795/article/details/64534239
程序猿的技术大观园：www.javathinker.net
|
网站系统异常
| 系统异常信息 |
Request URL:
http://www.javathinker.net/WEB-INF/lybbs/jsp/topic.jsp?postID=1421&pages=5
java.lang.NullPointerException
如果你不知道错误发生的原因，请把上面完整的信息提交给本站管理人员。
|
|
Java技术网站 → 『 Java开发技术 』 → 『 大数据处理和分布式架构专题 』 → hadoop从零开始--HDFS篇
消息
查看
搜索
好友
邮件
复制
引用