博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理
阅读量:3923 次
发布时间:2019-05-23

本文共 544 字,大约阅读时间需要 1 分钟。

一、HDFS架构

 

二、HDFS设计思想

 

 

三、HDFS写流程

 

---Client:

·切分文件Block

·按Block线性和NN获取DN列表(副本数)

·验证DN列表后以更小的单位流式传输数据

---各节点,两两通信确定可用

·Block传输结束后:

---DN向NN汇报Block信息

---DN向Client汇报完成

---Client向NN汇报完成

·获取下一个Block存放的DN列表

·。。。。。。

·最终Client汇报完成

·NN会在写流程更新文件状态

四、HDFS读流程

---Client:

·和NN获取一部分Block副本位置列表

·线性和DN获取Block,最终合并为一个文件

·在Block副本列表中按距离择优选取

五、HDFS文件权限POSIX

---与Linux文件权限类似

·r: read; w:write; x:execute

·权限x对于文件忽略,对于文件夹表示是否允许访问其内容

---如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan。

---HDFS的权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁。

本文为原创,禁止转载!

你可能感兴趣的文章
.NET环境下水晶报表使用总结
查看>>
SQL Server 2000中查询表名
查看>>
查看 SQL Server 2000 数据表的大小并不难
查看>>
PHP命名大小写敏感规则
查看>>
php输出日志
查看>>
php输出日志
查看>>
一次springmvc+mybatis+log4j日志不输出SQL语句问题的排查经历
查看>>
关于ThreadLocal的浅谈
查看>>
java发邮件eclipse中测试没问题,部署到tomcat上收到的是乱码问题排查
查看>>
nginx配置https之后,https请求被调转到http问题
查看>>
PageHelper的简单追踪
查看>>
根据参数值的不同,调用不同实现类
查看>>
1、Annotation
查看>>
2、Annotation的实现
查看>>
CyclicBarrier && CountDownLatch
查看>>
java.lang.Object
查看>>
mqtt的messageId是怎么回事
查看>>
记一次线上CPU持续飙升的问题排查
查看>>
java.util.Stack
查看>>
java.lang.Class
查看>>