• 欢迎访问金笔头博客,这是一个菜鸟(伪)程序员的自留地,欢迎访问我的github:点击进入

hadoop

HDFS文件读写原理解析(漫画)

HDFS文件读写原理解析(漫画)
客户端写文件第一步:客户端将大文件分成一个个的block文件(每个block大小为64M或128M)。第二步:客户端发消息给NameNode告知自己要存放block文件,并将每个block文件的副本数量(比如3个)告知NameNode。第三步:NameNode反馈一个list给客户端,告知客户端应该将每个block文件存放在哪3个DataNode上(每……继续阅读 »

3年前 (2016-02-28) 1115浏览

HDFS get文件报错8020端口连接失败

HDFS get文件报错8020端口连接失败
问题:执行命令从hdfs里面下载文件报错:#hadoop fs -get hdfs://hadoop01/src.zipget: Call From hadoop01/192.168.43.3 to hadoop01:8020 failed on connection exception: java.net.ConnectException: 拒绝连……继续阅读 »

3年前 (2016-02-28) 2082浏览