HDFS基础学习，让你快速入门

HDFS简介

HDFS中的重要概念

分块存储

命名空间

NameNode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都被NameNode记录下来。

NameNode元数据

DataNode数据存储

副本机制

一次写入，多次读出

HDFS架构

维护管理Hdfs的名称空间
维护副本策略
记录文件块的映射关系
负责处理客户端读写请求

DataNode：NameNode下达命令，DataNode执行实际操作

保存实际的数据块

负责数据块的读写
- 上传文件到HDFS的时候，Client负责将文件切分成Block，然后进行上传
请求NameNode交互，获取文件的位置信息
读取或写入文件，与DataNode交互
Client可以使用一些命令来管理HDFS或者访问HDFS

写数据流程：

HDFS客户端操作

Shell客户端

查看所有命令

hadoop fs

查看命令帮助

#查看rm的帮助信息
hadoop fs -help rm

hadoop fs -ls /

hadoop fs -mkdir -p /test/data

从本地剪切到HDFS

hadoop fs -moveFromLocal ./word.txt /test/data

追加文件内容到指定文件

 hadoop fs -appendToFile test.txt /test/data/word.txt

显示文件内容

hadoop fs -cat /test/data/word.txt

修改文件所属权限

hadoop fs -chmod 666 /test/data/word.txt
 hadoop fs -chown root:root /test/data/word.txt

从本地文件系统拷贝文件到HDFS路径去

hadoop fs -copyFromLocal test.txt /test

从HDFS拷贝到本地

hadoop fs -copyToLocal /test/data/word.txt /opt

从HDFS的一个路径拷贝到HDFS的另一个路径

hadoop fs -cp /test/data/word.txt /test/input/t.txt

hadoop fs -mv /test/input/t.txt /

从HDFS中下载文件，等同于copyToLocal

hadoop fs -get /t.txt ./

从本地上传文件到HDFS，等同于copyFromLocal

hadoop fs -put ./yarn.txt /user/root/test/

显示一个文件的末尾

hadoop fs -tail /t.txt

删除文件或文件夹

hadoop fs -rm /t.txt

hadoop fs -rmdir /test

统计文件夹的大小信息

hadoop fs -du -s -h /test
hadoop fs -du -h /test

设置HDFS的副本数量

hadoop fs -setrep 10 /lagou/bigdata/hadoop.txt

注意：这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10.

Java客户端

环境准备

将Hadoop安装包解压到非中文路径
配置环境变量
依赖导入

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop-version}</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop-version}</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>${hadoop-version}</version>
</dependency>

配置文件（可选步骤）

将hdfs-site.xml（内容如下）拷贝到项目的resources下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

参数优先级排序：（1）代码中设置的值 >（2）用户自定义配置文件 >（3）服务器的默认配置

HDFS Java API

上传文件

@Test
    public void testCopyFromLocalFile( throws Exception{
        Configuration conf = new Configuration(;
        FileSystem fs=FileSystem.get(new URI("hdfs://192.168.56.103:9000",conf,"root";
        fs.copyFromLocalFile(new Path("e://aa.txt",new Path("/cc.txt";
        fs.close(;
    }

为了方便，下面的示例就隐藏构建FileSystem的过程

下载文件

 @Test
    public void testCopyToLocalFile( throws Exception{
     fs.copyToLocalFile(false,new Path("/aa.txt",new Path("e://cd.txt",true;
    }

删除文件

@Test
  public void testDelete( throws Exception{
      fs.delete(new Path("/aa.txt",true;
  }

查看文件名称、权限、长度、块信息等

public void testList( throws IOException {
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/", true;
        while (listFiles.hasNext({
            LocatedFileStatus status = listFiles.next(;
            //文件名称
            System.out.println(status.getPath(.getName(;
            System.out.println(status.getLen(;
            System.out.println(status.getPermission(;
            System.out.println(status.getGroup(;

            BlockLocation[] blockLocations = status.getBlockLocations(;
            Stream.of(blockLocations.forEach(
                    block->{
                        String[] hosts = new String[0];
                        try {
                            hosts = block.getHosts(;
                        } catch (IOException e {
                            e.printStackTrace(;
                        }
                        System.out.println(Arrays.asList(hosts;
                    }
            ;
            System.out.println("-----------华丽的分割线----------";
        }
    }

文件夹判断

@Test
    public void testListStatus( throws IOException {
        FileStatus[] fileStatuses = fs.listStatus(new Path("/";
        Stream.of(fileStatuses.forEach(fileStatus -> {
            String name = fileStatus.isFile( ? "文件：" + fileStatus.getPath(.getName( : "文件夹："+fileStatus.getPath(.getName(;
            System.out.println(name;
        };
    }

通过I/O流操作HDFS

IO流上传文件

@Test
    public void testIOUpload( throws IOException {
        FileInputStream fis = new FileInputStream(new File("e://11.txt";
        FSDataOutputStream fos = fs.create(new Path("/io_upload.txt";
        IOUtils.copyBytes(fis,fos,new Configuration(;

        IOUtils.closeStream(fis;
        IOUtils.closeStream(fos;
    }

IO流下载文件

@Test
    public void testDownload( throws IOException{
        FSDataInputStream fis = fs.open(new Path("/io_upload.txt";
        FileOutputStream fos = new FileOutputStream(new File("e://11_copy.txt";
        IOUtils.copyBytes(fis,fos,new Configuration(;

        IOUtils.closeStream(fis;
        IOUtils.closeStream(fos;

    }

seek定位读取

@Test
    public void readFileSeek( throws IOException{
        FSDataInputStream fis = fs.open(new Path("/io_upload.txt";
        IOUtils.copyBytes(fis,System.out,1024,false;
        //从头再次读取
        fis.seek(0;
        IOUtils.copyBytes(fis,System.out,1024,false;

        IOUtils.closeStream(fis;
    }

HDFS文件权限问题

当出现权限问题时，解决方法有如下几种：

获取FileSystem对象时指定有权限的用户
关闭HDFS权限校验，修改hdfs-site.xml

#添加如下属性
<property>
    <name>dfs.permissions</name>
    <value>true</value>
</property>

直接修改HDFS的文件或目录权限为777，允许所有用户操作

hadoop fs -chmod -R 777 /

编程笔记 » HDFS基础学习，让你快速入门