当前位置 博文首页 > Lily3619的博客:hdfs dfs常用基本命令

    Lily3619的博客:hdfs dfs常用基本命令

    作者:[db:作者] 时间:2021-09-17 12:32

    hdfs dfs 使用命令 ,路径用/project/test/替代在这里插入图片描述
    在这里插入图片描述

    例如

    查询前几行样本数据:
    hdfs dfs -cat /project/test/test.txt | head -17

    查询后5行数据:
    hdfs dfs -cat /project/test/test.txt | tail -5

    随机返回指定行数的样本:
    hdfs dfs -cat /project/test/test.txt | shuf -n 5

    查看文本的行数:
    hdfs dfs -cat /project/test/test.txt | wc -l

    查询第五行之后的文件内容:
    hdfs dfs -cat /project/test/test.txt | tail -n +5

    查询过滤字段num:
    hdfs dfs -cat /project/test/test.txt | grep num

    查看文件大小:
    hdfs dfs -du /project/test/test.txt
    hdfs dfs -du /project/test/*

    显示文件夹下面文件的数量:
    hdfs dfs -count /project/test/

    创建目录dir1和dir2:
    hdfs dfs -mkdir -p /project/test/dir1 /project/test/dir2

    显示文件夹test下的目录:
    hdfs dfs -ls /project/test/
    递归的显示test下的目录:
    hdfs dfs -ls -R /project/test/或hdfs dfs -lsr /project/test/

    将本地文件上传至hdfs目标路径:
    hdfs dfs -put /home/bb/test1.txt /project/test/

    将文件从目标路径拷贝到本地:
    hdfs dfs -get /project/test/test1 /home/bb/

    将文件或目录复制到目标路径:
    hdfs dfs -cp 源路径 目标路径

    删除文件或目录:
    hdfs dfs -rm 路径
    删除文件夹及文件夹下的内容:
    hdfs dfs -rm -r 路径
    跳过垃圾桶删除:
    hdfs dfs -rm -r -skipTrash 路径

    以文本的方式显示到标准输出:
    hdfs dfs -text /project/test/

    显示文件的最后1KB到标准输出:
    hdfs dfs -tail -f /project/test/t.txt

    cs
    下一篇:没有了