HDFS

zzjmay 2020-07-04

HDFS基本操作

hdfs dfsadmin查看命令

hdfs基本操作

查看目录

 hdfs dfs -ls/ [-d] [-h] [-r] 大写            

-d:将path作为一个普通文件输出文件信息

-h格式化输出文件及目录信息

-r递归列出目录下的内容

新建文件 创建 递归创建

 hdfs dfs -mkdir -p /usr/root/txtdir

上传文件

 hdfs dfs -put [-f] [-p] [-l] <本地路径> <目标路径> hdfs dfs -put /opt/a.txt /usr/root//txtdir

-f覆盖目标路径,如果存在的话

-p保留文件原有的属性及权限

-l允许DataNode延迟持久化文件到磁盘

查看文件

 hdfs dfs -cat /usr/root/txtdir/a.txt

合并本地小文件并上传

 hdfs dfs -appendToFile a.txt b.txt /usr/root/txtdir/merge.txt

把服务器上的文件合并下载到本地

 hdfs dfs -getmerge /usr/root/txtdir /opt/merge

直接下载用-get

删除文件

 hdfs dfs [-rm [-f] [-r] <src>]

[-r]递归删除

[-f]文件不存在不要显示诊断信息

1、HDFS的基本命令格式为:

命令:hdfs dfs -cmd <args>

注:cmd就是具体的命令,cmd前面的“-”千万不能省略。

本人已经设置了环境变量,则可以在任意的路径下可直接使用hdfs,否则进入hadoop安装路径HADOOP_HOME后,使用如下指令:./bin/hdfs dfs -cmd <args>

2、列出文件目录:

命令:hdfs dfs -ls 路径

3、在HDFS创建文件夹:

命令:hdfs dfs -mkdir 文件夹名称

命令:级联创建一个文件夹,即类似这样一个目录:/mybook/input,则 hdfs fs -mkdir -p 文件夹名称

4、上传文件至HDFS

命令:hdfs dfs -put 源路径 目标存放路径

5、从HDFS上下载文件

命令:hdfs dfs -get HDFS文件路径 本地存放路径

6、查看HDFS上某个文件的内容

命令:hdfs dfs -text(或cat) HDFS上的文件存放路径

7、统计目录下各文件的大小(单位:字节B)

命令:hdfs dfs -du 目录路径

8、删除HDFS上某个文件或者文件夹

命令:hdfs dfs -rm 文件存放文件

hdfs dfs -rm -r 文件存放文件

9、使用help命令寻求帮助

命令:hdfs dfs -help 命令

相关推荐

硅步至千里 / 0评论 2020-04-19