>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 23750 个阅读者 刷新本主题
 * 贴子主题:  Hadoop常用命令参考 回复文章 点赞(0)  收藏  
作者:sunshine    发表时间:2020-01-01 10:07:38     消息  查看  搜索  好友  邮件  复制  引用

在“$HADOOP_HOME/bin/hadoop fs” 里有更多的命令。./bin/hadoop DFS 列出所有可以使用在FsShell系统上运行的命令。此外,$HADOOP_HOME/bin/hadoop fs -help 命令名称会显示一个简短的用法。

所有表的操作如下所示。以下是使用参数一般方式:

"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.

所有其他文件和路径名是指HDFS内部的对象。

1.
ls <path>

列出路径指定的目录中的内容,示出了名称,权限,拥有者,大小和修改日期的每个条目。

2.
lsr <path>

行为类似于-ls,但递归显示路径的所有子目录项。

3.
du <path>

显示磁盘使用率,以字节为单位,对所有的文件,这些文件匹配的路径;文件名报告使用完整HDFS协议前缀。

4.
dus <path>

类似-du,但打印路径中的所有文件/目录的磁盘使用情况的摘要。

5.
mv <src><dest>

通过移动表示src到dest,在HDFS的文件或目录。

6.
cp <src> <dest>

在HDFS复制确定src中的文件或目录到dest。

7.
rm <path>

删除文件或路径标识的空目录。

8.
rmr <path>

删除路径标识的文件或目录。递归删除所有子条目(例如,文件或路径的子目录)。

9.
put <localSrc> <dest>

从本地localSrc文件系统中的DFS标识文件或目录内复制到dest。

10.
copyFromLocal <localSrc> <dest>

等同于-put

11.
moveFromLocal <localSrc> <dest>

从标识 localSrc本地文件系统中的文件或目录中HDFS复制到dest,然后删除本地副本上成功。

12.
get [-crc] <src> <localDest>

拷贝标识 src 来确定localDest本地文件系统路径HDFS文件或目录。

13.
getmerge <src> <localDest>

检索匹配的路径的src HDFS中的所有文件,并将它们复制合并文件到标识localDest本地文件系统中。

14.
cat <filen-ame>

显示在标准输出文件名的内容。

15.
copyToLocal <src> <localDest>

等同于 -get

16.
moveToLocal <src> <localDest>

工作方式类似于-get,但删除HDFS复制成功。

17.
mkdir <path>

在创建一个HDFS命名的目录路径。

创建任何父目录的路径丢失(例如,命令mkdir-p在Linux中)。

18.
setrep [-R] [-w] rep <path>

设置标识路径代表文件的目标文件复制因子。 (实际的复制因子会向着随着时间的推移目标移动)

19.
touchz <path>

创建在路径包含当前时间作为时间戳的文件。失败如果文件已经存在于路径,除非文件已经大小为0。

20.
test -[ezd] <path>

返回1,如果路径存在;长度为零;或者是一个目录,否则为0。

21.
stat [format] <path>

打印有关的路径信息。格式是接受块文件大小(%b),文件名(%n),块大小(%o),复制(%r)和修改日期(%y,%Y)的字符串。

22.
tail [-f] <file2name>

显示在标准输出文件的最后1KB。

23.
chmod [-R] mode,mode,... <path>...

变化符合路径标识的一个或多个对象关联的文件权限....递归执行变更与R.模式是3位八进制模式,或{augo}+/-{rwxX}。假设如果没有指定范围,则不适用umask。

24.
chown [-R] [owner][:[group]] <path>...

设置拥有用户和/或组标识路径的文件或目录....设置所有者递归,如果指定-R。

25.
chgrp [-R] group <path>...

设置所属组标识路径的文件或目录....设置组递归,如果指定-R。

26.
help <cmd-name>

返回使用上面列出的命令之一信息。必须省略了'-' 字符在cmd。


程序猿的技术大观园:www.javathinker.net
  Java面向对象编程-->Java常用类(上)
  JavaWeb开发-->Servlet技术详解(Ⅰ)
  JSP与Hibernate开发-->映射一对多关联关系
  Java网络编程-->用Swing组件展示HTML文档
  精通Spring-->绑定CSS样式
  Vue3开发-->Vue组件开发高级技术
  一套可复用的方法论!从0-1搭建数据团队,看这篇就够了
  demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreac...
  Spark配置redis的jar包
  spark读取redis数据(交互式,scala单机版,java单机版)
  TiDB在360的落地及实战干货
  MapReduce自定义分区实现
  Hadoop 之 HDFS
  Spark高级排序与TopN问题揭密
  Spark On YARN 环境搭建
  hadoop从零开始--HDFS篇
  SDN网络IPv6组播机制支持实时视频业务海量用户扩展
  Hive 企业级调优
  00-Spark介绍
  Hadoop小文件优化
  MapReduce工作原理图文详解
  更多...
 IPIP: 已设置保密
楼主      
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。