1.概述

所有Hadoop命令和子项目都遵循相同的基本结构：

用法: shellcommand [SHELL_OPTIONS] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

FIELD	Description
shellcommand	所调用项目的命令。例如，Hadoop使用hadoop，HDFS使用hdfs，而YARN使用yarn。
SHELL_OPTIONS	Shell在执行Java之前处理的选项。
COMMAND	要执行的动作。
GENERIC_OPTIONS	多个命令支持的一组通用选项。
COMMAND_OPTIONS	本文档针对Hadoop通用子项目描述了各种命令及其选项。 HDFS和YARN包含在其他文档中。

1.1.Shell选项

所有的shell命令都将接受一组通用的选项。对于某些命令，这些选项将被忽略。例如，在仅在单个主机上执行的命令上传递--hostnames将被忽略。

SHELL_OPTION	Description
--buildpaths	启用jar的开发版本。
--config confdir	覆盖默认的配置目录。默认值为$HADOOP_HOME/etc/hadoop.
--daemon mode	如果该命令支持守护程序（例如hdfs namenode），请以适当的模式执行。支持的模式有：启动以后台驻留程序模式启动进程，停止以停止进程以及状态确定进程的活动状态。状态将返回符合LSB-compliant的结果代码。如果未提供任何选项，则支持守护程序的命令将在前台运行。对于不支持守护程序的命令，将忽略此选项。
--debug	启用shell层配置调试信息
--help	Shell脚本用法信息。
--hostnames	使用--workers时，请使用空格分隔的主机名列表覆盖worker文件，以在其中执行多主机子命令。如果不使用--workers，则忽略此选项。
--hosts	使用--workers时，请用另一个文件覆盖该worker文件，该文件包含要在其中执行多主机子命令的主机名列表。如果不使用--workers，则忽略此选项。
--loglevel loglevel	覆盖日志级别。有效的日志级别为FATAL，ERROR，WARN，INFO，DEBUG和TRACE。默认值为INFO。
--workers	如果可能，请在workers文件中的所有主机上执行此命令。

1.2.通用选项

许多子命令使用一组通用的配置选项来更改其行为：

GENERIC_OPTION	Description
-archives <comma separated list of archives>	指定用逗号分隔的归档文件，以在计算机上将其取消归档。仅适用于工作(job)。
-conf <configuration file>	指定应用程序配置文件。
-D <property>=<value>	给定属性的使用值。
-files <comma separated list of files>	指定以逗号分隔的文件，以将其复制到map reduce集群。仅适用于工作(job)。
-fs <file:///> or <hdfs://namenode:port>	指定要使用的默认文件系统URL。从配置中覆盖 'fs.defaultFS' 属性。
-jt <local> or <resourcemanager:port>	指定一个ResourceManager。仅适用于工作(job)。
-libjars <comma seperated list of jars>	指定以逗号分隔的jar文件以包含在类路径中。仅适用于工作(job)。

2.Hadoop常用命令

所有这些命令都是从hadoop shell命令执行的。它们已分为“用户命令”和“管理命令”。

2.1.用户命令

对hadoop集群的用户有用的命令。

2.1.1.档案文件（archive）

创建一个hadoop存档。可以在《 Hadoop归档指南（Hadoop Archives Guide）》中找到更多信息。

2.1.2.检查本机（checknative）

用法: hadoop checknative [-a] [-h]

COMMAND_OPTION	Description
-a	检查所有库是否可用。
-h	打印帮助

此命令检查Hadoop本机代码的可用性。有关更多信息，请参见Native Libaries。默认情况下，此命令仅检查libhadoop的可用性。

2.1.3.classpath

用法: hadoop classpath [--glob |--jar <path> |-h |--help]

COMMAND_OPTION	Description
--glob	展开通配符
--jar path	将类路径作为清单写入名为path的jar中
-h, --help	打印帮助

打印获取Hadoop jar和所需库所需的类路径。如果不带参数调用，则打印由命令脚本设置的类路径，该类路径可能在类路径条目中包含通配符。其他选项可在通配符扩展后打印类路径，或将类路径写入jar文件的清单中。后者在无法使用通配符且扩展的类路径超过支持的最大命令行长度的环境中很有用。

2.1.4.conftest

用法: hadoop conftest [-conffile <path>]...

COMMAND_OPTION	Description
-conffile	要验证的配置文件或目录的路径
-h, --help	打印帮助

验证配置XML文件。如果未指定-conffile选项，则将验证${HADOOP_CONF_DIR}中名称以.xml结尾的文件。如果指定，将验证该路径。您可以指定文件或目录，如果指定了目录，则将验证该目录中名称以.xml结尾的文件。您可以多次指定-conffile选项。

验证非常少：解析XML，并检查重复和空属性名称。该命令不支持XInclude。如果使用它来引入配置项，它将声明XML文件无效。

2.1.5.凭据（credential）

用法: hadoop credential <subcommand> [options]

COMMAND_OPTION	Description
create alias [-provider provider-path] [-strict] [-value credential-value]	提示用户将凭据存储为给定别名。除非指明-provider，否则将使用core-site.xml文件中的*hadoop.security.credential.provider.path。如果提供程序使用默认密码，则-strict标志将导致命令失败。使用-value*标志来提供凭据值（也称为别名密码）而不是提示您。
delete alias [-provider provider-path] [-strict] [-f]	删除具有提供的别名的凭据。除非指明-provider，否则将使用core-site.xml文件中的*hadoop.security.credential.provider.path。如果提供程序使用默认密码，则-strict*标志将导致命令失败。除非指定-f，否则该命令要求确认。
list [-provider provider-path] [-strict]	列出所有凭证别名除非指明提供者，否则将使用core-site.xml文件中的*hadoop.security.credential.provider.path。如果提供程序使用默认密码，则-strict*标志将导致命令失败。

COMMAND_OPTION

Description

create alias [-provider provider-path] [-strict] [-value credential-value]

提示用户将凭据存储为给定别名。

除非指明-provider，否则将使用core-site.xml文件中的hadoop.security.credential.provider.path。如果提供程序使用默认密码，则-strict标志将导致命令失败。使用-value标志来提供凭据值（也称为别名密码）而不是提示您。

delete alias [-provider provider-path] [-strict] [-f]

删除具有提供的别名的凭据。除非指明-provider，否则将使用core-site.xml文件中的hadoop.security.credential.provider.path。如果提供程序使用默认密码，则-strict标志将导致命令失败。除非指定-f，否则该命令要求确认。

list [-provider provider-path] [-strict]

列出所有凭证别名除非指明提供者，否则将使用core-site.xml文件中的hadoop.security.credential.provider.path。如果提供程序使用默认密码，则-strict标志将导致命令失败。

用于管理凭据提供程序中的凭据，密码和机密的命令。

Hadoop中的CredentialProvider API允许分离应用程序以及它们如何存储所需的passwords/secrets。为了指示特定的提供程序类型和位置，用户必须在core-site.xml中提供hadoop.security.credential.provider.path配置元素，或在以下每个命令上使用命令行选项 -provider。该提供程序路径是一个用逗号分隔的URL列表，它指示应查询的提供程序列表的类型和位置。例如，以下路径： user:///,jceks://file/tmp/test.jceks,jceks://[email protected]/my/path/test.jceks

指示应通过用户提供程序查询当前用户的凭据文件，在/tmp/test.jceks上的本地文件是Java Keystore Provider，和在HDFS内nn1.example.com/my/path/test.jceks的文件也是Java Keystore Provider的存储。

提供程序经常要求提供密码或其他机密。如果提供者需要密码而找不到密码，它将使用默认密码并发出一条警告消息，提示您正在使用默认密码。如果提供了-strict标志，则警告消息变为错误消息，并且该命令立即返回错误状态。

例如: hadoop credential list -provider jceks://file/tmp/test.jceks

2.1.6.distch

用法: hadoop distch [-f urilist_url] [-i] [-log logdir] path:owner:group:permissions

COMMAND_OPTION	Description
-f	更改对象列表
-i	忽略故障
-log	日志输出目录

一次更改许多文件的所有权和权限。

2.1.7.distcp

递归复制文件或目录。有关更多信息，请参见《 Hadoop DistCp指南》。

2.1.8.dtutil

用法: hadoop dtutil [-keytab keytab_file -principal principal_name ] subcommand [-format (java|protobuf)] [-alias alias ] [-renewer renewer ] filename…

实用程序，用于获取和管理凭据文件中的hadoop授权令牌。它旨在替代更简单的命令fetchdt。有多个子命令，每个子命令都有自己的标志和选项。

对于每个写出文件的子命令，-format选项将指定要使用的内部格式。 java是与fetchdt匹配的传统格式。默认值为protobuf。

对于连接到服务的每个子命令，都提供了便利标志，以指定用于身份验证的kerberos主体名称和keytab文件。

SUBCOMMAND	Description
print [-alias alias ] filename [ filename2 ...]	打印出filename （和filename2 ...）中包含的标记中的字段。如果指定了别名，则仅打印与别名匹配的令牌。否则，打印所有令牌。
get URL [-service scheme ] [-format (java\|protobuf)] [-alias alias ] [-renewer renewer ] filename	从URL的服务中获取令牌并将其放置在文件名中。 URL是必填项，必须紧随get之后。 URL是服务URL，例如 hdfs://localhost:9000。别名将覆盖令牌中的服务字段。它适用于具有外部和内部名称的主机，例如 firewall.com:14000。 filename 应该放在最后，是令牌文件的名称。如果不存在，将创建它。否则，令牌将添加到现有文件中。 -service标志只能与以http或https开头的URL一起使用。以下是等效的：hdfs://localhost:9000/ vs. http://localhost:9000 -service hdfs
append [-format (java\|protobuf)] filename filename2 [ filename3 ...]	将前N个文件名的内容追加到最后一个文件名。如果多个文件中都存在带有公共服务字段的令牌，则早期文件的令牌将被覆盖。也就是说，最后一个文件中存在的令牌始终被保留。
remove -alias alias [-format (java\|protobuf)] filename [ filename2 ...]	从指定的每个文件中删除与别名匹配的标记，并使用指定的格式写出每个文件。必须指定别名。
cancel -alias alias [-format (java\|protobuf)] filename [ filename2 ...]	就像删除一样，除了令牌也使用令牌对象中指定的服务取消。必须指定别名。
renew -alias alias [-format (java\|protobuf)] filename [ filename2 ...]	对于指定的每个文件，续订与别名匹配的令牌并使用指定的格式写出每个文件。必须指定别名。

2.1.9.fs

《File System Shell Guide》中记录了该命令。使用HDFS时，它是hdfs dfs的同义词。

2.1.10.gridmix

Gridmix是Hadoop集群的基准测试工具。可以在《Gridmix Guide》中找到更多信息。

2.1.11.jar

用法: hadoop jar <jar> [mainClass] args...

运行一个jar文件。

请使用yarn jar启动YARN应用程序。

2.1.12.jnipath

用法: hadoop jnipath

打印计算的 java.library.path。

2.1.13.kerbname

用法: hadoop kerbname principal

通过auth_to_local规则将命名的主体转换为Hadoop用户名。

例如: hadoop kerbname [email protected]

2.1.14.kdiag

用法: hadoop kdiag

诊断Kerberos问题

2.1.15.key

用法: hadoop key <subcommand> [options]

COMMAND_OPTION	Description
create keyname [-cipher cipher] [-size size] [-description description] [-attr attribute=value] [-provider provider] [-strict] [-help]	在-provider参数指定的提供程序中，为密钥名称参数指定的名称创建一个新密钥。如果提供程序使用默认密码，则-strict标志将导致命令失败。您可以指定带有密码参数的密码。当前默认密码为“ “AES/CTR/NoPadding”。默认密钥大小为128.您可以使用-size参数指定请求的密钥长度。可以使用-attr参数指定任意attribute=value样式属性。 -attr可以多次指定，每个属性一次。
roll keyname [-provider provider] [-strict] [-help]	在使用-provider参数指示的提供者中为指定密钥创建新版本。如果提供程序使用默认密码，则-strict标志将导致命令失败。
delete keyname [-provider provider] [-strict] [-f] [-help]	从-provider指定的提供程序中删除由 keyname 参数指定的所有版本的密钥。如果提供程序使用默认密码，则-strict标志将导致命令失败。除非指定-f，否则该命令要求用户确认。
list [-provider provider] [-strict] [-metadata] [-help]	显示在core-site.xml中配置或由-provider 参数指定的特定提供程序中包含的键名。如果提供程序使用默认密码，则-strict标志将导致命令失败。 -metadata显示元数据。
-help	打印此命令的用法

通过KeyProvider管理密钥。有关KeyProvider的详细信息，请参见《透明加密指南》。

注意：某些KeyProvider（例如org.apache.hadoop.crypto.key.JavaKeyStoreProvider）不支持大写密钥名称。

注意：某些KeyProvider不会直接执行密钥删除操作（例如，执行软删除操作或延迟实际的删除操作，以防止出错）。在这些情况下，删除后创建/删除具有相同名称的密钥时可能会遇到错误。请检查基础KeyProvider以获得详细信息。

2.1.6.kms

用法: hadoop kms

运行密钥管理服务器KMS。

2.1.7.trace

查看和修改Hadoop跟踪设置。请参阅跟踪指南。

2.1.8.version

用法: hadoop version

打印版本。

2.1.9.CLASSNAME

用法: hadoop CLASSNAME

运行名为CLASSNAME的类。该类必须是包的一部分。

2.1.10.envvars

用法: hadoop envvars

显示计算的Hadoop环境变量。

2.2.Administration命令

对hadoop集群的管理员有用的命令。

2.2.1.daemonlog

用法:

hadoop daemonlog -getlevel <host:port> <classname> [-protocol (http|https)]
hadoop daemonlog -setlevel <host:port> <classname> <level> [-protocol (http|https)]

COMMAND_OPTION	Description
-getlevel host:port classname [-protocol (httphttps)]	在运行于 host:port 的守护程序中打印由合格的classname标识的日志的日志级别。-protocol标志指定连接协议。
-setlevel host:port classname level [-protocol (httphttps)]	在运行于 host:port 的守护程序中设置由合格的classname标识的日志的日志级别。 -protoco标志指定连接协议。

动态 Get/Set 守护程序中由合格的类名称标识的日志的日志级别。默认情况下，该命令发送HTTP请求，但是可以通过使用-protocol https参数发送HTTPS请求来覆盖此请求。

例：

$ bin/hadoop daemonlog -setlevel 127.0.0.1:9870 org.apache.hadoop.hdfs.server.namenode.NameNode DEBUG
$ bin/hadoop daemonlog -getlevel 127.0.0.1:9871 org.apache.hadoop.hdfs.server.namenode.NameNode DEBUG -protocol https

请注意，该设置不是永久性的，并且在重新启动守护程序时将被重置。该命令通过向守护程序的内部Jetty Servlet发送HTTP/HTTPS请求来起作用，因此它支持以下守护程序：

Common
- key management server
HDFS
- name node
- secondary name node
- data node
- journal node
- HttpFS server
YARN
- resource manager
- node manager
- Timeline server

2.3.Files

2.3.1.etc/hadoop/hadoop-env.sh

该文件存储所有Hadoop Shell命令使用的全局设置。

2.3.2.etc/hadoop/hadoop-user-functions.sh

此文件允许高级用户覆盖某些Shell功能。

2.3.3.~/.hadooprc

这为个人用户存储了个人环境。它在hadoop-env.sh和hadoop-user-functions.sh文件之后进行处理，并且可以包含相同的设置。

SUBCOMMAND	Description
print [-alias alias ] filename [ filename2 ...]	打印出filename （和filename2 ...）中包含的标记中的字段。如果指定了别名，则仅打印与别名匹配的令牌。否则，打印所有令牌。
get URL [-service scheme ] [-format (java\|protobuf)] [-alias alias ] [-renewer renewer ] filename	从URL的服务中获取令牌并将其放置在文件名中。 URL是必填项，必须紧随get之后。 URL是服务URL，例如 hdfs://localhost:9000。别名将覆盖令牌中的服务字段。它适用于具有外部和内部名称的主机，例如 firewall.com:14000。 filename 应该放在最后，是令牌文件的名称。如果不存在，将创建它。否则，令牌将添加到现有文件中。 -service标志只能与以http或https开头的URL一起使用。以下是等效的：hdfs://localhost:9000/ vs. http://localhost:9000 -service hdfs
append [-format (java\|protobuf)] filename filename2 [ filename3 ...]	将前N个文件名的内容追加到最后一个文件名。如果多个文件中都存在带有公共服务字段的令牌，则早期文件的令牌将被覆盖。也就是说，最后一个文件中存在的令牌始终被保留。
remove -alias alias [-format (java\|protobuf)] filename [ filename2 ...]	从指定的每个文件中删除与别名匹配的标记，并使用指定的格式写出每个文件。必须指定别名。
cancel -alias alias [-format (java\|protobuf)] filename [ filename2 ...]	就像删除一样，除了令牌也使用令牌对象中指定的服务取消。必须指定别名。
renew -alias alias [-format (java\|protobuf)] filename [ filename2 ...]	对于指定的每个文件，续订与别名匹配的令牌并使用指定的格式写出每个文件。必须指定别名。

Hadoop【从无到有从有到无】【H4】命令指南