Hadoop：操作 Hadoop Cluster

当完成所有的必要配置后，将HADOOP_CONF_DIR目录中的所有配置文件复制到所有机器，建议将HDFS和YARN后台进程一不同的用户身份运行，比如运行HDFS进程们的用户为hdfs，运行YARN进程们的用户为yarn。

启动Hadoop会同时启动 HDFS 和 YARN 相关进程.

一、启动HDFS

使用hdfs身份登录运行

1、首次使用HDFS，需要先格式化，格式化的目的是写入文件系统，就像我们格式化硬盘一样，可以把所有运行HDFS进程的节点看作一个大的磁盘，格式化的目的就是向这个达磁盘写入文件系统，告诉集群如何管理文件，其中包括每个文件分片的大小等。

格式化命令如下：

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

2、启动 HDFS NameNode 进程

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

3、启动 HDFS DataNode 进程，每一个DataNode节点都要运行

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

注：如果 etc/hadoop/slaves 和 ssh可信连接（无密码访问）都配置了，那启动所有的HDFS进程只需执行下面脚本：
[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh

二、启动YARN

使用yarn、mapred用户登录

1、在ResourceManager节点启动YARN:

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

2、启动NodeManager，每一个NodeManager都要运行

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager

3、启动 standalone WebAppProxy server，如果有多台WebAppProxy server（用来实现负载均衡），逐个启动

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

注：如果 etc/hadoop/slaves 和 ssh可信连接（无密码访问）都配置了，那启动所有的YARN进程只需执行下面脚本：
[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh

4、启动MapReduce JobHistory Server，使用mapred用户登录

[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

一、停止HDFS

使用hdfs用户登录

1、关闭NameNode进程

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

2、在每一个DataNode节点关闭DataNode进程

[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

注：如果 etc/hadoop/slaves 和 ssh可信连接（无密码访问）都配置了，那启动所有的HDFS进程只需执行下面脚本：
[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

二、停止YARN

使用yarn用户登录

1、停止ResourceManager

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager

2、停止NodeManager，每一个NodeManager节点都要运行

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

注：如果 etc/hadoop/slaves 和 ssh可信连接（无密码访问）都配置了，那启动所有的HDFS进程只需执行下面脚本
[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh

3、停止WebAppProxy server，如果多个WebAppProxy server，逐个停止

[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver

4、停止MapReduce JobHistory Server，使用mapred用户登录

[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver

Daemon	Web Interface	Notes
NameNode	http://nn_host:port/	Default HTTP port is 50070.
ResourceManager	http://rm_host:port/	Default HTTP port is 8088.
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 19888.

转载于:https://www.cnblogs.com/seastar1989/p/5842413.html