Hadoop（一）：集群搭建

发表于 更新于 分类于
本文字数： 16k 阅读时长 ≈ 14 分钟

本文为学习笔记，对应视频教程来自尚硅谷大数据Hadoop 3.x

模板虚拟机环境准备

安装虚拟机

IP地址192.168.203.100、主机名称hadoop100、内存4G、硬盘50G

1
2
3
4
5
6
7
8
9
# 一、编辑静态 ip 地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改
BOOTPROTO="static"
# 添加
IPADDR="192.168.203.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.203.2"
DNS1="114.114.114.114"

安装必要软件

1
yum install -y epel-release net-tools vim

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

关闭防火墙 ，关闭防火墙开机自启

1
2
systemctl stop firewalld
systemctl disable firewalld.service

创建 eitan 用户

1
2
3
4
5
6
7
8
9
10
11
# 添加 eitan 用户并设置密码
useradd eitan
passwd eitan

# 为 eitan 用户添加权限
vim /etc/sudoers
## Allow root to run any commands anywhere
root 	ALL=(ALL) 		ALL
## Allows people in group wheel to run all commands
%wheel	ALL=(ALL) 		ALL
eitan   ALL=(ALL)       NOPASSWD:ALL

注意：eitan 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先配置了 eitan 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。所以 eitan 要放到%wheel 这行下面。

在/opt 目录下创建文件夹

1
2
3
4
5
mkdir /opt/module
mkdir /opt/software

chown eitan:eitan /opt/module
chown eitan:eitan /opt/software

克隆虚拟机

利用模板机 hadoop100 ，克隆三台虚拟机：hadoop102、hadoop103、hadoop104

修改克隆机 IP，以 hadoop102 为例

1
2
3
4
5
6
7
8
9
# 一、编辑静态 ip 地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改
BOOTPROTO="static"
# 添加
IPADDR="192.168.203.102"
NETMASK="255.255.255.0"
GATEWAY="192.168.203.2"
DNS1="114.114.114.114"

修改克隆机主机名

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 修改主机名称
vim /etc/hostname
hadoop102
# 配置 Linux 克隆机主机名称映射 hosts 文件，打开/etc/hosts
vim /etc/hosts
192.168.203.100 hadoop100
192.168.203.101 hadoop101
192.168.203.102 hadoop102
192.168.203.103 hadoop103
192.168.203.104 hadoop104
192.168.203.105 hadoop105
192.168.203.106 hadoop106
192.168.203.107 hadoop107
192.168.203.108 hadoop108
# 修改 windows 的主机映射文件 （hosts 文件）
C:\Windows\System32\drivers\etc\hosts

安装 Hadoop

安装 JDK

  1. 卸载现有 JDK

    1
    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

    rpm qa：查询所安装的所有rpm软件包

    grep -i：忽略大小写

    xargs -n1：表示每次只传递一个参数

    rpm -e –nodeps：强制卸载软件

  2. 用 XShell 传输 工具将 JDK 导入到 opt 目录下面的 software 文件夹下面

  3. 解压 JDK 到 /opt/module 目录下

    1
    2
    cd /opt/software
    tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

  4. 配置 JDK 环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    # 新建/etc/profile.d/my_env.sh文件
    sudo vim /etc/profile.d/my_env.sh
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_212
    export PATH=$PATH:$JAVA_HOME/bin

    # source一下/etc/profile文件，让新的环境变量PATH生效
    source /etc/profile

  5. 测试 JDK 是否 安装成功

    1
    java -version

安装 Hadoop（以 hadoop102 为例）

  1. 用 XShell 文件传输工具将 hadoop-3.3.2.tar.gz 导入到opt目录下面的 software 文件夹下面

  2. 解压安装文件到/opt/module下面

    1
    2
    cd /opt/software
    tar -zxvf hadoop-3.3.2.tar.gz -C /opt/module/

  3. 将Hadoop添加到环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    # 打开/etc/profile.d/my_env.sh文件
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.3.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

    # source一下/etc/profile文件，让新的环境变量PATH生效
    source /etc/profile

  4. 测试是否安装成功

    1
    hadoop version

Fully-Distributed Mode

编写集群分发脚本xsync

scp (secure copy) 安全 拷贝

  1. 基本语法

    1
    2
    scp -r $pdir/$fname $user@$host:$pdir/$fname
    命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

  2. 案例实操

    1
    2
    # 在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到 hadoop104 上
    scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module
rsync 远程 同步 工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

  1. 基本语法

    1
    2
    rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname
    命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
    选项 功能
    -a 归档拷贝
    -v 显示复制过程

  2. 案例实操

    1
    2
    3
    4
    # 删除 hadoop103 中 /opt/module/hadoop-3.3.2/README.txt
    [eitan@hadoop103 hadoop-3.3.2]$ rm -rf README.txt
    # 同步 hadoop102 中的 /opt/module/hadoop-3.3.2 到 hadoop103
    [eitan@hadoop103 hadoop-3.3.2]$ rsync -av eitan@hadoop102:/opt/module/hadoop-3.3.2/ ../hadoop-3.3.2
xsync集群分发脚本

  1. 需求：循环复制文件到所有节点的相同目录下

  2. 需求分析：

    1. rsync 命令原始拷贝：rsync -av /opt/module atguigu@hadoop103:/opt/
    2. 期望脚本命令：xsync 要同步的文件名称
    3. 期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

  3. 脚本实现

    1. 在 /home/eitan/bin 目录下创建 xsync 文件

      1
      2
      [eitan@hadoop102 ~]$ mkdir bin
      [eitan@hadoop102 ~]$ vim bin/xsync

    2. 在文件中编写如下代码

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      24
      25
      26
      27
      28
      29
      30
      #!/bin/bash

      # 1.判断参数个数
      if [ $# -lt 1 ]
      then
          echo Not Enough Arguement!
          exit;
      fi

      # 2.遍历集群所有机器
      for host in hadoop102 hadoop103 hadoop104
      do
          echo ================ $host ================
          # 3.遍历所有参数，依次同步
          for file in $@
          do
              # 4.判断文件是否存在
              if [ -e $file ]
              then
                  # 5.获取父目录
                  pdir=$(cd -P $(dirname $file); pwd)
                  # 6.获取当前文件的名称
                  fname=$(basename $file)
                  ssh $host "mkdir -p $pdir"
                  rsync -av $pdir/$fname $host:$pdir
              else
                  echo $file does not exists!
              fi
          done
      done

    3. 修改脚本 xsync 具有执行权限

      1
      [eitan@hadoop102 ~]$ chmod +x bin/xsync

    4. 测试脚本

      1
      [eitan@hadoop102 ~]$ ./bin/xsync ./bin/xsync

    5. 添加环境变量

      1
      2
      3
      4
      5
      6
      [eitan@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
      #xsync
      export XSYNC_HOME=/home/eitan
      export PATH=$PATH:$XSYNC_HOME/bin

      [eitan@hadoop102 ~]$ source /etc/profile

    6. 同步环境变量配置（root所有者）

      1
      [eitan@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

      注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。

SSH无密登录配置

  1. 生成公钥和私钥

    1
    [eitan@hadoop102 ~]$ ssh-keygen -t rsa

  2. 将公钥拷贝到要免密登录的目标机器上

    1
    2
    3
    [eitan@hadoop102 ~]$ ssh-copy-id hadoop102
    [eitan@hadoop102 ~]$ ssh-copy-id hadoop103
    [eitan@hadoop102 ~]$ ssh-copy-id hadoop104

  3. ~/.ssh 的文件功能解释

    文件 作用
    known_hosts 记录ssh访问过计算机的公钥（public key）
    id_rsa 生成的私钥
    id_rsa.pub 生成的公钥
    authorized_keys 存放授权过的无密登录服务器公钥

集群配置

集群规划部署
  1. NameNode 和 SecondaryNameNode 不要安装在同一台服务器
  2. ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上
hadoop102 hadoop103 hadoop104
HDFS NameNode
DataNode
DataNode		 SecondaryNameNode
DataNode
YARN
NodeManager		 ResourceManager
NodeManager
NodeManager
配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

  1. 默认配置文件

    要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置
    [core-default.xml] hadoop-common-3.3.2.jar/core-default.xml
    [hdfs-default.xml] hadoop-hdfs-3.3.2.jar/hdfs-default.xml
    [yarn-default.xml] hadoop-yarn-common-3.3.2.jar/yarn-default.xml
    [mapred-default.xml] hadoop-mapreduce-client-core-3.3.2.jar/mapred-default.xml

  2. 自定义配置文件

    core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

  3. 配置集群

    核心配置文件 core-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <!-- 指定NameNode的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop102:8020</value>
        </property>

        <!-- 指定hadoop数据的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-3.3.2/data</value>
        </property>

        <!-- 配置HDFS网页登录使用的静态用户为eitan -->
        <property>
            <name>hadoop.http.staticuser.user</name>
            <value>eitan</value>
        </property>
    </configuration>

    HDFS配置文件 hdfs-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <!-- nn web端访问地址-->
        <property>
            <name>dfs.namenode.http-address</name>
            <value>hadoop102:9870</value>
        </property>
    	<!-- 2nn web端访问地址-->
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop104:9868</value>
        </property>
    </configuration>

    YARN配置文件 yarn-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <!-- 指定MR走shuffle -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

        <!-- 指定ResourceManager的地址-->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
        </property>

        <!-- 环境变量的继承 -->
        <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
    </configuration>

    MapReduce配置文件 mapred-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <!-- 指定MapReduce程序运行在Yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    分发到其他节点

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    [eitan@hadoop102 hadoop]$ xsync ../hadoop
    ================ hadoop102 ================
    sending incremental file list

    sent 1,007 bytes  received 18 bytes  683.33 bytes/sec
    total size is 111,939  speedup is 109.21
    ================ hadoop103 ================
    sending incremental file list
    hadoop/
    hadoop/core-site.xml
    hadoop/hdfs-site.xml
    hadoop/mapred-site.xml
    hadoop/yarn-site.xml

    sent 3,628 bytes  received 139 bytes  7,534.00 bytes/sec
    total size is 111,939  speedup is 29.72
    ================ hadoop104 ================
    sending incremental file list
    hadoop/
    hadoop/core-site.xml
    hadoop/hdfs-site.xml
    hadoop/mapred-site.xml
    hadoop/yarn-site.xml

    sent 3,628 bytes  received 139 bytes  7,534.00 bytes/sec
    total size is 111,939  speedup is 29.72

群起集群

配置 workers
1
2
3
4
5
6
[eitan@hadoop102 ~]$ vim /opt/module/hadoop-3.3.2/etc/hadoop/workers
hadoop102
hadoop103
hadoop104
# 同步到其他节点
[eitan@hadoop102 ~]$ xsync /opt/module/hadoop-3.3.2/etc/hadoop/workers
启动集群

  1. 如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

    1
    [eitan@hadoop102 ~]$ hdfs namenode -format

  2. 启动HDFS

    1
    [eitan@hadoop102 hadoop-3.3.2]$ ./sbin/start-dfs.sh

  3. 在配置了ResourceManager的节点（hadoop103）启动YARN

    1
    [eitan@hadoop103 hadoop-3.3.2]$ ./sbin/start-yarn.sh

  4. Web端查看HDFS的NameNode

    1. 浏览器中输入：http://hadoop102:9870
    2. 查看HDFS上存储的数据信息

  5. Web端查看YARN的ResourceManager

    1. 浏览器中输入：http://hadoop103:8088
    2. 查看YARN上运行的Job信息
集群基本测试

  1. 上传文件到集群

    1
    2
    3
    4
    5
    # 创建目录
    [eitan@hadoop102 ~]$ hadoop fs -mkdir /wcinput
    # 上传文件
    [eitan@hadoop102 ~]$ hadoop fs -put ./documents/txt/helloword.txt /wcinput
    [eitan@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

  2. 上传文件后查看文件存放位置

    1
    2
    [eitan@hadoop102 subdir0]$ pwd
    /opt/module/hadoop-3.3.2/data/dfs/data/current/BP-274625420-192.168.203.102-1652060367534/current/finalized/subdir0/subdir0

  3. 拼接

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    [eitan@hadoop102 subdir0]$ ll
    总用量 193800
    -rw-rw-r--. 1 eitan eitan   1888910 5月   9 10:32 blk_1073741825
    -rw-rw-r--. 1 eitan eitan     14767 5月   9 10:32 blk_1073741825_1001.meta
    -rw-rw-r--. 1 eitan eitan 134217728 5月   9 10:35 blk_1073741826
    -rw-rw-r--. 1 eitan eitan   1048583 5月   9 10:35 blk_1073741826_1002.meta
    -rw-rw-r--. 1 eitan eitan  60795424 5月   9 10:35 blk_1073741827
    -rw-rw-r--. 1 eitan eitan    474975 5月   9 10:35 blk_1073741827_1003.meta
    [eitan@hadoop102 subdir0]$ cat blk_1073741826 >> temp.gz.tar
    [eitan@hadoop102 subdir0]$ cat blk_1073741827 >> temp.gz.tar
    [eitan@hadoop102 subdir0]$ tar -zxf temp.gz.tar 
    [eitan@hadoop102 subdir0]$ ll
    总用量 384248
    -rw-rw-r--. 1 eitan eitan   1888910 5月   9 10:32 blk_1073741825
    -rw-rw-r--. 1 eitan eitan     14767 5月   9 10:32 blk_1073741825_1001.meta
    -rw-rw-r--. 1 eitan eitan 134217728 5月   9 10:35 blk_1073741826
    -rw-rw-r--. 1 eitan eitan   1048583 5月   9 10:35 blk_1073741826_1002.meta
    -rw-rw-r--. 1 eitan eitan  60795424 5月   9 10:35 blk_1073741827
    -rw-rw-r--. 1 eitan eitan    474975 5月   9 10:35 blk_1073741827_1003.meta
    drwxr-xr-x. 7 eitan eitan      4096 4月   2 2019 jdk1.8.0_212
    -rw-rw-r--. 1 eitan eitan 195013152 5月   9 10:42 temp.gz.tar

  4. 下载

    1
    [eitan@hadoop104 ~]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

  5. 执行 wordcount 程序

    1
    [eitan@hadoop102 ~]$ hadoop jar /opt/module/hadoop-3.3.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar wordcount /wcinput /wcoutput

配置历史服务器

  1. 配置mapred-site.xml

    1
    [eitan@hadoop102 hadoop-3.3.2]$ vim ./etc/hadoop/mapred-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
       
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>

  2. 分发配置

    1
    [eitan@hadoop102 hadoop-3.3.2]$ xsync ./etc/hadoop/mapred-site.xml

  3. 启动历史服务器

    1
    2
    3
    4
    5
    # 在hadoop103 重启 yarn
    [eitan@hadoop103 hadoop-3.3.2]$ ./sbin/stop-yarn.sh 
    [eitan@hadoop103 hadoop-3.3.2]$ ./sbin/start-yarn.sh
    # 在 hadoop102 启动历史服务器
    [eitan@hadoop102 hadoop-3.3.2]$ mapred --daemon start historyserver

  4. 查看JobHistory

    http://hadoop102:19888/jobhistory

配置日志的聚集

  1. 配置 yarn-site.xml

    1
    [eitan@hadoop102 hadoop-3.3.2]$ vim ./etc/hadoop/yarn-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

  2. 分发配置

    1
    [eitan@hadoop102 hadoop-3.3.2]$ xsync ./etc/hadoop/yarn-site.xml

  3. 重启NodeManager 、ResourceManager和HistoryServer

    1
    2
    3
    4
    5
    6
    # 在 hadoop102 上重启 historyserver
    [eitan@hadoop102 hadoop-3.3.2]$ mapred --daemon stop historyserver
    [eitan@hadoop102 hadoop-3.3.2]$ mapred --daemon start historyserver
    # 在 hadoop103 上重启 yarn
    [eitan@hadoop103 hadoop-3.3.2]$ ./sbin/stop-yarn.sh 
    [eitan@hadoop103 hadoop-3.3.2]$ ./sbin/start-yarn.sh

  4. 删除HDFS上已经存在的输出文件

    1
    [eitan@hadoop102 ~]$ hadoop fs -rm -r /wcoutput

  5. 执行WordCount程序

    1
    [eitan@hadoop102 ~]$ hadoop jar /opt/module/hadoop-3.3.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar wordcount /wcinput /wcoutput

集群启动/停止方式总结

  1. 各个模块分开启动/停止（配置ssh是前提）常用

    1
    2
    3
    4
    # 整体启动/停止HDFS
    start-dfs.sh/stop-dfs.sh
    # 整体启动/停止YARN
    start-yarn.sh/stop-yarn.sh

  2. 各个服务组件逐一启动/停止

    1
    2
    3
    4
    # 分别启动/停止HDFS组件
    hdfs --daemon start/stop namenode/datanode/secondarynamenode
    # 分别启动/停止YARN
    yarn --daemon start/stop  resourcemanager/nodemanager

编写Hadoop集群常用脚本

  1. Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    [eitan@hadoop102 ~]$ vim bin/myhadoop.sh

    #!/bin/bash
    if [ $# -lt 1 ]
    then
        echo "No Args Input..."
        exit;
    fi

    case $1 in
    "start")
        echo "================ 启动 hadooop 集群 ================"
        echo "---------------- 启动 hdfs ----------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.2/sbin/start-dfs.sh"
        echo "---------------- 启动 yarn ----------------"
        ssh hadoop103 "/opt/module/hadoop-3.3.2/sbin/start-yarn.sh"
        echo "---------------- 启动 historyserver ----------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.2/bin/mapred --daemon start historyserver"
    ;;
    "stop")
        echo "================ 关闭 hadooop 集群 ================"
        echo "---------------- 关闭 historyserver ----------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.2/bin/mapred --daemon stop historyserver"
        echo "---------------- 关闭 yarn ----------------"
        ssh hadoop103 "/opt/module/hadoop-3.3.2/sbin/stop-yarn.sh"
        echo "---------------- 关闭 hdfs ----------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.2/sbin/stop-dfs.sh"
    ;;
    *)
        echo "Input Args Errot..."
    ;;
    esac

    [eitan@hadoop102 ~]$ chmod +x bin/myhadoop.sh

  2. 查看三台服务器Java进程脚本：jpsall

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    [eitan@hadoop102 ~]$ vim bin/jpsall.sh

    #!/bin/bash
    for host in hadoop102 hadoop103 hadoop104
    do
        echo "================ $host ================"
        ssh $host jps
    done

    [eitan@hadoop102 ~]$ chmod +x bin/jpsall.sh

  3. 分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

    1
    [eitan@hadoop102 ~]$ xsync ./bin/

时间服务器配置（必须root用户）

  1. 查看所有节点ntpd服务状态和开机自启动状态

    1
    2
    3
    [eitan@hadoop102 ~]$ sudo systemctl status ntpd
    [eitan@hadoop102 ~]$ sudo systemctl start ntpd
    [eitan@hadoop102 ~]$ sudo systemctl is-enabled ntpd

  2. 修改hadoop102的ntp.conf配置文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    [eitan@hadoop102 ~]$ sudo vim /etc/ntp.conf

    # 修改1（授权192.168.203.0-192.168.203.255网段上的所有机器可以从这台机器上查询和同步时间）
    restrict 192.168.203.0 mask 255.255.255.0 nomodify notrap

    # 修改2（集群在局域网中，不使用其他互联网上的时间）
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst

    # 添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10

  3. 修改hadoop102的/etc/sysconfig/ntpd 文件

    1
    2
    3
    4
    [eitan@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

    # 增加内容如下（让硬件时间与系统时间一起同步）
    SYNC_HWCLOCK=yes

  4. 重新启动ntpd服务并设置开机启动

    1
    2
    [eitan@hadoop102 ~]$ sudo systemctl start ntpd
    [eitan@hadoop102 ~]$ sudo systemctl enable ntpd

  5. 其他机器配置（必须root用户）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    # 关闭所有节点上ntp服务和自启动
    [eitan@hadoop103 ~]$ sudo systemctl stop ntpd
    [eitan@hadoop103 ~]$ sudo systemctl disable ntpd
    [eitan@hadoop104 ~]$ sudo systemctl stop ntpd
    [eitan@hadoop104 ~]$ sudo systemctl disable ntpd

    # 在其他机器配置1分钟与时间服务器同步一次
    [eitan@hadoop103 ~]$ sudo crontab -e
    */1 * * * * /usr/sbin/ntpdate hadoop102

    # 修改任意机器时间
    [eitan@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

    # 1分钟后查看机器是否与时间服务器同步
    [eitan@hadoop103 ~]$ sudo date