如下大綱：

1、環境準備1.1 安裝環境

Centos 最小化安裝：各個節點進行：網路配置(Nat 模式且可以共享主機網路)

環境部分，所有節點都要做！！！

-  Master 6G 2C 60G-  Node1 4G 1C 50G-  Node2 4G 1C 50G

1.2 修改IP

# 修改命令vi /etc/sysconfig/network-scripts/ifcfg-ens32 # 內容如下TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=dhcp    --- 動態ipDEFROUTE=yesNAME=ens32DEVICE=ens32ONBOOT=yes       ---自動獲取IPADDR=192.168.6.5NETMASK=255.255.255.0#重啟網路service network restart

1.3 修改主機名

# 命令修改hostnamectl set-hostname Master.hadoophostnamectl set-hostname Node1.hadoophostnamectl set-hostname Node2.hadoop# 修改檔案vi /etc/hosts192.168.6.5 Master.hadoop 192.168.6.6 Node1.hadoop 192.168.6.8 Node2.hadoop

1.4 免密登入

# 生成金鑰ssh-keygen# 免密配置ssh-copy-id -i /root/.ssh/id_rsa.pub Master.hadoopssh-copy-id -i /root/.ssh/id_rsa.pub Node1.hadoopssh-copy-id -i /root/.ssh/id_rsa.pub Node2.hadoop

1.5 防火牆

# 關閉防火牆systemctl disable firewalldsystemctl stop firewall#關閉SELinux臨時關閉，不用重啟機器：setenforce 0修改配置檔案需要重啟機器：vi /etc/sysconfig/selinuxSELINUX=disabled# 檢視SELinux狀態sestatus

1.6 安裝Httpd

#安裝 Apache HTTP 伺服器#安裝HTTP 伺服器，允許 http 服務透過防火牆(永久)[root@Master ~]# yum install httpd[root@Master ~]# firewall-cmd --add-service=http [root@Master ~]# firewall-cmd --permanent --add-service=http新增 Apache 服務到系統層使其隨系統自動啟動[root@Master ~]# systemctl start httpd.service[root@Master ~]# systemctl enable httpd.service

1.7 開啟NTP

# 開啟NTP服務[root@Master ~]#yum install ntp[root@Master ~]#systemctl is-enabled ntpddisabled[root@Master ~]#systemctl enable ntpdCreated symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.[root@Master ~]#systemctl start ntpd

1.8 JDK1.8.1 Master安裝

# 解壓下載壓縮包tar xf jdk-8u144-linux-x64.tar.gz -C /usr/local/# 修改環境變數vi /etc/profileexport JAVA_HOME=/usr/local/jdk1.8.0_144/export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# 重新整理環境source /etc/profile# 檢視java -version

1.8.2 Scp指令碼

同步到 Node1，Node2, 可以到Node....N

# 編寫指令碼如下：vi scp.sh#!/bin/bashcat host | while read hostdo{    scp -r $1 $host:$2}&waitdone# 編寫host 檔案,注意與scp.sh 放到一個路徑下vi hostNode1.hadoopNode2.hadoop利用shell複製 sh scp.sh /usr/local/jdk1.8.0_144/ /usr/local/jdk1.8.0_144/ sh scp.sh /etc/profile /etc/  使環境變數生效（全執行） source /etc/profile

1.9 時區同步

修改完之後記得重啟。 reboot

# 檢視時區datell  /etc/localtime# 修改timedatectl set-timezone 'Asia/Shanghai'timedatectl 

2、Amabri源2.1 新增Amabri使用者

adduser ambaripasswd ambari

2.2 安裝本地源製作工具

yum install yum-utils createrepo

2.3 下載Amabri-HDP源

#本部分小編已經傳到雲盤,如有需要聯絡小編# 建立Amabri資料夾mkdir ambari# 進入資料夾 cd ambari# 將下載的Amabri源放到ambari資料夾中,可以使用FZ 等工具上傳較快# 上傳完成之後,解壓到web服務路徑 tar xf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari/  tar xf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/ tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/# 訪問本地源  更改為自己的 iphttp://192.168.6.5/ambari/

2.4 配置yum源

# 進入yum路徑cd  /etc/yum.repos.d/# 配置Amabri-yum 源 vi ambari.repo  #VERSION_NUMBER=2.6.3.0-235[HDP-2.6.3.0]name=HDP Version - HDP-2.6.3.0baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235gpgcheck=1gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1[HDP-UTILS-1.1.0.21]name=HDP Utils Version - HDP-UTILS-1.1.0.21baseurl=http://192.168.6.5/ambari/HDP-UTILSgpgcheck=1gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1# 配置HDP-repo 源 vi hdp.repo  #VERSION_NUMBER=2.6.3.0-235[HDP-2.6.3.0]name=HDP Version - HDP-2.6.3.0baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235gpgcheck=1gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1[HDP-UTILS-1.1.0.21]name=HDP Utils Version - HDP-UTILS-1.1.0.21baseurl=http://192.168.6.5/ambari/HDP-UTILSgpgcheck=1gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1# yum更新一下 yum clean all yum list update yum makecache yum repolist

2.5 安裝Mysql

# yum安裝yum install mariadb-server# 啟動 systemctl start mariadb systemctl enable mariadb mysql_secure_installation  [root@Master ~]# mysql_secure_installation#首先是設定密碼，會提示先輸入密碼Enter current password for root (enter for none):<–初次執行直接回車#設定密碼Set root password? [Y/n] <– 是否設定root使用者密碼，輸入y並回車或直接回車New password: <– 設定root使用者的密碼Re-enter new password: <– 再輸入一次你設定的密碼#其他配置Remove anonymous users? [Y/n] <– 是否刪除匿名使用者，回車Disallow root login remotely? [Y/n] <–是否禁止root遠端登入,回車,Remove test database and access to it? [Y/n] <– 是否刪除test資料庫，回車Reload privilege tables now? [Y/n] <– 是否重新載入許可權表，回車#初始化MariaDB完成，接下來測試登入，輸入密碼能正常登陸就完成了  # 安裝完成後建立ambari資料庫及使用者，登入資料庫root使用者執行下面語句：[root@Master ~]# mysql -uroot -pcreate database ambari character set utf8 ;  CREATE USER 'ambari'@'%'IDENTIFIED BY '123456';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';FLUSH PRIVILEGES;# 如果要安裝Hive，再建立Hive資料庫和使用者 再執行下面的語句：create database hive character set utf8 ;  CREATE USER 'hive'@'%'IDENTIFIED BY '123456';GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';FLUSH PRIVILEGES;# 如果要安裝Oozie，再建立Oozie資料庫和使用者 再執行下面的語句：create database oozie character set utf8 ;  CREATE USER 'oozie'@'%'IDENTIFIED BY '123456';GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';FLUSH PRIVILEGES;

2.6 安裝Mysql驅動

# 也可以自己下載 配置啟動的時候帶上yum install mysql-connector-java

2.7 安裝Amabri服務

# 安裝ambari服務yum install ambari-server# 配置ambari服務 ambari-server setup  # 登入mysql mysql -u ambari -p123456  # 進行設定 use ambari; source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;# 啟動ambari服務ambari-server start

2.8 解除安裝Amabri收費服務

SmartSense 收費服務，移除掉。也可以安裝後再移除,這裡在安裝前移除下。

移除前景移除方式

# 查包rpm -qa | greo ambri-agent#查詢 名稱find / -name SMARTSENSE[root@master yum.repos.d]# find / -name SMARTSENSE/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE[root@master yum.repos.d]# find / -name SMARTSENSE | xargs/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE[root@master yum.repos.d]# rm -rf /var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE[root@master yum.repos.d]# find / -name SMARTSENSE | xargs/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE[root@master yum.repos.d]# rm -rf /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE[root@master yum.repos.d]# find / -name SMARTSENSE | xargs

移除完成3、搭建叢集3.1 啟動Amabri

ambari-server start

3.2 登入Amabri

# 可以替換為自己的伺服器iphttp://192.168.6.5:8080/#/login# 賬號admin/admin

3.3 配置叢集3.3.1 開始配置3.3.2 設定名稱3.3.3 配置本地源

Amabri 地址：

http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/http://192.168.6.5/ambari/HDP-UTILS/

跟本地源要保持一致：

3.3.4 主機名稱

與上邊設定保持一致,否則會導致下一步註冊失敗。

金鑰檔案填寫Master 上的key即可。

# 檢視Key 命令，然後全部複製，貼上即可cat /root/.ssh/id_rsa

3.3.5 註冊認證3.3.6 選擇安裝服務3.3.7 配置安裝節點資源3.3.8 配置資料來源連線

Hive-TEZ 最少需要 512MB 否則警告。

安裝中.........

3.3.9 安裝完成

Hive 服務啟動異常,重新啟動下即可。

第一次啟動如下：

4、初步認識4.1 HDFS

Master 主節點 檢視Hdfs

Node1 從節點，檢視HDFS

4.2 Hive

Node1 從節點，切換hive 使用者，登入hive資料庫。

4.3 Hbase4.4 Spark4.5 PySpark4.6 Amabri_Server