1. 項(xiàng)目緣起為什么我們需要一個(gè)集群管理工具如果你和我一樣從幾臺(tái)服務(wù)器的手工運(yùn)維逐步過(guò)渡到管理一個(gè)由幾十甚至上百臺(tái)節(jié)點(diǎn)組成的大數(shù)據(jù)集群那你一定經(jīng)歷過(guò)那種“痛并快樂(lè)著”的混亂期。快樂(lè)的是業(yè)務(wù)在增長(zhǎng)技術(shù)棧在豐富痛的是今天Hadoop的某個(gè)DataNode掛了明天Spark的History Server配置要同步更新后天又得給新加的機(jī)器部署一整套Hive、HBase、ZooKeeper……每個(gè)組件的安裝、配置、啟動(dòng)、監(jiān)控、升級(jí)都是一場(chǎng)手動(dòng)操作的“災(zāi)難”。配置文件散落在各個(gè)節(jié)點(diǎn)版本不一致、服務(wù)狀態(tài)不透明、故障排查像大海撈針。這就是Ambari誕生的背景。它不是某個(gè)具體的計(jì)算或存儲(chǔ)引擎而是一個(gè)集群的“總控臺(tái)”和“自動(dòng)化運(yùn)維管家”。簡(jiǎn)單來(lái)說(shuō)Ambari讓你能通過(guò)一個(gè)Web界面像搭積木一樣可視化地部署、管理和監(jiān)控一個(gè)完整的Hadoop生態(tài)集群HDFS, YARN, Hive, HBase, Spark, Kafka等。它幫你把那些繁瑣、重復(fù)且容易出錯(cuò)的命令行操作封裝成了可編排、可監(jiān)控的自動(dòng)化流程。我最初接觸Ambari是因?yàn)閳F(tuán)隊(duì)要統(tǒng)一管理一個(gè)混合了CDH和HDP兩個(gè)主要的Hadoop發(fā)行版遺留服務(wù)的環(huán)境手動(dòng)維護(hù)的成本已經(jīng)高到無(wú)法忍受。經(jīng)過(guò)一番選型Ambari因其開(kāi)源、與HDP/社區(qū)版Hadoop集成度最高、且提供了完整的REST API便于二次開(kāi)發(fā)而勝出。這次部署經(jīng)歷從環(huán)境準(zhǔn)備、踩坑排錯(cuò)到最終穩(wěn)定運(yùn)行積累了不少一線(xiàn)經(jīng)驗(yàn)。這篇內(nèi)容我就把Ambari的安裝部署過(guò)程掰開(kāi)揉碎了講清楚目標(biāo)不僅是讓你“照著做能成功”更要讓你明白每一步背后的邏輯以及如何避開(kāi)我當(dāng)年踩過(guò)的那些“坑”。2. 部署全景圖理解Ambari的架構(gòu)與核心組件在動(dòng)手安裝之前我們必須先搞清楚Ambari到底由哪些部分組成它們之間如何協(xié)作。這就像蓋房子先看藍(lán)圖能避免很多“裝到一半發(fā)現(xiàn)少根梁”的尷尬。Ambari采用經(jīng)典的主從Server-Agent架構(gòu)Ambari Server這是大腦和指揮中心。它負(fù)責(zé)提供Web UI和REST API接收用戶(hù)的所有操作指令。存儲(chǔ)集群的藍(lán)圖Blueprints、配置、服務(wù)狀態(tài)等元數(shù)據(jù)到數(shù)據(jù)庫(kù)如PostgreSQL/MySQL。將用戶(hù)指令如“安裝HDFS”解析成具體的執(zhí)行命令棧Command Stack下發(fā)給對(duì)應(yīng)的Ambari Agent去執(zhí)行。管理整個(gè)集群的生命周期安裝、配置、啟動(dòng)、停止、升級(jí)。Ambari Agent這是分布在集群每臺(tái)機(jī)器包括Server本身上的“手腳”。它負(fù)責(zé)與Ambari Server保持心跳通信上報(bào)主機(jī)狀態(tài)CPU、內(nèi)存、磁盤(pán)等。接收并執(zhí)行來(lái)自Server的具體命令如執(zhí)行一個(gè)安裝腳本、修改一個(gè)配置文件。監(jiān)控本機(jī)上運(yùn)行的各服務(wù)進(jìn)程的狀態(tài)。數(shù)據(jù)庫(kù)Ambari Server的大腦需要外部存儲(chǔ)來(lái)記憶一切。通常使用PostgreSQL或MySQL。它存儲(chǔ)了集群拓?fù)?、配置歷史、用戶(hù)權(quán)限等關(guān)鍵信息。重要提示生產(chǎn)環(huán)境強(qiáng)烈建議將此數(shù)據(jù)庫(kù)部署在Ambari Server之外的一臺(tái)獨(dú)立、高可用的數(shù)據(jù)庫(kù)服務(wù)器上。公共倉(cāng)庫(kù)Repository這是軟件包的“超市”。Ambari本身不包含Hadoop等服務(wù)的安裝包它需要知道去哪里下載這些RPM或DEB包。你需要提前配置好這些倉(cāng)庫(kù)的YUM或APT源地址?？梢允腔ヂ?lián)網(wǎng)官方源、本地搭建的鏡像源或者商業(yè)發(fā)行版提供的內(nèi)部源。它們之間的關(guān)系可以想象成一個(gè)建筑公司Ambari Server接到一個(gè)蓋樓部署HDFS的項(xiàng)目。公司有設(shè)計(jì)圖數(shù)據(jù)庫(kù)項(xiàng)目經(jīng)理Web UI下達(dá)指令工頭Ambari Agent們?cè)诟鱾€(gè)工地集群節(jié)點(diǎn)上根據(jù)公司提供的材料清單公共倉(cāng)庫(kù)和施工手冊(cè)執(zhí)行命令協(xié)同完成蓋樓任務(wù)。2.1 環(huán)境準(zhǔn)備清單兵馬未動(dòng)糧草先行基于以上架構(gòu)我們的部署準(zhǔn)備工作必須細(xì)致。以下清單適用于大多數(shù)CentOS 7/RHEL 7或同類(lèi)系統(tǒng)我將以3個(gè)節(jié)點(diǎn)的最小集群為例1個(gè)Server2個(gè)Agent。硬件與網(wǎng)絡(luò)要求所有節(jié)點(diǎn)至少4GB RAM2核CPU20GB可用磁盤(pán)空間/var目錄需要額外空間用于存儲(chǔ)日志和臨時(shí)包。網(wǎng)絡(luò)所有節(jié)點(diǎn)必須在同一局域網(wǎng)主機(jī)名可相互解析且防火墻和SELinux是初期最大的攔路虎必須妥善處理。系統(tǒng)環(huán)境準(zhǔn)備在所有節(jié)點(diǎn)上執(zhí)行主機(jī)名與Hosts文件# 在主節(jié)點(diǎn)未來(lái)安裝Ambari Server的機(jī)器上設(shè)置永久主機(jī)名 hostnamectl set-hostname ambari-server.mycluster.com # 編輯所有節(jié)點(diǎn)的 /etc/hosts 文件確保包含所有集群節(jié)點(diǎn)的IP和主機(jī)名映射 # 例如 # 192.168.1.101 ambari-server.mycluster.com # 192.168.1.102 agent-01.mycluster.com # 192.168.1.103 agent-02.mycluster.com關(guān)鍵經(jīng)驗(yàn)務(wù)必使用FQDN完全限定域名如hostname.domain格式。很多服務(wù)特別是Kerberos和安全組件對(duì)主機(jī)名非常敏感短主機(jī)名可能導(dǎo)致后續(xù)服務(wù)注冊(cè)失敗。執(zhí)行hostname -f確認(rèn)返回的是FQDN。SSH免密登錄 Ambari Server需要能通過(guò)SSH免密登錄到所有Agent節(jié)點(diǎn)包括自己以便推送Agent安裝包和執(zhí)行命令。# 在Ambari Server節(jié)點(diǎn)上生成密鑰對(duì)如果已有可跳過(guò) ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 將公鑰分發(fā)到所有節(jié)點(diǎn)包括自己 ssh-copy-id ambari-server.mycluster.com ssh-copy-id agent-01.mycluster.com ssh-copy-id agent-02.mycluster.com # 測(cè)試免密登錄是否成功 ssh agent-01.mycluster.com hostname關(guān)閉防火墻與SELinux僅用于測(cè)試/內(nèi)網(wǎng)環(huán)境生產(chǎn)環(huán)境需配置安全策略# 關(guān)閉防火墻 systemctl stop firewalld systemctl disable firewalld # 關(guān)閉SELinux需重啟生效 setenforce 0 sed -i s/^SELINUXenforcing/SELINUXdisabled/ /etc/selinux/config踩坑實(shí)錄初期為了簡(jiǎn)化通常先關(guān)閉。但在生產(chǎn)環(huán)境中這是一個(gè)必須重新打開(kāi)的步驟。你需要為Ambari Server端口8080、Agent與Server通信默認(rèn)8440/tcp, 8441/tcp、以及各Hadoop服務(wù)端口如8088, 50070, 2181等配置精細(xì)的防火墻規(guī)則。SELinux也需要根據(jù)各服務(wù)進(jìn)程的需求設(shè)置合適的布爾值或文件上下文。建議在部署穩(wěn)定后作為專(zhuān)項(xiàng)進(jìn)行安全加固。安裝基礎(chǔ)工具與配置時(shí)間同步y(tǒng)um install -y wget curl vim net-tools ntp systemctl start ntpd systemctl enable ntpd集群時(shí)間必須同步否則會(huì)導(dǎo)致服務(wù)注冊(cè)、心跳超時(shí)等詭異問(wèn)題。配置軟件倉(cāng)庫(kù) 我們需要為Ambari本身和HDP/CDH堆棧配置YUM源。這里以使用HDP倉(cāng)庫(kù)為例。# 下載Ambari倉(cāng)庫(kù)文件 wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.6.0/ambari.repo # 下載HDP倉(cāng)庫(kù)文件版本需與Ambari兼容例如Ambari 2.7.6通常配HDP 3.1 wget -O /etc/yum.repos.d/hdp.repo http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.5.0/hdp.repo # 清空并重建YUM緩存 yum clean all yum makecache重要選擇如果網(wǎng)絡(luò)條件不佳或需要離線(xiàn)部署你必須自行搭建本地鏡像倉(cāng)庫(kù)?？梢允褂胷eposync工具將互聯(lián)網(wǎng)倉(cāng)庫(kù)同步到本地HTTP服務(wù)器如Nginx目錄下然后修改所有節(jié)點(diǎn)的.repo文件指向本地地址。這是生產(chǎn)部署的標(biāo)配能極大提升安裝速度和穩(wěn)定性。3. 核心戰(zhàn)役Ambari Server的安裝與初始化環(huán)境準(zhǔn)備就緒后我們首先攻克指揮中心——Ambari Server。3.1 安裝數(shù)據(jù)庫(kù)如前所述我們需要一個(gè)數(shù)據(jù)庫(kù)。這里選擇常用的PostgreSQL。# 在Ambari Server節(jié)點(diǎn)上安裝PostgreSQL yum install -y postgresql-server postgresql-contrib # 初始化數(shù)據(jù)庫(kù) postgresql-setup initdb # 啟動(dòng)并設(shè)置開(kāi)機(jī)自啟 systemctl start postgresql systemctl enable postgresql接下來(lái)我們需要為Ambari創(chuàng)建專(zhuān)用的數(shù)據(jù)庫(kù)和用戶(hù)。# 切換到postgres用戶(hù) su - postgres # 進(jìn)入psql命令行 psql在psql命令行中執(zhí)行-- 創(chuàng)建ambari用戶(hù)和數(shù)據(jù)庫(kù)請(qǐng)?zhí)鎿Q‘a(chǎn)mbari_password’為強(qiáng)密碼 CREATE USER ambari WITH PASSWORD ambari_password; CREATE DATABASE ambari OWNER ambari ENCODING UTF8; -- 退出 \q exit然后需要配置PostgreSQL允許本地密碼認(rèn)證。編輯/var/lib/pgsql/data/pg_hba.conf找到local和host行將ident或peer認(rèn)證方法改為md5。# 將 local all all peer host all all 127.0.0.1/32 ident # 改為 local all all md5 host all all 127.0.0.1/32 md5重啟PostgreSQL服務(wù)systemctl restart postgresql。3.2 安裝與配置Ambari Server現(xiàn)在安裝Ambari Server軟件包。yum install -y ambari-server安裝完成后不要急著啟動(dòng)先運(yùn)行配置向?qū)?。這個(gè)交互式腳本會(huì)引導(dǎo)我們完成最關(guān)鍵的一步將Ambari Server連接到我們剛創(chuàng)建的數(shù)據(jù)庫(kù)并做一系列系統(tǒng)檢查。ambari-server setup這個(gè)腳本會(huì)問(wèn)一系列問(wèn)題以下是我的選擇和建議Customize user account for ambari-server daemon默認(rèn)root生產(chǎn)環(huán)境建議創(chuàng)建專(zhuān)用用戶(hù)如ambari。檢查JDK提供JDK路徑。你可以選擇[1]讓Ambari自動(dòng)安裝Oracle JDK或[3]使用已安裝的JDK。注意自動(dòng)安裝可能需要你手動(dòng)接受Oracle許可協(xié)議。Enter advanced database configuration選擇[y]我們要配置自己的PostgreSQL。Database type選擇postgres。Hostnamelocalhost因?yàn)閿?shù)據(jù)庫(kù)在本機(jī)。Port5432。Database nameambari。Usernameambari。Password輸入之前設(shè)置的ambari_password。后續(xù)關(guān)于數(shù)據(jù)庫(kù)驅(qū)動(dòng)的下載和配置一般選擇y同意即可。配置腳本還會(huì)檢查防火墻、SELinux等如果之前沒(méi)處理好這里會(huì)報(bào)警告。3.3 初始化Ambari數(shù)據(jù)庫(kù)并啟動(dòng)服務(wù)配置向?qū)瓿珊笮枰獙mbari所需的表結(jié)構(gòu)導(dǎo)入到數(shù)據(jù)庫(kù)中。# 使用Ambari提供的SQL腳本初始化數(shù)據(jù)庫(kù) ambari-server setup --jdbc-dbpostgres --jdbc-driver/usr/share/java/postgresql-jdbc.jar注意--jdbc-driver路徑可能因PostgreSQL版本而異如果報(bào)錯(cuò)找不到用find / -name “postgresql*.jar”命令查找。最后啟動(dòng)Ambari Server服務(wù)。ambari-server start用ambari-server status檢查狀態(tài)看到Ambari Server running即表示成功。此時(shí)你可以打開(kāi)瀏覽器訪問(wèn)http://ambari-server-host:8080。默認(rèn)用戶(hù)名密碼是admin/admin。4. 集群藍(lán)圖繪制通過(guò)Web UI部署Hadoop服務(wù)登錄Ambari Web UI后一個(gè)嶄新的世界打開(kāi)了。但先別急著點(diǎn)“Launch Install Wizard”我們還有關(guān)鍵一步配置倉(cāng)庫(kù)源。4.1 配置HDP堆棧倉(cāng)庫(kù)在首頁(yè)點(diǎn)擊“Manage Ambari”進(jìn)入“Versions”標(biāo)簽頁(yè)。這里需要告訴AmbariHDP的安裝包從哪里獲取。你需要填寫(xiě)之前配置在hdp.repo中的Base URL。例如HDP-3.1: http://your-repo-server/hdp/HDP/centos7/3.1.5.0-152 HDP-UTILS-1.1.0.22: http://your-repo-server/hdp/HDP-UTILS/centos7/1.1.0.22這里是我踩過(guò)的一個(gè)大坑如果使用本地鏡像HDP和HDP-UTILS的路徑必須精確匹配倉(cāng)庫(kù)的實(shí)際目錄結(jié)構(gòu)并且要能通過(guò)HTTP直接訪問(wèn)到repodata目錄。你可以用curl命令先測(cè)試一下URL是否可達(dá)。4.2 啟動(dòng)安裝向?qū)Р⒆?cè)主機(jī)點(diǎn)擊“Launch Install Wizard”。設(shè)置集群名稱(chēng)起個(gè)有意義的名字如My-Hadoop-Prod。選擇Stack版本選擇與你倉(cāng)庫(kù)匹配的HDP版本如HDP 3.1。安裝選項(xiàng)這是核心步驟。Target Hosts在這里列出你所有Agent節(jié)點(diǎn)包括Server節(jié)點(diǎn)自身的FQDN每行一個(gè)。例如ambari-server.mycluster.com agent-01.mycluster.com agent-02.mycluster.comHost Registration Information選擇“Provide your SSH Private Key”并將Ambari Server上~/.ssh/id_rsa文件的內(nèi)容私鑰粘貼進(jìn)去。Ambari Server會(huì)用這個(gè)私鑰去登錄各主機(jī)推送Ambari Agent安裝包并執(zhí)行安裝。SSH User Account填寫(xiě)擁有sudo權(quán)限的用戶(hù)通常是root。確認(rèn)主機(jī)Ambari會(huì)嘗試通過(guò)SSH連接到列表中的主機(jī)并推送Agent。如果一切順利主機(jī)名解析、SSH免密、防火墻關(guān)閉所有主機(jī)都會(huì)顯示為“Successfully registered”。如果失敗請(qǐng)根據(jù)錯(cuò)誤信息如連接超時(shí)、認(rèn)證失敗回頭檢查SSH配置和網(wǎng)絡(luò)。4.3 選擇服務(wù)與分配主從角色主機(jī)注冊(cè)成功后進(jìn)入服務(wù)選擇頁(yè)面。這里會(huì)列出HDP支持的所有服務(wù)如HDFS, YARN, MapReduce2, Hive, HBase, ZooKeeper, Spark2等。對(duì)于初學(xué)者可以選擇一個(gè)最小集例如HDFS, YARN, MapReduce2, ZooKeeper。選擇服務(wù)后進(jìn)入Assign Masters頁(yè)面。這里需要為每個(gè)服務(wù)分配“Master”節(jié)點(diǎn)即運(yùn)行核心管理進(jìn)程的節(jié)點(diǎn)。NameNode, ResourceManager, History Server通常分配給配置較高、更穩(wěn)定的節(jié)點(diǎn)比如ambari-server.mycluster.com。Secondary NameNode分配給另一個(gè)節(jié)點(diǎn)以實(shí)現(xiàn)基礎(chǔ)的高可用非聯(lián)邦模式。ZooKeeper Server必須部署在奇數(shù)個(gè)節(jié)點(diǎn)上如135。對(duì)于3節(jié)點(diǎn)集群可以全選。ZooKeeper集群能提供協(xié)調(diào)服務(wù)為后續(xù)HDFS HA、YARN HA等打下基礎(chǔ)。規(guī)劃心得角色分配需要結(jié)合硬件資源。NameNode和ResourceManager是資源消耗大戶(hù)應(yīng)避免部署在同一臺(tái)低配機(jī)器上。ZooKeeper對(duì)磁盤(pán)I/O和網(wǎng)絡(luò)延遲敏感應(yīng)部署在性能穩(wěn)定、網(wǎng)絡(luò)延遲低的節(jié)點(diǎn)。4.4 分配Slaves與Clients接下來(lái)是Assign Slaves and Clients。Slaves指真正干活的節(jié)點(diǎn)。例如HDFS的DataNode和YARN的NodeManager通常分配給所有從節(jié)點(diǎn)agent-01,agent-02讓它們承擔(dān)計(jì)算和存儲(chǔ)任務(wù)。Clients指安裝了服務(wù)客戶(hù)端工具如hdfs命令、hive客戶(hù)端的節(jié)點(diǎn)。通?？梢匀x方便在任何節(jié)點(diǎn)上執(zhí)行管理命令。4.5 定制配置與最終部署這是安裝前最后的配置檢查與微調(diào)環(huán)節(jié)。Ambari會(huì)為每個(gè)服務(wù)生成一套默認(rèn)配置。你需要重點(diǎn)關(guān)注HDFSdfs.namenode.name.dirNameNode元數(shù)據(jù)存儲(chǔ)路徑。務(wù)必指向一個(gè)足夠大且可靠的磁盤(pán)最好是多個(gè)路徑用逗號(hào)分隔做冗余。dfs.datanode.data.dirDataNode數(shù)據(jù)塊存儲(chǔ)路徑。同樣指定多個(gè)磁盤(pán)目錄可以提升I/O性能和數(shù)據(jù)可靠性。YARNyarn.nodemanager.resource.memory-mb每個(gè)NodeManager可用的物理內(nèi)存總量。根據(jù)機(jī)器實(shí)際內(nèi)存設(shè)置要預(yù)留一部分給操作系統(tǒng)和其他服務(wù)。yarn.scheduler.minimum-allocation-mb單個(gè)容器的最小內(nèi)存申請(qǐng)。根據(jù)業(yè)務(wù)需求調(diào)整。所有服務(wù)檢查涉及主機(jī)名、端口號(hào)的配置確保它們使用的是FQDN且端口未被占用。配置完成后Ambari會(huì)給你一個(gè)最終的Review頁(yè)面列出所有將要安裝的服務(wù)和配置變更。確認(rèn)無(wú)誤后點(diǎn)擊“Deploy”大幕正式拉開(kāi)。Ambari會(huì)開(kāi)始一個(gè)漫長(zhǎng)的自動(dòng)化安裝過(guò)程。你可以在屏幕上實(shí)時(shí)看到每個(gè)步驟的進(jìn)度和日志。這個(gè)過(guò)程會(huì)在所有相關(guān)節(jié)點(diǎn)上安裝服務(wù)所需的RPM包。根據(jù)你的配置生成并分發(fā)最終的配置文件如hdfs-site.xml,yarn-site.xml。按依賴(lài)順序初始化并啟動(dòng)各個(gè)服務(wù)。這個(gè)過(guò)程可能遇到網(wǎng)絡(luò)超時(shí)、包依賴(lài)錯(cuò)誤等問(wèn)題。如果失敗不要慌。Ambari的UI會(huì)明確指示在哪一步、哪個(gè)節(jié)點(diǎn)上失敗了。點(diǎn)擊失敗步驟的日志鏈接查看具體的錯(cuò)誤信息。常見(jiàn)問(wèn)題包括倉(cāng)庫(kù)連接失敗檢查hdp.repo配置用yum list命令在對(duì)應(yīng)節(jié)點(diǎn)上手動(dòng)測(cè)試。磁盤(pán)空間不足檢查/var目錄空間。權(quán)限問(wèn)題確保Ambari Agent進(jìn)程有權(quán)限寫(xiě)入配置的日志和數(shù)據(jù)目錄。5. 安裝后的關(guān)鍵配置與驗(yàn)證當(dāng)所有服務(wù)都顯示綠色對(duì)勾恭喜你集群部署成功了但工作還沒(méi)完以下幾個(gè)步驟至關(guān)重要。5.1 基礎(chǔ)功能驗(yàn)證HDFS驗(yàn)證# 在任意安裝了HDFS客戶(hù)端的節(jié)點(diǎn)上 sudo -u hdfs hdfs dfs -mkdir /test sudo -u hdfs hdfs dfs -put /etc/hosts /test sudo -u hdfs hdfs dfs -ls /test檢查文件是否成功上傳并通過(guò)Ambari的HDFS Summary頁(yè)面查看存儲(chǔ)空間使用情況。YARN驗(yàn)證 運(yùn)行一個(gè)簡(jiǎn)單的MapReduce作業(yè)如計(jì)算圓周率的例子來(lái)測(cè)試YARN。# 在ResourceManager節(jié)點(diǎn)或客戶(hù)端節(jié)點(diǎn) yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar pi 2 10在Ambari的YARN UI通常通過(guò)ResourceManager的8088端口訪問(wèn)中你應(yīng)該能看到這個(gè)應(yīng)用在運(yùn)行并最終成功。5.2 配置警報(bào)與監(jiān)控Ambari內(nèi)置了強(qiáng)大的監(jiān)控和警報(bào)系統(tǒng)。你需要檢查監(jiān)控指標(biāo)在服務(wù)頁(yè)面查看各服務(wù)的關(guān)鍵指標(biāo)是否正常收集如HDFS的剩余空間、YARN的可用容器數(shù)。配置警報(bào)進(jìn)入“Alerts”頁(yè)面Ambari預(yù)定義了許多警報(bào)如DataNode宕機(jī)、磁盤(pán)空間不足。確保這些警報(bào)的通知郵箱或SNMP陷阱地址已正確配置。這是保障集群7x24小時(shí)穩(wěn)定運(yùn)行的生命線(xiàn)。5.3 性能與安全調(diào)優(yōu)進(jìn)階部署完成只是開(kāi)始要讓集群高效、安全地運(yùn)行還需要調(diào)優(yōu)。性能調(diào)優(yōu)JVM堆大小對(duì)于NameNode、ResourceManager等內(nèi)存消耗大的服務(wù)在Ambari的配置頁(yè)面中調(diào)整-Xmx和-Xms參數(shù)。原則是給足但不要超過(guò)物理內(nèi)存的70%并考慮系統(tǒng)緩存需求。HDFS塊大小與副本數(shù)根據(jù)文件平均大小和可靠性要求調(diào)整dfs.blocksize默認(rèn)128MB和dfs.replication默認(rèn)3。對(duì)于海量小文件可以考慮啟用HDFS的歸檔功能或使用SequenceFile格式。YARN調(diào)度器根據(jù)業(yè)務(wù)類(lèi)型批處理/交互式選擇合適的調(diào)度器Capacity Scheduler / Fair Scheduler并細(xì)致配置隊(duì)列資源。安全加固啟用Kerberos這是生產(chǎn)環(huán)境的強(qiáng)制要求。Ambari提供了向?qū)?lái)集成Kerberos KDC自動(dòng)化生成keytab和配置服務(wù)主體。這個(gè)過(guò)程復(fù)雜但必要能防止未授權(quán)訪問(wèn)。啟用Ranger用于統(tǒng)一的授權(quán)、審計(jì)和數(shù)據(jù)安全管理?？梢酝ㄟ^(guò)Ambari進(jìn)行安裝和配置。重新打開(kāi)防火墻如前所述與安全團(tuán)隊(duì)協(xié)作制定嚴(yán)格的端口開(kāi)放策略只允許必要的網(wǎng)絡(luò)訪問(wèn)。5.4 日常運(yùn)維與故障排查最后分享幾個(gè)日常運(yùn)維中的高頻操作和排錯(cuò)思路添加新節(jié)點(diǎn)在Ambari Web UI的“Hosts”頁(yè)面點(diǎn)擊“Add New Hosts”流程與初始安裝類(lèi)似但更簡(jiǎn)單通常只需在新節(jié)點(diǎn)上安裝Agent并加入集群然后通過(guò)UI將服務(wù)如DataNode, NodeManager分配到新節(jié)點(diǎn)上。服務(wù)重啟與滾動(dòng)重啟對(duì)于配置變更通常需要重啟服務(wù)。Ambari提供了“Restart All”和“Rolling Restart”選項(xiàng)。滾動(dòng)重啟對(duì)業(yè)務(wù)影響最小它會(huì)逐個(gè)節(jié)點(diǎn)重啟服務(wù)實(shí)例保證服務(wù)整體可用。查看日志所有服務(wù)的日志都集中在/var/log目錄下按服務(wù)名和組件名組織。Ambari UI也集成了日志查看器可以方便地搜索和過(guò)濾。排錯(cuò)第一法則看日志特別是啟動(dòng)失敗時(shí)查看對(duì)應(yīng)組件*.log和*.out文件尾部的錯(cuò)誤信息。備份Ambari數(shù)據(jù)庫(kù)這是你的集群“大腦”的備份。定期使用pg_dump備份PostgreSQL中的ambari數(shù)據(jù)庫(kù)。在Ambari Server災(zāi)難恢復(fù)時(shí)這是重建集群元數(shù)據(jù)的唯一依據(jù)。Ambari的部署就像為你的大數(shù)據(jù)艦隊(duì)安裝了一套先進(jìn)的自動(dòng)駕駛和指揮系統(tǒng)。初期投入的安裝和配置時(shí)間會(huì)在日后成百上千倍的運(yùn)維效率提升中得到回報(bào)。從手動(dòng)敲命令到Web界面點(diǎn)選從配置散落到集中管理這種體驗(yàn)的提升是革命性的。希望這篇超詳細(xì)的指南能幫你順利搭建起自己的大數(shù)據(jù)運(yùn)維堡壘把更多精力投入到更有價(jià)值的業(yè)務(wù)開(kāi)發(fā)和數(shù)據(jù)挖掘中去。如果在部署中遇到任何具體問(wèn)題記住三板斧查日志、看文檔、善用社區(qū)。