一、Yarn基本結構

Hadoop三大核心元件：分散式檔案系統HDFS、分散式計算框架MapReduce，分散式叢集資源排程框架Yarn。Yarn並不是在Hadoop初期就有的，是在Hadoop升級發展才誕生的，典型的Master-Slave架構。

Yarn包括兩個主要程序：資源管理器Resource-Manager，節點管理器Node-Manager。

資源管理器

通常部署在獨立的伺服器，處理客戶端請求；處理叢集中的資源分配和排程管理；

節點管理器

管理當前節點上的資源；執行處理各種具體的命令；監視節點資源情況，並上報資源管理器；

ApplicationMaster

提供容錯能力，切割資料；給應用程式申請資源並分配任務；

Container

Yarn中的一個動態資源分配的概念；容器包含了一定量的記憶體、CPU等計算資源；由NodeManager程序啟動和管理；二、基本執行流程 向Yarn提交MapReduce應用程式程式進行排程；RM元件返回資源提交路徑和ApplicationId;RM程序NM程序通訊，根據叢集資源分配容器；將MRAppMaster分發到上面分配的容器上面；執行所需資源提交到HDFS上申請執行MRAppMaster；RM經過上述操作把客戶端請求轉換為Task任務；容器中執行的就是Map或者Reduce任務；任務在執行期間和MRAppMaster通訊上報狀態；任務執行結束後進程登出並且釋放容器資源；

MapReduce應用開發遵循Yarn規範的MapReduceApplicationMaster，所以可以在Yarn上執行，其它計算框架如果也遵守該規範，這樣就實現資源的統一排程管理。

三、資源排程器

排程器的基本作用就是根據節點資源的使用情況和作業需求，將任務排程到各個節點上執行。單理解任務佇列的話關鍵的因素有如下幾個：進出方式，優先順序，容量等。

Hadoop作業排程器主要有三種：FIFO、CapacityScheduler和FairScheduler，預設的資源排程器是CapacityScheduler。

先進先出排程器

FIFO一種批處理排程器，排程策略先按照作業的優先順序高低，再按照到達時間的先後選擇被執行的作業。

容量排程器

CapacityScheduler支援多個佇列，每個佇列可配置一定的資源量，每個佇列採用FIFO排程策略，計算佇列中正在執行的任務書和計算資源的比值，選中比值小相對空閒的佇列，然後安裝作業優先順序和提交時間的排序。為了防止同一個使用者的作業獨佔佇列中的資源，該排程器會對同一使用者提交的作業所佔資源量進行限定。

例如上面圖例，假設100個slot分為三個佇列(ABC)，按照如下分配規則：佇列A給20%的資源，佇列B給50%的資源，佇列C給30%的資源；三個佇列都按照任務的先後順序依次執行，上面的job11、job21、job31是最先執行，也是並行執行。

公平排程器

和容量排程器原理類似，支援多佇列多使用者，每個佇列中的資源量可以配置，同一佇列中的作業公平共享佇列中所有資源。

比如有三個佇列(ABC)，每個佇列中的job按照優先順序分配資源，優先順序越高分配的資源越多，但是每個job都會分配到資源以確保公平。在資源有限的情況下，每個job理想情況下獲得的計算資源與實際獲得的計算資源存在一種差距,，這個差距就叫做缺額。在同一個佇列中，job的資源缺額越大，越先獲得資源優先執行，作業是按照缺額的高低來先後執行的。