​​​​​​​​​​​​​​​​​​​​​​​​​摘要：BlockManager是 spark 中至關重要的一個元件，在spark的執行過程中到處都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和機制，你才能更加深入的理解 spark。

BlockManager是什麼？

BlockManager的作用？我理解是負責做RDD的儲存，如何存下來給後續任務去使用。

其內部模組圖如下：

圖中看到有個memoryStore和DiskStore，說明把block做儲存時，有記憶體和磁碟2種方式，儲存後就都i透過這個Store去管理。儲存時以Block為單位，所以會有個對映用的陣列有一個負責和Driver的BlockManagerMaster通訊的引用介面還有個shuffClient，負責做 備份 和 下載， 即各executor之間會透過shuffClient來做block的傳輸。BlockManager和Driver、executor的關係

其關係如圖：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，並負責向BMM註冊

3. spark中註冊訊息透過ActorSystem進行傳送

把塊block 存入blockManager的流程

比如特殊的2個地方：

1. 試圖put時，會先看下該blockId是否有快取，有的話直接取過來，否則就重新建立blockInfo

2. 儲存時會先判斷記憶體是否充足，充足就寫入memoryStore，如果不夠會先釋放再嘗試放入

shuffClient 下載block操作

BMMAC就是BlockManagerMasterActor,我當初瞎寫的簡稱

注意點：當要取的塊來自好幾個BlockManager時， 把它打亂順序，避免好幾個BM同時從某一個BM上下載資料！shuffeClinet的備份操作BM為什麼要備份他的block？書裡作者沒解釋，我的理解是為了防止節點崩潰或者丟失，導致中間任務無法繼續執行？因為其他的BlockManager能接收的block可能有限，所以備份時可能會涉及多個block， 每次我們一樣，從BMmaster那裡拿一個 ***隨機***的blockManager做備份，避免都往同一個上備份。BlockManager和Executor、driver的關係：

從中可以看到

1. blockManagerMaster在driver端生成

2. executor中生成blockManager，並負責向BMM註冊

3. spark中註冊訊息透過ActorSystem進行傳送