簡介: 作為一名Java程式設計師,相信同學們都聽說過微核心架構設計,也有自己的理解。那麼微核心是如何被提出來的?微核心在作業系統核心的設計中又有什麼作用?本文從外掛化(Plug-in)架構的角度來詮釋微核心架構設計,透過微核心架構和微服務架構的對比,分享其對微服務設計的參考意義。
關於微核心架構設計現在比較熱,聽起來好像是作業系統核心相關的,作為Java程式設計師,作業系統核心那麼遙遠的事情,好像和我們沒有什麼關係。但是如果我說微核心其實就是外掛化(Plug-in)架構,你一定會一臉疑惑,“你居然向Java程式設計師解釋什麼是外掛化架構?我每天都在用啊,Eclipse、IntelliJ IDEA、OSGi、Spring Plugin、SPI等,哪個不是外掛化架構。我的一些專案也是採用外掛化設計的,如使用外掛實現流程控制定製等等”。但是彆著急,即便是我們每天都在使用的技術,而且大多數人也都知道,如果我們能將其闡述得更清楚,並且能從中發現一些問題,做出一些最佳化有助於以後的架構設計,那麼大多數人在日常的設計和開發中都能受益,豈不是更好。現在我們就來聊一聊微核心架構設計。
一、 微核心設計之作業系統核心微核心設計其實就是外掛體系。我們都知道,作業系統核心誕生得比較早,所以外掛化最早被用在核心設計上,於是就有了微核心設計這一稱呼。
微核心是這樣一種核心:它只完成核心不得不完成的功能,包括時鐘中斷、程序建立與銷燬、程序排程、程序間通訊,而其他的諸如檔案系統、記憶體管理、裝置驅動等都被作為系統程序放到了使用者態空間。說白了,微核心是相對於宏核心而言的,像Linux就是典型的宏核心,它除了時鐘中斷、程序建立與銷燬、程序排程、程序間通訊外,其他的檔案系統、記憶體管理、輸入輸出、裝置驅動管理都需要核心完成。
也就是說,微核心是相對宏核心而言的,宏核心是一個包含非常多功能的底層程式,也就是我們現在講的Monolith。它乾的事情非常多,而且不是可插拔的,修改一些小的功能,都會涉及到整個程式的重新編譯等,比如一個功能出現了一個小bug,可能導致整個核心都出問題。這也是很多人將Linux稱為monolithic OS的原因。而微核心只負責最核心的功能,其他功能都是透過使用者態獨立程序以外掛方式加入進來,然後微核心負責程序的管理、排程和程序之間通訊,從而完成整個核心需要的功能。基本一個功能出現問題,但是該功能是以獨立程序方式存在的,不會對其他程序有什麼影響從而導致核心不可用,最多就是核心某一功能現在不可用而已。
微核心就是一個執行在最高級別的程式片段,它能完成使用者態程式不能完成的一些功能。微核心透過程序間通訊來協調各個系統程序間的合作,這就需要系統呼叫,而系統呼叫需要切換堆疊以及保護程序現場,比較耗費時間;而宏核心則是透過簡單的函式呼叫來完成各個模組之間的合作,所以理論上宏核心效率要比微核心高。這個和微服務的架構設計一樣,我們將Monolith應用劃分為多個小應用後,系統的設計就變得比較複雜了,之前都是應用內部函式呼叫,現在要涉及網路通訊、超時等問題,同時響應時間會被拉長。
聊到這裡,相信大家對微核心和宏核心已經有了一個大致的瞭解,看起來各有千秋。但是宏核心有一個最大的問題就是定製和維護陳本。現在的移動裝置和IoT裝置越來越多,如果要把一個龐大複雜的核心適配到某一裝置上,是一件非常複雜的事情,如果很簡單的話,那麼把Linux核心適配到Android核心,甚至到Tesla等車載系統,基本上人人都可以做了。
因此我們更需要一個微核心的架構設計,方便定製,而且非常小,可以實現功能的熱替換或者線上更新等,這就是微核心被提出來的核心需求。但是微核心有一個執行的效率問題,所以在微核心和宏核心之間,又有了Hybrid核心,主要是想擁有微核心的靈活性,同時在關鍵點上有宏核心的效能。微核心設計在理論上確實有效率問題,但是隨著晶片設計、硬體效能提升等,這方面或許已經有了非常大的提升,已經不再是最關鍵的問題。
總體下來,核心設計有三個形式,如下:
外掛化架構非常簡單,就兩個核心元件:系統核心(Core System)和外掛化元件(Plug-in component)。Core System負責管理各種外掛,當然Core System也會包含一些重要功能,如外掛註冊管理、外掛生命週期管理、外掛之間的通訊、外掛動態替換等。整體結構如下:
回到微服務架構設計場景,我們將Plug-in component重新命名為服務(Service),這個和微核心設計中的服務也差不多,這個時候微服務和微核心就差不多了,都涉及到服務註冊、管理和服務之間的通訊等。那我們看一下微核心是如何解決服務之間的通訊問題的?以下摘自維基百科:
因為所有服務行程都各自在不同地址空間執行,因此在微核心架構下,不能像宏核心一樣直接進行函式呼叫。在微核心架構下,要建立一個程序間通訊機制,透過訊息傳遞的機制來讓服務程序間相互交換訊息,呼叫彼此的服務,以及完成同步。採用主從式架構,使得它在分散式系統中有特別的優勢,因為遠端系統與本地程序間,可以採用同一套程序間通訊機制。
也就是說,採取的是基於訊息的程序間通訊機制。訊息最簡單,就兩個介面:send和receive,訊息傳送出去,然後等著收訊息,處理後再發訊息就可以了,這裡大家應該也知道了,這個是非同步的。回到外掛化架構設計中,Plug-in元件設計包含互動規範,也就是和外界相互通訊的介面,如果是基於訊息通訊的話,就是send和receive介面,可以說是非常簡單的。
但是這裡還有一個問題,那就是程序間通訊。你可能會問,這個有什麼好疑問的,就是兩個程序之間相互發訊息唄。但是這裡有一個最大的疑問,那就是程序間通訊是否有第三者介入?如下圖:
當然在作業系統的核心設計中,一定是透過核心進行轉發的,就是我們理解的匯流排架構,核心負責協調各個程序間的通訊。這個大家也能理解,如果程序A直接發給另外一個程序B,必然要了解對應的記憶體地址,微核心中的服務是可以被隨時替換的,如果服務不可用或者被替換,這個時候要通知和其通訊的其他程序,是不是太複雜?剛才已經提到,只有send和receive介面,沒有其他通知下線、服務不可用的介面。在微核心的設計中,一定是透過匯流排結構,程序向Kernel傳送訊息,然後kernel再發送給對應的程序,這樣的一個匯流排設計。實際上很多應用內部在做Plug-in元件解耦時,都會使用EventBus的結構,其實就是匯流排的設計機制。
為何婆婆媽媽說這些?因為非常關鍵。分散式的程序通訊是微服務的核心,我們理解的服務到服務的通訊,就是服務A啟動監聽埠,服務B會和服務A建立連線,然後兩者通訊即可。這個方式和微核心設計中核心負責訊息接收和轉發的匯流排架構設計是不一樣的。如採用HTTP,HSF等通訊協議時,相當於kernel告知通訊的雙方各自的地址,然後它們之間就可以通訊了。然後就沒有Kernel什麼事情了,也不會用到什麼匯流排的結構設計,這個就是傳統的服務發現機制。
但是還有一種模式,就是完全透明的外掛化通訊機制,如下圖:
Plug-in元件,也就是微服務架構中的服務,是不能直接通訊的,而是需要Core System進行轉發。這樣做的好處和微核心架構一樣,外掛相互之間無直接聯絡,彼此之間非常透明,例如服務A下線後,完全不需要通知其他服務;服務A被替換,也不需要通知其他服務;服務A從資料中心1到資料中心2,也不用通知其他服務;即便服務N和服務A之間網路不互通,兩者之間也能通訊。
這裡有個問題:效能問題。我們都知道,兩點之間,直線段最短。為何要多繞一下到Core System呢?這就是微核心和宏核心之間的爭論之處,使用函式呼叫非常快,而程序間的訊息通訊則是非常慢的,但是這種透過中介進行通訊機制的好處也是非常明顯的。那麼如何提升這種基於匯流排的通訊效能呢?當然有,比如選擇高效能的二進位制協議,HTTP 1.1這種文字協議就不需要了;採用Zero Copy機制,可以快速進行網路包轉發;好的網路硬體,如RDMA;好的協議,如基於UDP的QUIC等。總結下來,和微核心一樣,這種微服務通訊的效能是可以提升的。當然如果實在受不了這種效能,在關鍵場景,你可以採用Hybrid模式,混入一些服務之間直接通訊的設計,但只能在效能極致的場景中使用。
此外,外掛化架構中的外掛元件是各種各樣的,通訊的機制也各不一樣,一些是RPC的,一些是Pub/Sub的,一些是無需ACK的(如Beacon介面),還有一些是雙向通訊的等等。當然你可以選擇不同的通訊協議,但是這裡有一個問題,就是Core System需要理解這個協議,然後才能進行訊息路由。這個時候Core System需要編寫大量的Adapter來解析這些協議,例如Envoy包含各種filter來支援不同的協議,如HTTP、MySQL、ZooKeeper等,但是因此Core System就會變得非常複雜且不穩定。
另外可以選一種通用的協議,Core System只支援這一種協議,各個外掛之間都基於該協議通訊,至於服務和其他外部系統如何通訊,如資料庫、github整合等,這些Core System並不關心,那只是Service內部的事情。目前比較通用的協議是gRPC,如K8s內部都會採用該協議,另外Dapr也採用gRPC協議做服務整合,因為gRPC提供的通訊模型基本可以滿足大多數的通訊場景。當然另外一個就是RSocket,提供更豐富的通訊模型,也適用於Core System這種服務間通訊場景。對比gRPC,RSocket可以執行在各種傳輸層上,如TCP、UDP、WebSocket、RDMA等,相反的,gRPC目前只能執行在HTTP 2之上。
三、 服務通訊的延伸前面說到,最好由外掛化架構設計的Core System作為服務之間訊息通訊的路由,如果是這樣的話,就會產生一種Broker模式,當然也有可能是Agent。這裡大家一定會想到Service Mesh,沒錯。當然你可以選擇Agent Sidecar模式,也可以選擇中心化的Broker模式,這兩者的功能都是一樣的,只是處理的方式不一樣而已。Agent基於服務註冊和發現機制,然後找到對方服務的Agent,再進行兩個Agent之間的通訊,只是省掉服務之間的呼叫的開銷。但是Broker是集中式的,大家都向Broker傳送和接收訊息,不涉及服務註冊發現機制,不涉及服務元資訊推送,就是匯流排結構。
我現在做的就是基於這種Broker的匯流排的架構設計,在RSocket Broker中,也是採用微核心架構設計,當然未必做得最好 。RSocket Broker核心就是管理註冊的服務、路由管理、資料採集等,而不會新增過多的功能,和Core System的設計理念一樣,只新增必須的功能。如果你要擴充套件整個系統更多的功能,如發簡訊、發郵件、對接雲端儲存服務等,需要編寫一個Service ,然後和Broker對接一下,再從broker那裡收訊息(receive),處理完畢後再發送(send)給Broker就可以了。總體結構如下:
有不少同學會問,當服務例項的負載太高的時候,Broker如何實現動態擴容呢?Broker會給你提供資料,如一個服務例項QPS,至於是否擴充套件,你只需要寫一個服務,從Broker上採集資料,分析後,呼叫K8s API進行擴容即可,Broker並不負載這些業務功能,它只會新增非常必要的功能,這個和Core System設計是一樣的。
回到外掛化架構的靈活性上,如果系統中有一個KV儲存的外掛,你只要遵循訊息格式或者通訊介面,就可以儲存KV資料。但是你並不太關心是Redis儲存的,還是Tair儲存的,或者是雲端的KV服務,這就為服務標準化和可替換性提供了很好的基礎,這對應用上雲或雲原生化幫助非常大,整個系統有非常大的靈活性。
四 、總結其實有非常多的書有關於微核心的介紹,作業系統的圖書就不用說了,另外兩本書也非常不錯,對通用架構設計幫助也非常大,尤其是微服務的場景,我也是參考這兩本書寫這篇文章的。
微核心架構設計對微服務設計有非常好的參考意義,但是微服務有一個非常大的問題就是服務邊界的劃分,對比作業系統,已經發展幾十年,而且非常穩定,功能劃分非常容易。而微服務架構是為業務服務的,雖然面對的業務可能已經存在上百年,但是軟體化、數字化和流程化並沒有多少年,加上現實業務的複雜性,還有各種妥協,個人認為微服務架構會更復雜一些。