01

引言

使用可移動媒體實現檔案交換以來，檔案型資料的傳輸已成為部門、企業之間重要的資料傳輸方式，如何建立一種安全、高效、高容錯、自動化的檔案傳輸平臺，已成為企業間資源共享，價值創新，實現優勢互補重要課題。在國家大力支援信創產業、推進國產化程序的浪潮下，普元檔案傳輸該如何應對新的機遇與挑戰？

02

檔案傳輸

2.1定義

百度百科、維基百科中，檔案傳輸（file transfer）被定義為，將一個檔案或其中的一部分從一個計算機系統傳到另一個計算機系統。它可能把檔案傳輸至另一計算機中去儲存，或訪問遠端計算機上的檔案，或把檔案傳輸至另一計算機上去執行（作為一個程式）或處理（作為資料），或把檔案傳輸至印表機去列印。

2.2演化

透過可移動媒體實現第一次檔案交換後，檔案傳輸高速發展，在1980年代中期，非同步調變解調器替換了雙同步解調器，網際網路改變了使用持久連線進行檔案傳輸方式，使用者透過HTTP，FTP和SMTP在企業之間傳輸檔案，儘管檔案傳輸渠道和協議發生變化，但傳輸管理、傳輸流程和方法基本未變，企業依舊管理與維護相互獨立的檔案傳輸通道。隨後幾年出現了大量檔案傳輸解決方案，這些解決方案幫助檔案傳輸日益增長的安全性，合規性和運營需求。

2.3現狀

隨著企業業務拓展，業務量增加，業務資料呈現爆發式增長，隨之增加的不僅僅是資料的體量，以檔案形式儲存的資料，同樣在快速增加。在這個合作共贏的時代下，企業與企業的合作，企業部門之間的協同辦公模式，多為資源共享，從而實現優勢互補，發展舊業務，開拓新場景，創造新價值。

如何快速有效的將這些以檔案形式儲存的資料實時傳輸，完成資料的更新，已經成為跨業務部門，跨公司，跨領域合作的重要課題，而目前使用的FTP、SFTP方式的檔案傳輸，存在如下問題：

在資料的安全性、完整性方面有較大的隱患點對點式的檔案傳輸分散於各系統之間，缺乏統一的管理對傳輸過程和狀態缺乏有效的監控缺乏有效錯誤捕獲，防範措施容錯性低，沒有斷點續傳，失敗重發，狀態日誌儲存等功能維護人工成本高昂

當兩家企業或部門之間想要自動化資料交換時，兩家公司的IT部門都需要討論資料格式，傳輸協議，加密，傳輸確認和錯誤/異常處理。考慮到自動檔案傳輸功能不是大多數企業IT部門的最高優先順序，對於延遲或長久等待的業務使用者來說，這可能是一個漫長而令人沮喪的過程。可能需要數週才能實現與一家企業的資料交換自動化，並且必須一次又一次地重複數百甚至數千個客戶/供應商。

這些問題的存在，導致資料的時效性，完整性，安全性無法保障，不利於各業務系統之間的資料互動，為解決這些問題，需要建立一種安全、有效、抗壓強、可實時監控的檔案傳輸方式，實現一對一、一對多、多對多的檔案上傳及下發功能。

03

普元檔案傳輸平臺

3.1能力評估標準

根據《軟體工程 軟體產品質量要求與評價(SQuaRE) SQuaRE指南》、《檔案傳輸平臺中介軟體質量測試大綱》要求，檔案傳輸平臺基礎要求如下：

功能性要求主要內容集中在檢查被測中介軟體產品功能是否有缺失、是否可正常使用，主要包括安裝、解除安裝、啟動與關閉、配置部署等。效能效要求試透過使用通用或專用測試工具及裝置，在多使用者併發操作應用場景下，監控被測產品及應用系統的響應時間及資源消耗的表現。可靠性要求是指一定負載壓力下檢查伺服器執行穩定情況；檢查中介軟體的網路故障恢復能力及易恢復性。易用性要求檢查產品手冊與系統實際功能的一致性、示例包提供情況、檢查中介軟體管理臺提供的整合環境管理（圖形化介面管理）、圖形化監控、圖形化安裝解除安裝等。維護性要求檢查中介軟體產品執行時的日誌管理、資源監控情況，檢查管理控制檯提供的相關的引數配置項及中介軟體在執行時的資訊監控能力。相容性要求側重相容配套基礎軟硬體系統的相關測試指標項。安全性要求側重支援安全框架、安全管理等能力。可擴充套件性要求側重中介軟體叢集的垂直和水平擴充套件能力。

3.2定位

普元大檔案傳輸平臺（Primeton BFT）是一款分散式的大檔案傳輸平臺，針對上述需求與標準，提供滿足企業資料交換的大檔案傳輸功能，基於安全，優秀的檔案傳輸技術架構與系統框架，結合多種容錯機制，將傳統的檔案傳輸，演化為一套自動化，高容錯，自糾錯的檔案傳輸平臺，使用者無需繁複的程式設計，只需透過簡潔的介面輸入，即可完成傳輸動作的定義，實現檔案自傳輸功能，企業透過安全、高效、統一的普元檔案傳輸平臺，可以規範企業業務流程、改善業務管理狀況、最佳化資產結構、控制風險、保證運營質量。

3.3價值

Primeton BFT為企業內或企業間檔案傳輸提供了便捷、高效、可靠的工具支撐；平臺支援多種形式的檔案傳輸，如：一對一、一對多以及FTP檔案上傳與下載等，透過平臺進行簡單配置可快速實現多節點檔案傳輸，幫助企業實現檔案傳輸的統一管理。

大檔案傳輸平臺的價值主要體現在以下幾個方面：

快速部署、整體掌控、多角度分析統計

透過解壓、啞安裝方式快速完成平臺部署。全方位的檔案傳輸監控體系，整體掌控檔案傳輸狀況多角度的檔案傳輸分析統計，滿足客戶不同維度的管理訴求。

開放介面，可快速整合客戶業務應用

平臺採用開放式架構，提供易於使用的二次開發介面。客戶端支援以API介面呼叫、SDK嵌入方式，實現與客戶業務應用的快速整合。

高效能、高可靠，7X24小時不間斷提供服務

可控的檔案併發傳輸機制，支援分段傳輸，支援TB級大檔案傳輸。斷點續傳、檔案重發以及完整性校驗機制，保障檔案可靠傳輸。代理節點重連機制，保障檔案傳輸服務不間斷執行。

提供系統全方位安全保障以及檔案傳輸過程保護

提供企業級的選單訪問、許可權管理機制，保障系統安全。靈活、可擴充套件的加密、壓縮演算法、檔案傳輸許可權控制，保障檔案安全傳輸。

04

普元檔案傳輸設計方案

4.1海量檔案傳輸方案

專案中傳送方匯聚海量小檔案，可透過多執行緒壓縮方式進行資料夾整體傳輸，可設定壓縮級別，壓縮執行緒數，壓縮檔案內包含檔案數量，根據客戶現場業務情況，調整壓縮策略，提高檔案傳輸速率與檔案傳輸安全性。目錄壓縮傳輸，充分利用伺服器資源，並=改善海量檔案傳輸情境下因大量控制資訊互動導致效率下降問題。

4.2跨網段傳輸方案

傳輸環境中存在多個網域，且其中節點不能連通情況下進行檔案傳輸，需在多網域共享節點下安裝中間傳輸節點，充當一個網域的接收節點的同時，充當另一網域的傳送節點，間接實現跨網段的檔案傳輸。

4.3檔案失敗重試方案

平臺管理檔案傳輸各個階段資訊，若檔案傳輸過程中出現問題導致檔案傳輸失敗，檔案在傳輸失敗情況下，將根據重試配置，觸發檔案重發機制再一次嘗試傳送檔案，保障檔案可靠傳輸。

4.4檔案斷點續傳方案

由於網路不穩定或者其他因素導致檔案只完成部分傳輸，待服務恢復後將延續上次檔案傳輸進度對檔案進行續傳

4.5限流傳輸方案

無需增加外部依賴，可同時對傳輸節點、傳輸策略進行限流配置，滿足對整體及其策略精準限流需求，保障傳輸網路的穩定性及安全性。頻寬限速中包括節點級頻寬限制和策略級頻寬限制，如果節點頻寬和策略頻寬同時配置，則以傳輸中配置最小的頻寬為準。

策略級頻寬限制：在每個傳輸策略的配置中配置頻寬限制，用來限制單個策略在傳輸時的頻寬節點級頻寬限制：在每個傳輸節點的配置檔案中配置單個節點的頻寬限制，用來限制整個節點的傳輸頻寬

4.6去中心化排程方案

檔案傳輸排程平臺在架構上分為管理平臺、排程引擎和監聽服務三部分，並且實現了平臺高可用和傳輸任務的負載功能；在技術上基於微服務架構，具有很強的跨平臺性，最大限度的提高系統的並行性，進一步提高了資料處理的實時性

4.7日誌採集方案

採用檔案非同步解析入庫機制，整合各個傳輸節點傳輸日誌檔案，統一解析入庫，控制管理中心宕機情況下，傳輸日誌將以檔案形式儲存，待控制管理中心恢復後，日誌將自動同步載入，保證傳輸記錄的完整性，傳輸任務的健壯性。

4.8檔案傳輸體系

4.8.1縱向檔案傳輸體系

橫向檔案傳輸模式旨在同級部門、企業之間進行平級檔案傳輸，該模式下所有傳輸節點權重相同，在業務或地域方面級別相同。

4.8.2縱向檔案傳輸體系

縱向檔案傳輸模式旨在存在上下級關係的部門、企業之間進行檔案傳輸，存在中心傳輸節點；中心傳輸節點負責與多下級節點之間進行檔案傳輸，更加註重傳輸效能、傳輸安全、環境容災的問題。

4.8.3多級檔案傳輸體系

專案中同時存在同級部門檔案傳輸，上下級部門檔案傳輸。

05

普元檔案傳輸實踐

5.1某銀行檔案傳輸專案

5.1.1檔案傳輸問題

隨著某銀行的業務的不斷拓展、創新，整個銀行的業務體量在持續增加，業務資料呈現爆發式增長，而其中各類檔案資料（影片檔案、音訊檔案、資料檔案等等）也呈現指數級增長；如何便捷、高效、安全、可靠的進行檔案資料傳輸，使各類資料檔案能夠有效在行內流轉使用，是銀行資訊化建設過程中急需解決的問題；銀行在之前就已經由第三方公司建設檔案傳輸產品並投入使用，但使用過程中存在傳輸不可靠、運維困難、行內無法自主可控等問題，目前行內檔案傳輸主要問題如下：

檔案傳輸可靠性不高：大批次檔案傳輸出現偶發性檔案傳輸丟失問題；在NAS檔案系統環境下，檔案傳輸可靠性降低。行內無法自主可控：老版本的檔案傳輸依賴第三方公司內部其他產品，行內技術人員接手困難，運維困難，無法自主可控。擴充套件性不高：老版本檔案傳輸產品設計封閉，技術架構陳舊，導致客戶化定製困難，新需求無人響應，不易於二次擴充套件。

5.1.2檔案傳輸方案

平臺分別在總行檔案資料中心、一級分行檔案處理伺服器、分行應用伺服器進行三級節點部署，實現將分行應用伺服器檔案資料資源傳輸至一級分行，再將一級分行檔案資料傳輸至總行檔案資料中心。

5.1.3實施效果

普元大檔案傳輸產品為行內檔案資料傳輸提供了高效、可靠、便捷的工具支撐，目前已經在總行檔案資料中心、一級分行檔案處理伺服器、分行應用伺服器中部署試點節點70餘個，實現分行應用服務中檔案資料到綜合檔案資料中心的檔案資料互動；平臺在正式執行過程中，實現了檔案資料傳輸零故障、及時率100%，預計在2020年全行替換老版本的檔案傳輸產品，為全行後續檔案資料互動打下了堅實可靠的基礎。

5.2某省資料資源共享平臺專案

5.2.1整體設計

內外網資料檔案交換：按照國土資源部《“國土資源雲”建設總體框架》跨網路安全域複雜應用部署模式要求，開發相應功能模組，實現網際網路資料透過單向光閘向內網資料中心的匯入，並實現生產資料透過相關稽核過程和安全檢查，透過光碟定期匯出，實現內外網資料的匯入匯出功能。

5.2.2解決方案

某省國土資源系統“一個平臺、兩個市場”建設，是國土資源資訊化建設的總稱，是結合省廳實際情況，部署開展的省國土資源資訊化建設專案。普元大檔案傳輸在資料交換平臺中可做為一個統一的檔案共享平臺，主要提供了各業務系統之間的實時檔案交換功能。

5.2.3實施效果

透過Primeton BFT及其他普元軟體，建立的資源共享交換共享平臺，方便快捷實現了各系統的資訊資源的交換與共享，完成內外網資料交換和業務系統間的資料交換功能。滿足省國土廳關於省市縣三級交換、國土廳與二級單位之間的資料交換、國土資源業務網與網際網路資料交換、國土廳與省政府職能單位資料交換、國土廳網際網路資料交換的需求。

06

尾語

普元大檔案傳輸平臺定位於實現企業內或企業間的檔案傳輸，致力打造統一的檔案傳輸管理平臺，實現檔案傳輸一站式服務，在國家大力推行國產化程序的浪潮下，普元大檔案傳輸平臺將更進一步最佳化傳輸體系架構，貼合信創產業化需求，提升產品業務效能，為企業提供更高效、安全的檔案傳輸，更優質的檔案傳輸管理體驗，加速企業檔案型資料的共享程序。

關於作者：落成，普元研發中心資深工程師，擅長分散式、多執行緒、高併發程式設計，數倉技術，企業資料交換體系建設，主要負責資料交換類產品的設計與研發。