近日,信也科技(NYSE:FINV)推出的9¾模型管理平臺在信也科技開放日上首次亮相。9¾平臺能夠提供一站式人工智慧模型服務,它以AI技術服務集團業務全鏈路,助力金融科技行業整合創新。
為眾人所熟知的是,人工智慧發展數載,它潛移默化地影響著人們的生活,在越來越多的領域發揮著舉足輕重的作用。無論是行業巨頭還是新興企業,均在人工智慧領域發力,力圖將此技術推廣到更多的應用場景。
9¾模型管理平臺:我從哪裡來?
AI模型訓練平臺,基於核心模組和應用場景的不同,又可以稱為深度學習平臺、機器學習平臺、人工智慧平臺。使用者在AI平臺能夠使用不同的機器學習框架進行大規模的訓練,對資料集與模型進行管理和迭代,同時透過API與本地部署等方式接入到具體業務場景中使用。
簡單地說,AI平臺=AI FAAS+(PAAS)+(IAAS)。業界不乏優秀的機器學習平臺,如微軟的Azure、亞馬遜的AWS Machine Learning、阿里的PAI平臺、百度的Paddle以及騰訊的TI平臺。一般的平臺產品基於基礎的機器學習和深度學習計算框架進行二次開發,提供一站式的生態化服務,為使用者提供從模型訓練、模型評估、模型線上預測的全流程開發和部署支援,以期降低演算法專家在工程化時的使用門檻。
9¾模型管理平臺:我的解決方案
AI平臺在搭建與落地的過程中,均會遇到機器學習門檻高、落地慢、實施週期長等問題。結合日常工作流程中遇到的問題,9¾平臺提供了一系列的解決方案,以解決模型落地上的一系列難題。具體問題如下:
1、模型環境構建難,從模型到服務轉化慢。2、多個模型共用一套環境,但模型需要獨立更新,對環境的維護需格外謹慎,變更風險巨大。3、模型服務交付週期長,工程環節耗時長,人力投入大。4、模型服務回退慢,模型釋出後,如發現有問題嘗試退回到上一個版本需要數分鐘,乃至數小時。5、模型服務擴容慢,面對突發流量時,響應延遲。
針對以上難題,9¾平臺可提供詳盡的解決方案,具體體現在以下五方面:
1、模型環境標準化描述,提供一套簡單、統一、覆蓋廣的規範來定義模型環境,加快流程。2、將統一標準描述下的模型環境映象化,支援模型容器化執行,提供模型環境隔離和模型運營隔離。3、工程環節程式碼採用自動生成技術,實現人力零投入,降低邊際成本。4、模型釋出環節採用藍綠髮布與金絲雀釋出,提供操作簡單的快速版本切換與流量切分。5、利用使用率、飽和度指標配合彈性伸縮演算法,提供秒級的擴容,快速響應突發流量。
9¾模型管理平臺:我的架構設計
根據企業不同的規模、資源及業務場景,AI平臺往往有不一樣的定位。例如AI和資料可同為一箇中臺、AI平臺可視為業務中臺的一部分、AI平臺整合進技術中臺或後臺等。規模較小、資源有限的企業通常會選擇使用第三方AI平臺對業務進行服務,而非自建AI平臺。但信也科技已有資料中臺,因此信也科技的AI平臺更多承擔的是作為業務前臺的模型演算法供給角色,在資料中臺的支援下,起到承載業務,對接資料與技術底層的作用。
9¾平臺的架構設計
時下主流的AI平臺有兩種產品形態:一種是趨向AutoML,主要為非演算法專家提供的視覺化訓練平臺,透過拖拽、拉取等方式完成模型設計和訓練中的元件排布,完成模型構建,例如Azure;另一種是為專業人士提供的模型設計和訓練工具,將模型訓練和管理透過工程化平臺進行整合管理。也有整合兩種方式的AI平臺,例如阿里的PAI,為各種層次的人工智慧工作者與愛好者提供不同專業程度的工具。
信也科技對AI平臺的定位是能夠快速解決問題、提高能效。因此,信也科技優先選擇為演算法和模型運維工程師提供針對模型生命週期管理的解決方案。
9¾平臺加速了模型生成和服務化,可提供一整套從模型管理、模型訓練到模型部署、模型監控的全生命週期解決方案。它不僅可幫助演算法專家解決訓練環境與訓練過程中的儲存管理問題,還可幫助解決在模型部署和上線時的各種問題,並提供線上部署模型的監控服務。
目前9¾模型管理平臺已部署各類模型數百個,實現模型日服務量超過1000萬;可在秒級內獲取合適資源;能自動使用CPU、GPU資源,實現自動擴容,效能提升60%;模型上線僅需1分鐘,大大節約了部署時間。
9¾平臺的模型訓練與線上服務
此外,9¾平臺為模型訓練提供了多套WorkSpace(工作區)容器。一個WorkSpace中包含多種模型開發時的工具,包括Jupyter、一些常用的IDE與一個終端介面。一個模型從準備到訓練結束,產出程式碼均可在工作區內直接完成,在工作區內可安裝各種依賴、嘗試各種方法,甚至提交程式碼至Git,直至演算法專家獲得滿意的模型。
針對模型的部署,信也科技獨創了"流水線"的概念,模型的釋出流水線只需4個步驟,一般釋出一個模型不超過5分鐘。
針對無需在實時場景下執行、或無法在實時呼叫場景下執行的耗時較久的模型,9¾提供了釋出為Job任務的部署方式,使用者可透過Job任務執行回溯任務或更新訓練資料,整個過程非常遊刃有餘。
模型的程式碼和內部邏輯將作為一個黑盒,被打包為一個docker映象,因此模型無論以何種方式釋出,釋出在何種環境內,都是絕對安全可靠的。透過管理模組與實際的服務模組,使用者能夠完成AI專案的管理和API、Job、映象APP等上層應用的產出,整個過程無需任何運維人員、工程人員的干預,演算法專家即可獨立操作完成。
9¾平臺的模型管理模組
9¾模型管理平臺:未來,我去往何方?
信也科技於12月17日成功舉辦首屆科技開放日,並於當日首次揭秘了自身的科技全景圖,用圖譜的形式直觀展示了大資料、人工智慧、智慧決策產品等硬核科研成果。目前9¾平臺可支援信也科技所有科技業務,覆蓋多個業務場景,同時支援多家外部合作伙伴。未來,信也科技的人工智慧平臺將在增強模型評估功能、線上預測平臺化、支援分散式訓練等方面持續深入探索。
信也科技全景圖
9¾平臺的成功釋出將進一步促進人工智慧技術的研發落地,加強科研成果的轉化與輸出。信也科技也將透過不斷的科技創新,深度參與科技賦能,與合作伙伴共謀發展,助力金融科技行業創新,使人工智慧成為企業發展的重要推動力,讓科技更好地服務人類社會。