回覆列表
  • 1 # 往後餘光

    隨著快手日活量不斷增加,使用者資料不斷豐富,模型的數量越來越多,越來越複雜,在空間的佔用上呈幾何級數增長。

    快手擁有超過2億的日活量,超過130億條的庫存短影片,仍以每日超過1500萬條短影片上傳的速度新增,擁有海量超大資料應用場景。快手基礎設施的規模已經處於國內頂級網際網路公司頭部行列。目前快手伺服器規模已經超過十萬臺,資料總量達到EB級別,每天新增資料超過5PB。

    為保障千億級別資料量的處理和基礎設施穩定、高效執行,快手伺服器選型和業務最佳化團隊(以下簡稱“快手SAT團隊”)佈署業界最先進GPU計算平臺,選用合作伙伴NVIDIATesla V100GPU和新一代Turing架構的NVIDIA T4GPU,在業內率先完成計算架構的全新升級。

    目前快手SAT團隊正在做幾件事:引入大容量低成本NVM與GPU組成異構計算+異構儲存伺服器;搭配100G/200G/400G RDMA,做CPU offload的架構,提高分散式計算的效率;將儲存資源和計算資源解耦分離。

    據快手SAT團隊研發人員介紹,快手大資料應用場景如影片推薦平臺、音影片理解、風控、商業化廣告、強化學習等都是公司的核心業務,多個業務場景資料處理需求量大,NVIDIA推出新的Tesla產品之後,SAT團隊將T4和TeslaV100 GPU的引入列為首要任務,使用新一代的GPU,搭配現有的計算平臺,第一時間將T4引入到新的套餐上,同時以最快速度適配給公司內的核心業務,保障硬體基礎架構走在業界前列。

      快手選型上線流程和NVIDIA企業級技術支援團隊已經有了一年多的合作經驗,以最新的GPU引入為契機,快手SAT團隊整理規範了GPU伺服器引入和應用最佳化一整套的科學體系,並在實踐中獲得了極佳的業務收益,為快手節省了大量的時間成本,同時計算力更加出色的GPU計算架構也為未來快手關鍵業務線上線更加複雜的模型打下了堅實的基礎。

  • 中秋節和大豐收的關聯?
  • 想入手一部影音手機,價位在1500以內,TC口,驍龍710,有推薦嗎? ?