今天,香港中文大學多媒體實驗室(MMLab)旗下開源組織 OpenMMLab 釋出新成員:MMTracking,旨在促進目標跟蹤領域的研究開發。
OpenMMlab旗下眾多開源庫如:MMCV, MMDetection,MMAction2等已經擁有眾多使用者,成為復現頂會論文、實現專案應用的重要工具。
MMTracking地址:
https://github.com/open-mmlab/mmtracking
演示效果:
此次OpenMMLab開源的 MMTracking 涵蓋方向包括單目標跟蹤、多目標跟蹤、影片目標檢測(Single Object Tracking (SOT), Multiple Object Tracking (MOT), Video Object Detection (VID)),既包含前沿演算法的實現,又有成熟預訓練模型可供直接使用。
特點:
官方稱這是第一個統一的影片感知平臺,將單目標、多目標跟蹤和影片目標檢測放在一個框架;模組化設計,將影片感知框架分成不同模組,方便演算法開發;簡單、快速、健壯。簡單:與OpenMMLab其他開源庫互動極其簡單,尤其MMTracking與MMDetection渾然天成,只需修改配置檔案即可切換檢測器。快速:所有操作均在GPU上進行保證程式跑的快,甚至實現的演算法相比其他開源庫的實現,訓練和測試都更快。健壯:作者實現了大量的state-of-the-art方法,其中不少演算法甚至好於官方實現。目前實現的演算法:
影片目標檢測:
DFF (CVPR 2017)
FGFA (ICCV 2017)
SELSA (ICCV 2019)
多目標跟蹤:
SORT/DeepSORT (ICIP 2016,ICIP 2017)
Tracktor (ICCV 2019)
單目標跟蹤:
SiameseRPN++ (CVPR 2019)
得益於OpenMMlab開源框架的高質量實現,官方稱:
影片目標檢測演算法 SELSA 的實現結果相比於官方實現,在 ImageNet VID 資料集上 mAP@50 超出 1.25 個點。
多目標跟蹤演算法 Tracktor 的實現結果相比於官方實現,在 MOT17 資料集上 MOTA 超出 4.9 個點以及 IDF1 超出 3.3 個點。
單目標跟蹤演算法 SiameseRPN++ 的實現結果相比於官方實現,在 LaSOT 資料集上 Norm precision 超出 1.0 個點。
雖然目前實現演算法還不是很多,但鑑於MMlab 強大的研發實力和社群號召力,相信對於做跟蹤方向的朋友來說,MMTracking 是值得持續跟蹤的開源庫。
參考:https://zhuanlan.zhihu.com/p/341283833