大家知道DLPack嗎:
深度學習從業人員或多或少都會有了解,諸如 Tensorflow、PyTorch 等深度學習框架,確實為深度學習的快速原型設計和模型部署提供了強大的工具箱。
但是,不幸的是,它們的易用性通常以碎片化為代價:
他們僅僅限於對每個框架單獨使用,如果對框架進行垂直整合,那麼開發流程可以適用於常見用例,但實際上,打破常規可能會是個非常棘手的問題。
一種解決的方法是,在記憶體中直接將張量從一個框架傳遞到另一個框架,而不發生任何資料複製或複製。
而DLPack,就是張量資料結構的中間記憶體表示標準,它是一種開放的記憶體張量結構,用於在框架之間共享張量。
它提供了一個簡單、可移植的記憶體資料結構:
DLPack使:
在深度學習框架之間更輕鬆地共享操作員。更容易包裝供應商級別的運營商實施,允許在引入新裝置/操作時進行協作。快速交換後端實現,如不同版本的BLAS對於終端使用者來說,這可以帶來更多的運營商,並且可以在框架之間混合使用。下載地址:
https://gitee.com/mirrors/DLPack
此外,DLPack的開發者不打算實現Tensor和Ops,而是將其用作跨框架重用張量和操作的公共橋樑。
同時,陳天奇還計劃將一些文件匯入DLPack,目前,DLPack沒有任何關於Python級API的文件。
感興趣的小夥伴可以去下面地址看一看:
https://github.com/data-apis/consortium-feedback/issues/1
最新評論