QQ群「3D視覺研習社」，群號：574432628
論文題目：6D Pose Estimation using an Improved Method based on Point Pair Features
譯者：仲夏夜之星
摘要：點對特徵是基於模型的6D位姿估計方法中最成功的一種，作為傳統的區域性和全域性管道的一種高效、綜合和折衷的替代方法。在過去的幾年裡，已經提出了幾種不同的演算法。Hinterstoisser等人提出的解決方案是一個主要貢獻。在2017年ICCV第三屆關於恢復6D物體姿態的國際研討會上，本研究提出了一種適用於SIXD挑戰資料集的PPF方法的變體，所有資料集的平均召回率為0.77，而對hinterstoisser、tless、tudlight、rutgers、tejani和doumanoglou資料集的總體召回率分別為0.82、0.67、0.85、0.37、0.97和0.96。
一 引言三維目標識別，特別是6D位姿估計問題是目標處理中的關鍵步驟。在過去的幾十年裡，3D資料和基於特徵的方法已經在基於模型的方法獲得廣泛的聲譽。一般來說，基於模型的方法分為兩大類:全域性方法和區域性方法。全域性方法使用一個全域性描述描述整個物件或其部分。區域性方法透過使用圍繞特定點的區域性描述符來描述物件。全域性描述通常需要對目標物件或目標部分進行分割，而忽略了局部細節的區分性。這些特徵使得全域性方法在遮擋和高度雜亂的場景下不健壯。另一方面，由於感測器噪聲的區域性性質，區域性方法通常對感測器噪聲更敏感，並且它們傾向於在具有重複特徵的對稱物件或物件上表現出較低的效能。
在三維目標識別方法上，Drost等人[1]提出的點對特徵方法已經被證明是最成功的方法之一，它具有很強的識別特性，是一種融合了局部和全域性方法優點的折衷解決方案。在對該方法提出的幾種擴充套件中，Hinterstoisser等人[2]分析了一些最薄弱的地方，並提出了一種擴充套件解決方案，在存在感測器噪聲和背景雜波的情況下提供了一個顯著的改善。本文提出了該方法的一種新的改進方法，並針對最近在ICCV 2017第三屆恢復6D物件位姿國際研討會上組織的2017年第六次挑戰[3]上提出的具有挑戰性的資料集測試了其效能。
二 點對特徵方法本文提出的方法遵循Drost et al.[1]定義的點對特徵(PPF)方法的基本結構，由兩個階段組成：全域性建模和區域性匹配。這種方法的主要思想是為每個場景點找到對應的模型點和它們的旋轉角度，該方法可以從兩個點之間的距離以及它們的法線和圍繞法線的旋轉角度來完成。這種對應關係是透過使用一個四維特徵(圖1)來定義的，該特徵定義在每對兩點及其法線之間，因此每個模型點都是由它自己建立的所有點對和所有其他模型點來定義的。
圖1 點對特徵
首先，在全域性建模階段，透過對資料進行下采樣，對輸入的模型資料進行預處理。然後，使用離散化的PPF作為索引，構建一個儲存模型對的四維查詢表(圖2)。此表將提供對從場景點對獲得的離散PPF特徵所指向的每個單元的所有模型對應參考點及其旋轉角的恆定訪問。
圖2 全域性建模的樣例
在區域性匹配階段，使用與建模部分相同的技術對輸入資料進行預處理。對於每個給定的場景點，所有可能的PPF都被離散化，並用作查詢表的索引，得到一組表示所有可能對應候選的模型點和旋轉角的對。這些候選點中的每一個都在一個類似於Hough的投票方案中的表格上投下一票，其中每個值表示由模型點和旋轉角度定義的假設轉換(圖3)。然後，提取峰值作為這個場景點對應的最佳候選。最後，對從場景點得到的所有假設進行聚類，並應用一組後處理步驟來提取最佳假設。
圖3 區域性匹配的樣例
三 實驗為了提高該方法在區域性匹配階段的執行時間效能，只使用kd樹結構檢查距離小於模型直徑的點對。本文遵循[2]提出的思想，該系統避免對相同離散的PPF和旋轉角度進行兩次投票，並檢查所有PPF索引鄰居以考慮感測器噪聲。本文不檢查雜湊表中的所有80個鄰域，而是提出了一個更有效的解決方案，只投票給那些有很大機會受到噪聲影響的鄰域為了檢查量化誤差(圖4)。
圖4 在量化過程中考慮感測器噪聲的鄰域方案
假設聚類後，對投票最多的500個假設使用簡化的依賴檢視的重評分過程。在這個過程中，假設會根據它們與場景資料的契合程度重新排序。此外，為了提高評分的穩健性，對前200個評分進行ICP[4]精配準。最後，應用兩個濾波後處理步驟來丟棄特殊的模糊情況，如平面和部分匹配曲面。第一步檢查非一致點去除假設是部分擬合場景除非場景點沒有足夠的一致性。第二步檢查相對於場景邊緣物件輪廓的重疊率，以便過濾具有非匹配邊界的擬合良好的物件。
四 實驗資料2017年的第六次挑戰[3]提出了一套資料集，用於評估單一物件的單一例項的6D本地化任務。上述資料集如表1所示，分別為:hinterstoisser、tless、tudlight、rutgers、tejani和doumanoglou。每個資料集包含一組3D物件模型和RGB-D測試影象。所提出的場景涵蓋了廣泛的情況與各種物件在不同的姿態和環境，包括多個例項，雜波和遮擋。這6個數據集共包含68個不同的物件模型(圖5)和60475幅測試影象。請注意，rutgers、tejani和doumanoglou是精簡版，doumanoglou的型號也包含在tejani中。
圖5 資料集中使用的一些模型
表1 資料集模型和RGB-D測試影象
五 實驗結果圖6 所有資料集結果的樣例
(a)hinterstoisser, (b) tless, (c) tudlight, (d) rutgers, (e) tejani and (f) doumanoglou.
六 結論本工作提出了PPF方法的一個新的改進方法，並根據最近釋出的6D挑戰2017引入的資料集測試其效能[3]包括68個物件模型和60475個測試影象。該方法引入了一種新的具有正常聚類和鄰居對濾波的次取樣步驟，此外，還引入了一種更快的kd樹鄰居搜尋和更有效的解決方案感測器噪聲的影響。最後，該方法使用幾個後驗證步驟重新評分、細化和過濾最終假設。所獲得的結果使用VSD[5]度量，在大多數資料集上顯示出高而一致的效能，平均召回率為0.77，但Rutgers資料集除外，該資料集顯示出明顯較低的速率。
參考文獻[1] B. Drost, M. Ulrich, N. Navab, and S. Ilic, “Model globally, match locally: Efficient and robust 3d object recognition,” In 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2010, pp. 998–1005.
[2] S. Hinterstoisser, V. Lepetit, N. Rajkumar, and K. Konolige, “Going Further with Point Pair Features,” In Proceedings of the European Conference on Computer Vision (ECCV), 2016.
[3] SIXD Challenge 2017. http://cmp.felk.cvut.cz/ sixd/challenge_2017/. Accessed: 2017-9-28.
[4] S. Rusinkiewicz and M. Levoy, “Efficient variants of the ICP algorithm,” In Proceedings Third International Conference on 3-D Digital Imaging and Modeling, 2001, pp. 145–152.
[5] T. Hodan, J. Matas, and S. Obdrzalek, “On Evaluation of 6D Object Pose Estimation,” In ECCV Workshop, 2016.