今天我們將一起探究如何使用OpenCV和Python從影象中提取感興趣區域(ROI)。
在之間的文章中,我們完成了影象邊緣提取,例如從檯球桌中提取桌邊。使用了簡單的OpenCV函式即可完成這項任務,例如inRange、findContours、boundingRect、minAreaRect、 minEnclosingCircle、circle、HoughLines、line等,都可以。
今天我們的任務是從包含患者大腦活動快照的影象中提取所需的片段。之後可以將該提取的過程應用於其他程式中,例如診斷健康與否的機器學習模型。
因此,讓我們從檢視輸入影象開始。這是由神經科學領域的醫療儀器生成的典型報告,該儀器使用感測器檢測來自患者大腦的訊號並將其顯示為彩色地圖。通常,有四張圖片,所有圖片都描繪了某個特徵並一起分析以進行診斷。
本練習的目標影象包含四個大腦圖
從上面的影象中,我們只想提取與四個地圖(頭部掃描)相對應的區域,而將其他所有內容都排除在外。因此,讓我們開始吧。
第一步是檢測我們要提取的片段的邊緣。這是一個多步驟過程,如下所述:
1. 使用“ cvtColor()”將RGB影象轉換為灰度
2. 透過應用模糊函式“ GaussianBlur()”來消除灰度影象中的噪聲
3. 最後將“ Canny()”函式應用於模糊影象以獲得邊緣
邊緣檢測過程的輸出如下所示:
使用Canny演算法的邊緣檢測輸出
請注意,儘管已識別出腦圖片段,但仍有許多不需要的邊緣需要消除,並且某些邊緣之間有間隙需要封閉。
解決這個問題的一種常用方法是形態轉換,它涉及在影象上使用一系列的擴張和腐蝕來去除不需要的邊緣和閉合間隙。
我們在多次迭代中使用OpenCV函式“ dilate()”和“ erode()”來獲得如下輸出。
使用OpenCV對邊緣進行了一些增強
如我們看到的那樣,邊緣現在已經完成並且比以前光滑得多。
現在,我們可以使用OpenCV函式“ findContours()”提取該影象中的輪廓,並僅選擇具有以下屬性的輪廓:
1. 幾何形狀是圓形或橢圓形
2. 面積大於某個閾值(在此示例中,值7000可以正常工作)。
對於第一部分,我們將使用OpenCV的“ boundingRect()”檢測每個輪廓的邊界矩形,並檢查縱橫比(高寬比)是否接近1。
現在我們的任務已經完成,但還需要進行一些微調。
通常情況是在一個片段上檢測到多個重疊的輪廓,而我們只對一個感興趣。
使用非極大抑制可以解決此問題,即我們檢視所有重疊的輪廓,然後選擇面積最大的輪廓作為最終候選輪廓。邏輯非常簡單,因此我們不需要任何內建的OpenCV或Python函式。
另一個重要的邏輯是分別識別四個部分,即左上,右上,左下和右下。
這也非常簡單,涉及識別影象中心座標以及每個檢測到的片段的質心。對段輪廓進行質心檢測需要在輪廓上應用OpenCV “ moments()”函式,然後使用以下公式計算中心 X,Y座標:center_x,center_y =(int(M [“ m10”] / M [” m00”]),int(M [“ m01”] / M [“ m00”]))
將線段質心座標與影象中心座標進行比較,可以將四個線段分別放置在各自的位置。
現在我們已經確定了四個部分,我們需要構建影象蒙版,這將使我們能夠從原始影象中提取所需的特徵。
我們將使用OpenCV函式“ drawContours()”,將顏色用作白色(R,G,B = 255,2555,255),將厚度用作FILLED(-1)在黑色背景上繪製所有四個線段輪廓。結果如下所示:
用於提取我們的ROI的蒙版
在原始影象上應用此蒙版可以在我們選擇的背景(例如黑色或白色)上為我們提供所需的分段。
對於黑色背景,我們建立一個黑色畫布,然後使用OpenCV函式“ bitwise_and()”以及先前獲得的蒙版在其上進行繪製。
在黑色背景上提取的ROI
對於白色背景,我們首先建立一個白色畫布,然後透過使用OpenCV函式“ drawContours()”繪製輪廓為黑色(R,G,B = 0,0,0)且厚度為FILLED的輪廓,如下所示建立顏色反轉的蒙版(-1)。
用於ROI提取的備用倒置掩模(影象源作者)
然後,我們使用OpenCV “ add()”函式將此反向蒙版新增到先前獲得的黑色背景中,並獲得相同的結果,但使用白色背景。
在白色背景上提取的ROI
到此為止,我們總結了幾種方法,可以輕鬆地從影象中提取感興趣區域。
應當注意,在具有變化的複雜度的其他影象的情況下,上面使用的方法可以進行修改。