近年來,隨著人工成本的上升與國家產業的轉型升級,智慧製造已經成為未來工業生產的必然發展方向。而在智慧製造中,AGV、機器視覺、工業網際網路是當前最受資本青睞,及市場需求最高的三項。
以機器視覺為例,據IHS Markit相關資料顯示,2019年全球機器視覺市場規模將達到43億美元,而中國機器視覺市場規模在2018年便達到53.79億元,同比增長27.95%,預計未來5年中國機器視覺市場將保持20%以上的增速。與此同時,機器視覺市場仍然不太成熟,許多技術仍待突破,而這些技術上的缺陷,也將成為未來企業發展的機遇。
結構光輔助機器視覺收集3D資訊 藉助雲端計算快速建模
當前機器視覺主要應用在生產線中,提升大批量、可持續生產產線的自動化程度,極大提高了工業生產效率和產品進度,同時釋放人力資源從事高附加值的工作。在工業生產中,機器視覺主要應用場景在識別/計數、視覺定位、尺寸測量和外觀檢測這幾大功能。
在外觀缺陷檢測上,機器視覺通常會使用3D成像,而當前3D機器視覺研究的核心在於如何實現成像過程的可逆,即如何由2D資訊恢復成3D資訊,其中最為關鍵的點在於如何獲取3D資訊。
為此,《華強電子》記者採訪到了深圳辰視智慧科技有限公司董事長馮良炳,他認為:“如何快速、準確地獲取目標物體或者目標場景的3D資訊一直以來都是學術界與工業界的一個熱點問題。特別在工業領域的應用需要達到工業產能的要求,必須實現快速的3D資訊的獲取,用於後續的識別與檢測。同時,工業工件沒有紋理,這也是工業場景3D資訊獲取的一個難點問題。”
那麼如何來解決這一問題,馮良炳表示:“在解決這個問題上,深圳辰視智慧科技有限公司做出一些創新性研究與開發。投影正弦結構光增強工業場景的紋理並加速場景3D視覺資訊的提取。利用正弦結構光投影的方法,可以實現亞畫素的點雲端計算,能夠保證工業工件的識別和精確定位定姿。我們對利用結構光進行場景3D資訊獲取的點雲端計算方法實現了優化,可以實現1秒內完成拍攝與點雲端計算。從而實現了工業場景的快速建模,達到工業生產節奏的需求。”
同時,在解決這一問題上,西安知微感測技術有限公司市場總監何偉表示:“3D成像的方案有很多種,如雙目,結構光,ToF(飛行時間),知微感測採用的是動態結構光方案:即向物體投射可動的編碼光柵。”
“如圖所示,我們的系統由一個攝像機和一個獨特的鐳射結構光投影儀組成。測量時,結構光投影儀向被測物體投射一組明暗相間的光柵影象,使用攝像機同時拍攝經被測物體表面調製而變形的2D光柵影象,然後利用拍攝得到的光柵影象,根據變形情況通過演算法計算出被測物體表面的3D資訊。我們的方案兼具了高精度和大景深的優點,同時比傳統方案在體積,散熱,成本上都有著明顯的優勢。”
可以看到,當面對目前複雜被測物時,廠商如果需要通過機器視覺來進行3D影象的檢測,通常辦法為加強工業場景的紋理,使用結構光向物體進行投影,再通過點雲端計算來根據投影變形的情況計算出被測物體表面的3D資訊。
而在具體應用場景中,使用機器視覺進行產品檢測時,生產線中的產品通常並不會停下來等待檢測,而會以一種勻速通過,排除一些通過抽檢方式進行檢測的情況。如果想要不影響生產效率,只能在生產線中進行動態檢測,而這對於機器視覺的計算要求也將變得極高。
生產環境影響機器視覺檢測 多鏡頭組合靈活調整減少誤差
在運用機器視覺對工業生產線產品檢測的過程中,也有可能遇到許多問題,如果生產具有反射材質的產品,將對3D成像提出極大地挑戰。同時,在生產環境中,粉塵、環境光等因素也將客觀存在,這些因素都會對機器視覺檢測造成許多影響。
如何面對帶有漫反射及高光反射的產品進行檢測,何偉認為:“現有的3D視覺方案對於漫反射材質的物體能夠實現良好的資料採集,對於如透明或者高反光的物體表現不佳,在這一塊知微感測在研的一款新產品可以很好的解決高反物體在不同角度下(無序堆放時物體傾斜角度會千差萬別)的資料採集,它將採用多目+動態結構光的方案,同時產品也將繼承RGB攝像頭,可以使用RGB資訊通過深度學習的方法實現複雜物品的分割,更好適應產線的自動化。”
高光反射物體讓3D視覺在檢測時,運用結構光很容易產生偏差,但通過多目及動態結構光方案,同時結合RGB攝像頭,能夠從多方位對產品進行檢測,最大限度的排除由於光反射所造成的偏差。
針對工業生產環境中的複雜性,馮良炳認為:“應用多種方法增強了3D資訊獲取時的環境適應性。工業場景的大部分情況下,環境光、震動、煙塵等干擾視覺系統對3D資訊獲取的因素都不同程度的存在;很多情況下,這些干擾因素還是比較嚴重的。針對這些問題,深圳辰視智慧科技在產品研發中做出了大量的優化和創新工作,確保3D資訊獲取的穩定有效。例如:在環境光的變化方法,我們在產品中加入自動感知,讓系統可以實時感知環境光的強弱變化,從而對應調整相機與投影,確保3D點雲的生成。”
在生產環境中,複雜的環境因素是不可避免的,尤其是煙霧、粉塵、震動等因素,導致機器視覺很難獲取準確的3D資訊。而通過對環境的感知,及時動態調整相機及投影方式,能夠在一定程度上對3D資訊進行矯正,減少對3D資料的丟失。
適量收集3D資訊 人工智慧深度學習仍需改進
廠商選擇在生產線中配置機器視覺3D檢測功能時,希望在檢測過程中能夠保證準確率,同時不希望該項檢測系統影響自己的生產效率。而3D視覺準確率的保障通常依賴於3D資訊的採集,3D資訊採集越多,則準確性越高,但成本也會更高。
雖然3D資訊接收的越多可以保證檢測的準確率,但廠商往往會對3D資訊進行過量收集,從而造成成本浪費,馮良炳表示:“應用多種組合實現3D資訊量的獲取正好適合於應用的需求。3D資訊獲取量越大需要的資源就越多,所用的時間成本就會越高。因此,工業應用需要正好合適的3D資訊量,如果太少的資訊量就不能實現工業的識別、檢測等需求;如果太多的資訊量就會造成工業裝置成本的上升,影響企業的利潤。”
為此,馮良炳也給出了相應的解決方案:“深圳辰視智慧科技的3D視覺感應器,根據工業應用場景的不同採用2-6個不同選擇的多相機組合系統,同時多解析度的相機系統也可根據場景進行自由配合;正弦光的投影也採用多型別、多亮度的可選擇系統。這樣可以保證工業應用獲取最合適的3D資訊量,為使用者降低成本。”
根據實際應用場景來對相機進行自由組合搭配,通過除錯可以讓結構光投影達到最佳的觀察效果,不僅能幫助廠商用最少的裝置來達到更高的檢測率,還能廠商購買提高3D視覺的價效比。
當然,目前而言3D資料的採集及處理都還在完善當中,何偉表示:“目前工業領域高精度的3D資料採集很多方案還需要藉助高效能的PC進行計算,隨著柔性化生產要求越來越高,視覺整合需要更高的自由度,這就需要嵌入式的視覺方案,我們目前提供的3D相機是繼承了片上計算,實現不佔用客戶的計算資源直接輸出三維點雲資料,整合度上已經大幅提升,成本也隨之更低。產業的成熟,深度學習是一個重要的技術手段,不過仍需要獲取基礎的3D資料,這方面也已經有很多公司在嘗試,基本上還是在某些特定的應用場景下,工業行業大範圍應用還需時日。”
有機器視覺業內人士分析,機器視覺在工業領域中的發展趨勢主要可以分為三個階段,一是成長階段,以3D視覺為主;第二為建立階段,以嵌入式視覺為主;第三為成熟階段,以深度學習為主。顯然從現在來看,仍處於收集產品3D資訊的階段。
編者認為,當前機器視覺應用在工業生產檢測中主要有幾個難點,一是需要對檢測物體進行3D成像;二是成像過程中需要準確收集被測物體的3D資訊,避免3D視覺系統漏檢;三是在收集完被測物體的3D資訊後,通過人工智慧深度學習的方式來辨別被測物體是否具有缺陷。而今這些問題已經逐漸被廠商所破解,但一些方法還不適用於普遍生產環境,只侷限在實驗室當中,大範圍應用還需一定時間。