通過AI和嵌入式視覺，下一代數(shù)字圖像處理技術(shù)能夠提高機(jī)器視覺系統(tǒng)的效率，使設(shè)備能夠適應(yīng)不受控制的現(xiàn)實(shí)世界條件，并將持續(xù)學(xué)習(xí)帶到現(xiàn)場的機(jī)器中。

數(shù)字圖像處理極大地改變了我們用二維視角觀察我們的世界和外面世界的能力。數(shù)字圖像處理最初需要大量的計(jì)算能力來處理低分辨率圖像，但在20世紀(jì)60年代，數(shù)字圖像處理的新發(fā)展為我們提供了第一張?jiān)虑驁D像，改變了我們對地球天然衛(wèi)星的看法。

后來，傳統(tǒng)數(shù)字圖像處理技術(shù)的進(jìn)步又為我們帶來了從醫(yī)療可視化技術(shù)到工廠車間機(jī)器視覺系統(tǒng)等我們賴以生存的技術(shù)。盡管傳統(tǒng)數(shù)字圖像處理技術(shù)帶來了許多創(chuàng)新，但可提升的空間有限。相反，人工智能(AI)和更復(fù)雜的嵌入式視覺技術(shù)的應(yīng)用正在將數(shù)字系統(tǒng)圖像處理推向了一個(gè)全新的水平。

與傳統(tǒng)圖像處理相比，基于AI的圖像處理有哪些優(yōu)勢，如果不是AI專家，您該如何使用它?AI和嵌入式視覺在當(dāng)前和未來都有哪些用途?本文將更深入地探討這些問題。

01 AI與傳統(tǒng)圖像處理的對比

如果所有圖像處理都是在受控環(huán)境中進(jìn)行的，例如具有均勻照明、形狀和顏色的室內(nèi)空間，那么我們幾乎不需要AI。但實(shí)際情況很少是這樣，因?yàn)榇蠖鄶?shù)圖像處理都是在現(xiàn)實(shí)世界中進(jìn)行的——在不受控制的環(huán)境中，如街景或工業(yè)環(huán)境中，不同形狀和顏色的物體是常態(tài)，而不是例外。

AI可以容忍環(huán)境光線、視角、雨水、灰塵、遮擋和其他環(huán)境因素的顯著變化，例如，如果您要在24小時(shí)內(nèi)捕捉街道上行駛的汽車，那么光線和圖像捕捉角度就會不斷變化。

再舉一個(gè)例子，假設(shè)你是一個(gè)大型西紅柿種植者，你需要將西紅柿包裝成三包，以便分發(fā)到雜貨店倉庫。西紅柿的形狀和顏色必須均勻，以滿足倉庫客戶的質(zhì)量控制標(biāo)準(zhǔn)。只有基于AI的成像系統(tǒng)才能支持形狀和顏色的高度變化，僅識別那些形狀和顏色符合成熟度要求的西紅柿。這聽起來不錯，但如果您既不是AI專家，也不是圖像處理方面的專家，您如何實(shí)現(xiàn)這一目標(biāo)?

02 基于AI的圖像處理技術(shù)

自從支持AI的圖形用戶界面(GUI)工具可用于在2D圖像上訓(xùn)練神經(jīng)網(wǎng)絡(luò)以來，已經(jīng)有幾年了。在取得這一巨大成就之前，訓(xùn)練用于機(jī)器視覺和檢測或智能交通平臺的神經(jīng)網(wǎng)絡(luò)需要在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)方面擁有廣泛的專業(yè)知識，這對任何公司來說都是一項(xiàng)昂貴且耗時(shí)的投資。幸運(yùn)的是，隨著時(shí)代的變化，AI工具也隨之發(fā)生了變化。那么，AI圖形用戶界面工具應(yīng)具備哪些功能?

· 靈活性：找到一個(gè)GUI工具，讓您能夠?qū)胱约旱膱D像樣本并訓(xùn)練神經(jīng)網(wǎng)絡(luò)來執(zhí)行分類、對象檢測、分割和降噪，從而獲得更大的靈活性和定制性帶來的好處。

· 本地化：使用一種工具，讓您無需連接到云，就可以在自己的 PC 上對訓(xùn)練數(shù)據(jù)進(jìn)行建模，從而為您提供許多行業(yè)現(xiàn)在所需的更高級別的數(shù)據(jù)隱私。

· 導(dǎo)出以進(jìn)行推理：選擇一款允許您將模型文件導(dǎo)出到推理工具的工具，以便您可以在實(shí)時(shí)視頻流上執(zhí)行。

· 直觀：使用數(shù)值指標(biāo)和熱圖可視化模型性能。

· 利用預(yù)訓(xùn)練模型：使用軟件包附帶的預(yù)訓(xùn)練模型來減少訓(xùn)練工作量。

讓我們看一個(gè)例子。您需要找到并識別特定的硬件零件、螺母、螺釘、釘子和墊圈，但這些零件擠在帶有大量彩色標(biāo)簽的反光表面上(圖1)。使用傳統(tǒng)的圖像處理實(shí)現(xiàn)所需的高魯棒性將非常耗時(shí)，但AI工具可以提供一種對象檢測算法，該算法只需使用幾十個(gè)樣本即可輕松訓(xùn)練。這種類型的軟件工具將使您能夠更快、更輕松地構(gòu)建強(qiáng)大而準(zhǔn)確的定位和檢測系統(tǒng)，從而減少人工開發(fā)時(shí)間及其相關(guān)成本。

智能交通系統(tǒng)(ITS)也與AI圖像處理系統(tǒng)完美匹配。從收費(fèi)管理和交通安全監(jiān)控到超速和闖紅燈執(zhí)法，AI軟件可用于高精度地定位、分割和識別車輛和其他移動和靜止物體。

03 AI軟件工具的開發(fā)過程

AI軟件工具到手后，開發(fā)過程通常有幾個(gè)主要步驟。

首先，您需要創(chuàng)建數(shù)據(jù)，然后編輯和修改數(shù)據(jù)集。您需要獲取訓(xùn)練圖像，并提供與這些圖像相對應(yīng)的注釋。一般來說，您會從遠(yuǎn)程位置的文件夾導(dǎo)入這些圖像，或者從網(wǎng)絡(luò)或PC上的文件夾獲取這些圖像。在此過程中，請記住模型的質(zhì)量取決于模型中數(shù)據(jù)集的質(zhì)量。您還需要選擇一個(gè)具有足夠功率的圖形處理器 (GPU)，以管理圖像處理。

接下來，您將通過訓(xùn)練引擎?zhèn)鬟f數(shù)據(jù)以創(chuàng)建模型。您需要使用結(jié)果進(jìn)行模型測試。這包括使用混淆矩陣來顯示假陽性和假陰性，以及可視化熱圖來顯示神經(jīng)網(wǎng)絡(luò)的激活情況。模型經(jīng)過訓(xùn)練和測試后，就可以導(dǎo)出為模型文件，用于圖像處理應(yīng)用程序。

04 即插即用的嵌入式視覺功能

作為一個(gè)話題，嵌入式視覺彌合了許多不同的解釋。有多種不同的方案可供選擇，包括帶有內(nèi)置 AI 的嵌入式視覺平臺，每個(gè)用戶在做出決定之前都應(yīng)該權(quán)衡各種選項(xiàng)(包括成本)。

嵌入式視覺可能包括帶有嵌入式處理器或現(xiàn)場可編程門陣列(FPGA)的攝像頭、可編程視覺傳感器或智能攝像頭，或具有靈活嵌入式應(yīng)用的通用機(jī)器。無論采用何種方式部署，嵌入式視覺應(yīng)用都以其體積小、重量輕、功耗低等優(yōu)點(diǎn)而著稱。

嵌入式視覺應(yīng)用還可以減少從相機(jī)到主機(jī)PC的數(shù)據(jù)量，從而減少通過管道的數(shù)據(jù)量。此外，它還具有其他優(yōu)勢，包括降低成本(因?yàn)榍度胧揭曈X應(yīng)用不需要PC上昂貴的 GPU 卡)，以及可預(yù)測的性能、離線操作(不需要網(wǎng)絡(luò)連接)和易于設(shè)置。如果您正在尋找一款易于設(shè)置和部署到現(xiàn)場的一體化產(chǎn)品，嵌入式視覺可以提供實(shí)實(shí)在在的好處。嵌入式視覺非常適合工業(yè)應(yīng)用，例如在防錯和識別過程中使用。

在防錯過程中的應(yīng)用

· 模式匹配，檢查存在、位置;

· 特征或部件存在/缺失/計(jì)數(shù);

· 特征或零件測量;

· 通過顏色進(jìn)行零件或裝配驗(yàn)證。

在識別過程中的應(yīng)用

· 產(chǎn)品驗(yàn)證：讀取產(chǎn)品代碼以避免標(biāo)簽混淆;

· 標(biāo)記驗(yàn)證：驗(yàn)證產(chǎn)品類型、批次、日期代碼;

· 質(zhì)量驗(yàn)證：檢查標(biāo)記、標(biāo)簽位置、特征存在/缺失;

· 裝配驗(yàn)證：在制造的每個(gè)階段跟蹤裝配歷史記錄;

· 物流：確保收貨、揀選、分揀和運(yùn)輸?shù)恼Ａ鞒獭?/p>

05  集成AI和嵌入式視覺

無論是單獨(dú)使用還是一起使用，AI和嵌入式視覺都標(biāo)志著數(shù)字圖像處理的進(jìn)化飛躍。例如，一款執(zhí)行紅燈和限速的交通應(yīng)用軟件使用嵌入式視覺系統(tǒng)以最有效的方式捕獲圖像。然后，它使用AI來幫助設(shè)備在不同的天氣和照明條件下可靠地運(yùn)行。是下雨還是下雪?光線是亮的還是暗的?AI的實(shí)現(xiàn)使設(shè)備能夠適應(yīng)不受控制的現(xiàn)實(shí)世界條件。

通過AI和嵌入式視覺，下一代數(shù)字圖像處理技術(shù)可以確定汽車是否有足夠的乘客進(jìn)入拼車車道，駕駛員是否在車內(nèi)使用手機(jī)，或者駕駛員和乘客是否系安全帶。這種智能水平可以使駕駛員考慮得更周到，并且可以更安全地駕駛汽車。

雖然傳感、處理和軟件技術(shù)以及智能相機(jī)的進(jìn)步，是我們在AI圖像處理和嵌入式視覺系統(tǒng)方面取得進(jìn)展的主要原因，但我們也不能忽視邊緣AI的崛起。邊緣AI降低了成本和帶寬，因?yàn)榇罅繑?shù)據(jù)不會持續(xù)發(fā)送到云端進(jìn)行處理，同時(shí)還降低了延遲，從而提高了隱私性并提升了應(yīng)用性能。

而這僅僅是利用這些較新的圖像處理技術(shù)所能實(shí)現(xiàn)的目標(biāo)的開始。一旦我們能夠?qū)ⅰ俺掷m(xù)學(xué)習(xí)”帶到現(xiàn)場的機(jī)器中，我們就會擁有在運(yùn)行時(shí)自動學(xué)習(xí)的設(shè)備。通過使現(xiàn)有模型適應(yīng)上下文變化，持續(xù)學(xué)習(xí)使開發(fā)團(tuán)隊(duì)無需在實(shí)驗(yàn)室中執(zhí)行強(qiáng)制性的完整模型重新訓(xùn)練，從而節(jié)省了無數(shù)的人力時(shí)間。

這種方法的一個(gè)很好的例子是使用無人機(jī)在多個(gè)高度飛行進(jìn)行交通監(jiān)控。我們可以使用在單一高度(如 10 米)收集的圖像來訓(xùn)練初始模型。一旦部署到現(xiàn)場，持續(xù)學(xué)習(xí)算法就會啟動，當(dāng)無人機(jī)在其他高度飛行時(shí)自動“調(diào)整 ”模型。

如果沒有持續(xù)學(xué)習(xí)算法，無人機(jī)每達(dá)到一個(gè)高度，我們就必須重新訓(xùn)練模型，以獲得準(zhǔn)確的性能。但有了持續(xù)學(xué)習(xí)，模型就能對尺寸、距離以及飛行器視角的變化做出反應(yīng)。圖像處理技術(shù)中的這種即時(shí)學(xué)習(xí)方式極大地改進(jìn)了應(yīng)用性能。