【導(dǎo)讀】在更快的連接速度、更高的自動(dòng)化程度和更智能系統(tǒng)的推動(dòng)下,工業(yè)4.0加快了視覺技術(shù)在制造業(yè)中的應(yīng)用,并將智能化引入到以往簡(jiǎn)單的數(shù)據(jù)采集系統(tǒng)中。上一代視覺系統(tǒng)負(fù)責(zé)捕捉圖像,對(duì)其進(jìn)行封裝以供傳輸,并為后續(xù)的FPGA、ASIC或昂貴的SoC等器件提供圖像數(shù)據(jù)進(jìn)行處理。如今,工業(yè)5.0更進(jìn)一步,通過在整個(gè)數(shù)據(jù)通路中融入人工智能(AI)與機(jī)器學(xué)習(xí)(ML),實(shí)現(xiàn)大規(guī)模定制化。攝像頭變得智能化,具備在應(yīng)用層面處理的圖像數(shù)據(jù),僅輸出用于決策的元數(shù)據(jù)。
在更快的連接速度、更高的自動(dòng)化程度和更智能系統(tǒng)的推動(dòng)下,工業(yè)4.0加快了視覺技術(shù)在制造業(yè)中的應(yīng)用,并將智能化引入到以往簡(jiǎn)單的數(shù)據(jù)采集系統(tǒng)中。上一代視覺系統(tǒng)負(fù)責(zé)捕捉圖像,對(duì)其進(jìn)行封裝以供傳輸,并為后續(xù)的FPGA、ASIC或昂貴的SoC等器件提供圖像數(shù)據(jù)進(jìn)行處理。如今,工業(yè)5.0更進(jìn)一步,通過在整個(gè)數(shù)據(jù)通路中融入人工智能(AI)與機(jī)器學(xué)習(xí)(ML),實(shí)現(xiàn)大規(guī)模定制化。攝像頭變得智能化,具備在應(yīng)用層面處理的圖像數(shù)據(jù),僅輸出用于決策的元數(shù)據(jù)。
這兩代之間的關(guān)鍵發(fā)展是關(guān)注邊緣端發(fā)生的變化。我們世界本質(zhì)上以模擬為主,許多幫助我們?nèi)粘I畹碾娮优c機(jī)電(EEM)系統(tǒng)都是由各類感知輸入驅(qū)動(dòng)的。視覺(光)、溫度(熱)、音頻(聲)、距離與位置、壓力(觸覺)等系統(tǒng)邊緣端的電子傳感器采集這些物理輸入,并將其轉(zhuǎn)化為處理后的數(shù)據(jù),以實(shí)現(xiàn)智能化并方便決策制定。
工業(yè)4.0提出了對(duì)這類傳感器智能和高效的需求。如今,非工業(yè)及商業(yè)應(yīng)用領(lǐng)域的眾多傳感器不斷發(fā)展,從基礎(chǔ)類型發(fā)展到符合工業(yè)自動(dòng)化流程和標(biāo)準(zhǔn)的增強(qiáng)版本。
在大規(guī)模采用傳感器的同時(shí),人們也在推動(dòng)更低功耗的電池驅(qū)動(dòng)智能設(shè)備廣泛應(yīng)用。功耗給視覺系統(tǒng)帶來了不同的挑戰(zhàn),而圖像傳感器如何以創(chuàng)新的方法解決這些挑戰(zhàn),同時(shí)提供卓越的性能,將成為視覺系統(tǒng)的差異化因素。
圖像傳感器--視覺感知的輸入機(jī)制
視覺感知已成為在邊緣端采集數(shù)據(jù)的重要方式之一,收集到的圖像數(shù)據(jù)能夠被快速且高效地用于決策制定。例如,若無視覺傳感器,場(chǎng)景中的物體需要無數(shù)個(gè)特定的傳感器來傳達(dá)場(chǎng)景的構(gòu)成。這會(huì)產(chǎn)生大量數(shù)據(jù)并需要龐大的處理工作,或許還得靠好運(yùn)氣,才能得到場(chǎng)景的真實(shí)呈現(xiàn)。另外,在高效的系統(tǒng)中,一張圖像就可以在一幀數(shù)據(jù)中傳達(dá)場(chǎng)景中的所有信息。
這種簡(jiǎn)便的數(shù)據(jù)表現(xiàn)形式使圖像傳感器得以加速發(fā)展,為智能手機(jī)等消費(fèi)類移動(dòng)產(chǎn)品提供支持,其分辨率超過一億像素,在硬件和軟件的支持下,為靜態(tài)圖像和視頻流提供卓越的細(xì)節(jié)特征。由于移動(dòng)產(chǎn)品主要服務(wù)于娛樂和個(gè)人應(yīng)用,因此其制定決策的目標(biāo)略有不同。然而,面向汽車、工業(yè)和商業(yè)應(yīng)用的視覺系統(tǒng)服務(wù)于高度以目標(biāo)為導(dǎo)向的需求,其中許多系統(tǒng)使用(傳感器)輸出進(jìn)行基于機(jī)器的決策,并要求在分辨率、幀率和功耗之間達(dá)到精細(xì)平衡。
隨著邊緣智能的重要性日益增強(qiáng),這些應(yīng)用必須適應(yīng)不同用例需求。現(xiàn)在,許多應(yīng)用都需要更高的分辨率和更出色的整體性能,以輔助計(jì)算機(jī)視覺、機(jī)器視覺和自動(dòng)化決的策系統(tǒng)。
很多情況下,人們非??释@得更豐富的細(xì)節(jié),因?yàn)檫@些細(xì)節(jié)有助于減少錯(cuò)誤決策。隨著分辨率的提高,圖像傳感器中的像素?cái)?shù)量也會(huì)增加,相應(yīng)地,傳感器向圖像信號(hào)處理器(ISP)或系統(tǒng)芯片(SoC)提供的圖像數(shù)據(jù)量也會(huì)增加。傳感器產(chǎn)生的大量圖像數(shù)據(jù)以及ISP/SoC對(duì)這些數(shù)據(jù)的處理會(huì)導(dǎo)致高功耗,從而給視覺系統(tǒng)設(shè)計(jì)帶來巨大負(fù)擔(dān)。
現(xiàn)在,設(shè)計(jì)人員需要應(yīng)對(duì)高功率電子元件帶來的高功率傳輸、功耗和系統(tǒng)物料清單(BOM)成本等問題。雖然降低功耗是大勢(shì)所趨,但熱管理也是一個(gè)挑戰(zhàn),因?yàn)榇蠖鄶?shù)視覺系統(tǒng)都依賴對(duì)流氣流來散發(fā)系統(tǒng)中產(chǎn)生的熱量。圖像傳感器對(duì)熱量高度敏感,如果不能選擇適當(dāng)?shù)脑O(shè)計(jì)并有效管理上述因素,就會(huì)產(chǎn)生不可靠的視覺系統(tǒng)。
一切始于量子效率
圖像傳感器的量子效率(QE)是指光電二極管最大限度地將入射光子轉(zhuǎn)換成電子的能力。眾所周知,QE越高,圖像亮度越好。更高的QE值在弱光條件下非常重要,這通常通過使用更大的像素尺寸或在場(chǎng)景中添加可見光或不可見光來實(shí)現(xiàn)。無論哪種方法,都會(huì)增加視覺系統(tǒng)必須支持的成本、功耗和空間,并可能會(huì)根據(jù)圖像傳感器的性能和場(chǎng)景條件呈指數(shù)級(jí)增長(zhǎng)。
這在通常使用紅外發(fā)光二極管(IR LED)的不可見照明情況下尤其嚴(yán)重,其產(chǎn)生的光波長(zhǎng)為850nm和940nm。這些波長(zhǎng)能被圖像傳感器探測(cè)到,但人眼無法察覺。在行業(yè)中,這通常被稱為"主動(dòng)照明"。紅外發(fā)光二極管需要供電并產(chǎn)生功耗,占用大量空間,并顯著增加系統(tǒng)BOM成本。在近紅外光譜中具有高量子效率的圖像傳感器能夠在不犧牲圖像質(zhì)量的前提下,減少其使用數(shù)量、降低光照強(qiáng)度以及總體BOM成本。
圖像質(zhì)量更高,總體擁有成本更低
重要的是要確保圖像傳感器像素提供的高QE不會(huì)受到數(shù)據(jù)通路其他部分噪聲的影響,從而影響整體圖像質(zhì)量。例如,如果像素結(jié)構(gòu)沒有足夠的像素間隔,像素間串?dāng)_就會(huì)降低調(diào)制傳遞函數(shù)(MTF)和對(duì)圖像的對(duì)比度/清晰度,最終影響圖像質(zhì)量。另一個(gè)可能造成損害的因素是讀出電路性能不佳導(dǎo)致的高讀取噪聲。
圖像質(zhì)量不佳會(huì)給ISP/SoC帶來不必要的負(fù)擔(dān),使其需要處理更多的數(shù)據(jù),從而降低視覺系統(tǒng)的整體幀率,或者以更高的時(shí)鐘頻率運(yùn)行來維持相同的端到端時(shí)序。在前一種情況下,視覺系統(tǒng)的效率會(huì)大大降低,而無論哪種情況,系統(tǒng)最終都會(huì)產(chǎn)生更多的功耗。為了應(yīng)對(duì)處理負(fù)擔(dān),可能需要配備更先進(jìn)資源的ISP/SoC,這將進(jìn)一步增加總體BOM成本。而優(yōu)秀的圖像輸出質(zhì)量能夠緩解上述種種不足,降低視覺系統(tǒng)的總體擁有成本。
子采樣模式
安森美公司的圖像傳感器(例如HyperluxTM LP產(chǎn)品系列)已經(jīng)意識(shí)到這些操作需求,并集成了多種子采樣模式。這些模式,如合并(Binning)、裁剪(Cropping)和跳采(Skipping),能夠大大減少生成和傳輸所需的帶寬。
這些功能使視覺系統(tǒng)變得非常智能,能夠根據(jù)用例需求選擇最優(yōu)的功耗/性能配置。例如,在生物識(shí)別掃描儀中,現(xiàn)在可以利用配備500萬(wàn)像素傳感器陣列的單個(gè)系統(tǒng),以逐漸增強(qiáng)的掃描方式,完成子采樣模式下的單個(gè)指紋掃描到全分辨率面部掃描。最重要的是,ISP/SoC接收到的數(shù)據(jù)量減少,從而降低了其自身及整個(gè)視覺系統(tǒng)的功耗。
縮減數(shù)據(jù)規(guī)模
高分辨率圖像傳感器會(huì)占用大量帶寬來輸出數(shù)據(jù)。例如,以60幀/秒速度工作的2000萬(wàn)像素傳感器將傳輸12 Gbps圖像數(shù)據(jù),這些數(shù)據(jù)不僅需要在傳感器內(nèi)部的高速接口中妥善處理,還需要由接收這些數(shù)據(jù)的ISP/SoC進(jìn)行處理。處理如此龐大的數(shù)據(jù)需要在這些處理引擎中投入昂貴且專用的資源和電力,并可能導(dǎo)致大量的功耗/熱管理問題。此外,接口速度的限制也增加了這一挑戰(zhàn)。
在大多數(shù)應(yīng)用中,可能只有小部分時(shí)間需要在全分辨率下全速運(yùn)行,其余時(shí)間則僅需較低分辨率。雖然子采樣模式可以降低帶寬并有其自身優(yōu)勢(shì),但在分辨率選擇或場(chǎng)景完整性方面會(huì)受到一定的限制。
傳感器內(nèi)的縮放器有助于克服這些限制,有效滿足低分辨率操作的需求。它們能夠在源頭控制帶寬,而不是由ISP/SoC 管理。它們能夠在最大程度上提供精細(xì)的粒度控制,同時(shí)保持完整的視場(chǎng)角(FOV)。
安森美AR2020 圖像傳感器(Hyperlux LP 產(chǎn)品系列的2000萬(wàn)像素成員)的圖像縮放算法非常復(fù)雜,即使在分辨率大幅縮放的情況下,也能提供出色的圖像質(zhì)量。舉例來說,雖然獲取遠(yuǎn)距離物體的細(xì)節(jié)確實(shí)需要2000萬(wàn)像素,但可能只需要圖像的某個(gè)特定區(qū)域,而不是整個(gè)圖像。通過對(duì)這一動(dòng)態(tài)定義的區(qū)域進(jìn)行裁剪或縮放,就可以獲得2000萬(wàn)像素傳感器的優(yōu)勢(shì),而無需持續(xù)處理相當(dāng)于2000萬(wàn)像素的數(shù)據(jù)。
盡可能休眠,按需喚醒
傳感器可以處于極低的工作狀態(tài),在大多數(shù)工作時(shí)間內(nèi)以低分辨率、最低幀速率運(yùn)行。當(dāng)檢測(cè)到運(yùn)動(dòng)時(shí),它會(huì)切換到預(yù)定的配置--運(yùn)動(dòng)喚醒(WOM)模式。圖像傳感器有能力處理這些變化,并讓ISP/SoC將其切換到所需的模式/配置。它還能進(jìn)一步屏蔽與應(yīng)用無關(guān)的運(yùn)動(dòng)區(qū)域,從而使傳感器和視覺系統(tǒng)更加精準(zhǔn)、高效。以前,這一功能是在處理器中完成的,但在傳感器上實(shí)現(xiàn)這一功能可減少系統(tǒng)資源和功耗。
我們可以看到這些功能在電池供電的應(yīng)用、智能門禁系統(tǒng)、零售掃描儀、醫(yī)療監(jiān)測(cè)系統(tǒng)等類似應(yīng)用中產(chǎn)生的深遠(yuǎn)影響。電池供電的應(yīng)用從這些傳感器中獲得了最大的好處,因?yàn)樗鼈兛梢宰畲笙薅鹊亟档拖到y(tǒng)功耗。
在4K視頻門鈴應(yīng)用中,像安森美AR0830這樣的800萬(wàn)像素圖像傳感器在滿負(fù)荷狀態(tài)下會(huì)傳輸6G數(shù)據(jù),但現(xiàn)在它可以在WOM模式下運(yùn)行超過98%的工作時(shí)間。在預(yù)檢測(cè)階段,它產(chǎn)生/傳輸?shù)臄?shù)據(jù)量極低,整個(gè)視覺系統(tǒng)的運(yùn)行功耗僅為全工作模式下的一小部分。
迄今為止,圖像傳感器作為數(shù)據(jù)捕捉和數(shù)據(jù)傳輸器件一直表現(xiàn)出色。正如安森美Hyperlux LP產(chǎn)品系列中所展現(xiàn)的那樣,上述趨勢(shì)和進(jìn)步使這些傳感器成為內(nèi)置智能應(yīng)用的強(qiáng)大邊緣器件。通過集成更好的像素技術(shù)、可配置的智能關(guān)注區(qū)域、運(yùn)動(dòng)檢測(cè)等功能,現(xiàn)在可以被設(shè)計(jì)用來滿足特定的用例需求,從而打造出性能卓越且功耗極低的差異化高效視覺系統(tǒng)。
文章來源:安森美
免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請(qǐng)聯(lián)系小編進(jìn)行處理。
推薦閱讀:
芯原汪志偉:芯原IP、平臺(tái)、軟件整套解決方案,助力AIGC算力進(jìn)一步升級(jí)