一.概述
結(jié)構(gòu)光(Structuredlight),通常采用特定波長的不可見的激光作為光源,它發(fā)射出來的光帶有編碼信息,投射在物體上,通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息,鏡頭需要定制鏡頭或者特殊鏡頭設計。
光飛行時間法(TOF),利用測量光飛行時間來取得距離,簡單來說就是,發(fā)出一道經(jīng)過處理的光,碰到物體以后會反射回來,捕捉來回的時間,因為已知光速和調(diào)制光的波長,所以能快速準確計算出到物體的距離。
TOF技術(shù)主要是為了實現(xiàn)3D成像而生,X,Y兩維的手機拍照大家都非常熟悉了,TOF在其基礎上增加了Z軸的深度信息。實現(xiàn)3D的其他方案還包括,散斑結(jié)構(gòu)光、編碼結(jié)構(gòu)光、雙目視覺以及雙目結(jié)構(gòu)光等,iPhoneX使用的就是散斑結(jié)構(gòu)光方案,而 iPhoneXs同樣采用了結(jié)構(gòu)光方案。
相對結(jié)構(gòu)光方案,TOF的3D方案實現(xiàn)起來更為簡單,主要包括投射器和接收模組,通過控制投射器發(fā)出經(jīng)調(diào)制的近紅外光波,遇物體后反射,接收模組計算發(fā)射光波和接收光波的時間差或相位差,換算成被拍攝景物的距離,以獲取深度信息。
二.ToF方案的幾個優(yōu)點
優(yōu)點一,工作距離遠,可以獲得5m內(nèi)的有效&實時深度信息。
優(yōu)點二,適用場景廣,無論被攝物體有無特征點,無論環(huán)境光較強(如:日光)或較弱,都可獲得有效的景深信息。
優(yōu)點三,較遠距離精度高,ToF在手機與被攝物體的絕對精度,即被攝物體之間的相對精度,都可以達到厘米級的水平。
三.ToF方案的幾個缺點
缺點一:當前手機端可用的主流ToF傳感器分辨率相對較低(180*240,240*320,240*480等),因此在近距離的精度和X/Y分辨率也會相對較低,大家感興趣可以自行了解前置結(jié)構(gòu)光的精度。
缺點二:元件在工作時的功耗與發(fā)熱量也相對較大,長時間工作需要很好的散熱條件,在消費類電子設備上使用還需要不斷優(yōu)化。
缺點三:目前基于ToF方案的解決方案還未完全成熟,相應的內(nèi)容生產(chǎn)和開發(fā)群體較為薄弱,支持的應用場景較少。
四.TOF技術(shù)的改進
TOF技術(shù)由來已久,并不是近期火起來的新產(chǎn)品,今年應用于智能手機端算是個突破,這也要歸功于近幾年TOF技術(shù)的不斷進步。
TOF這個3D模塊中最核心的器件在于TOF芯片,它集眾多功能于一身,包括驅(qū)動投射器,接收反射光線,進而生成raw圖,再送給軟件處理成深度信息。
前些年的TOF芯片多是CCD類型的,功耗和發(fā)熱在實際使用中是一個大問題,這也是TOF由來已久卻遲遲沒有應用于手機端的原因之一。芯片廠商致力于技術(shù)的創(chuàng)新改良,使TOF芯片從CCD轉(zhuǎn)向CMOS,在功耗方面實現(xiàn)了很大的突破,使TOF應用于便攜手機成為可能。而且CMOS芯片以其復雜的邏輯結(jié)構(gòu),可以實現(xiàn)將高速率多幀圖像合成單張圖像用以計算最終的深度,降低圖像噪聲以提高深度的精度。
方案上,3D結(jié)構(gòu)光投射的是散斑或編碼圖案,接收模組需要拍攝到清晰的圖案才能計算出深度。而隨著距離的增加,投出的圖案或出現(xiàn)模糊,或出現(xiàn)亮度能量上的衰減,導致深度圖不完整,出現(xiàn)破洞,甚至于失效,所以3D結(jié)構(gòu)光并不適用于遠距離深度信息采集。
TOF技術(shù)發(fā)射的不是散斑或編碼圖案,而是面光源,在一定距離內(nèi)光信息不會出現(xiàn)大量的衰減,配合TOF芯片背照式的、大pixel size的設計,大幅提升了光線收集率和測距速度,使遠距離應用成為可能。這也是TOF可以被用作手機后攝,而結(jié)構(gòu)光無法用作后攝的原因之一。
五.TOF vs 3D結(jié)構(gòu)光
外形尺寸應用
iPhoneX/Xs特色的長留海一度被網(wǎng)友吐槽,其實這是3D結(jié)構(gòu)光結(jié)構(gòu)上的局限造成的。熟悉結(jié)構(gòu)光的朋友都清楚,結(jié)構(gòu)光的精度和Baseline(投射器和接收模組的距離)關系非常大,Baseline間隔越長,精度就越高。常用的Baseline至少需要保證20mm以上,iPhoneX更是選擇了27mm的Baseline,所以長留海也是不得已而為之的設計。
觀TOF就沒有Baseline的要求,投射器和接收模組可以緊挨在一起,尺寸上會更加緊湊。
在器件組成上,TOF投射器組成更簡單,供貨也會更容易保障。
TOF投射器主要包括VCSEL+Diffuser。TOF的VCSEL并不像結(jié)構(gòu)光那樣對編碼圖案有一定要求,只是最常規(guī)的規(guī)則排列,器件制作上更為簡單,可供選擇的VCSEL供應商也會更多。結(jié)構(gòu)光的VCSEL需要制作成特定的圖案,對圖案表現(xiàn)的一致性、器件高溫漂移情況、發(fā)熱表現(xiàn)、耐環(huán)境高溫等都會有更高的要求,總體來說,對VCSEL供應商的工藝及設計能力以及產(chǎn)品良率上考驗更大。TOF的Diffuser的設計制作難度,相對于結(jié)構(gòu)光投射器中的DOE不可同日而語,能穩(wěn)定供應DOE的廠商全球范圍內(nèi)屈指可數(shù),而Diffuser的生產(chǎn)則表現(xiàn)得更加容易,供貨廠商也更多。
TOF最具技術(shù)含金量的器件就是TOF芯片,然而TOF芯片和普通的可見光CMOS芯片在基礎構(gòu)造上大同小異。目前芯片資源多來自日本的Sony,還有其他幾家日本、美國等供應商。眾所周知,Sony長久以來一直作為手機攝像頭CMOS芯片主力提供商,已穩(wěn)定供貨長達十幾年之久,在品質(zhì)和供貨上均有保證。有這樣強大的芯片設計和生產(chǎn)背景,相信在TOF芯片的供貨保證上也不會讓人失望。
六.生產(chǎn)應用的復雜度
結(jié)構(gòu)光主要瓶頸在于模組的產(chǎn)品良率較低,無法正常供貨。事實上,結(jié)構(gòu)光對組裝精度要求之高,業(yè)內(nèi)已不是秘密,主要受制于它是通過三角測量法來計算深度信息的工作原理。一旦Baseline有所偏移,或者投射接收模組之間的角度發(fā)生偏移,都會帶來深度計算的誤差。這是對模組供應商和手機廠商生產(chǎn)能力的一種考驗,而且低良率勢必帶來高成本和昂貴的價格。TOF深度計算的原理則完全不同,是通過TOF芯片接收反射回來光線的相位差來計算深度,只需確保相位接收正確,對組裝精度要求更低,生產(chǎn)上會容易得多。
七.結(jié)構(gòu)光的算法大戰(zhàn)
2017年是結(jié)構(gòu)光被火熱追捧的一年,然而并沒有像大眾所預想的那樣,在手機端廣泛鋪開被使用。除了前面提到的制作工藝,以及器件供應上的難度,更大的原因可能還是在于算法。
結(jié)構(gòu)光的算法原理在實現(xiàn)上看起來并不難,難的是算法的優(yōu)化,如何讓算法工作起來輕松便捷,功耗低,占用資源少是最難的問題。大多結(jié)構(gòu)光算法運算數(shù)據(jù)量較為龐大,需要附加額外的算法處理芯片到手機端。
大陸手機廠可供選擇的成熟算法廠商并不多,大多算法公司之前只止步于常規(guī)安防或者商用等階段,沒有在手機類消費便攜設備上使用的經(jīng)驗,有些算法公司甚至還停留于實驗演示階段,遠遠無法滿足便攜設備對于功耗低、發(fā)熱低、尺寸小、易集成等方面的要求。加上算法公司難以適應手機端突然到來的結(jié)構(gòu)光熱潮,很多算法公司的精力都只夠支持1~2家手機終端的應用。算法資源非常緊缺,一度出現(xiàn)了手機終端搶占算法資源的現(xiàn)象。
TOF的核心算法在于深度信息的生成,通常由TOF芯片廠商提供Library,放在手機AP里面調(diào)用,算法整體運算量并不大,不需要額外附加處理芯片,對AP本身的硬件能力要求也相對不高。相同的方案和算法Library可供不同的手機廠商采用,移植簡單靈活,通用性更廣,不像結(jié)構(gòu)光整體移植工程較為龐大,對平臺硬件有一定要求,且受制于專利等原因通用性沒有那么強。
當然,復雜的算法計算也有給結(jié)構(gòu)光帶來優(yōu)勢,雖然它并不適用于遠距離拍攝,但是近距離的深度精度表現(xiàn)較好,如果算法足夠好,深度響應速率可以和接收芯片保持相同,在點云響應上速度也較快,這也是結(jié)構(gòu)光目前被用于前攝3D成像的主要原因。
八.TOF應用可玩性更大
消費者最關心的主要是應用了,目前結(jié)構(gòu)光應用主要有人臉建模、人臉識別、移動支付、角色創(chuàng)建等。
人臉識別和角色動畫的門檻不高,通過RGB+IR或者雙IR攝像頭也可以實現(xiàn)識別+活體檢測,各手機終端出于成本考慮,也在研究雙攝方案看能否在中低端系列手機上實現(xiàn)3D人臉識別和角色創(chuàng)建等效果。
人臉支付應用實現(xiàn)的技術(shù)門檻更高,對深度的精度和準確度要求更高。不過,據(jù)業(yè)內(nèi)可靠消息稱,目前TOF已基本具備實現(xiàn)人臉支付的能力,人臉占據(jù)一定像素以上便可實現(xiàn)支付,TOF作為人臉支付距離相對結(jié)構(gòu)光更遠,使用起來也許沒有結(jié)構(gòu)光那么方便。隨著TOF技術(shù)的不斷進步,后續(xù)完全替代結(jié)構(gòu)光方案也不是沒有可能。
同時,TOF在后攝應用上的可玩空間也很大,TOF通過3D建模可用于AR成像,應用包括AR游戲、AR裝潢、3D試裝、體感游戲、全息影像交互等。
5G網(wǎng)絡帶來的高帶寬,為3D視覺技術(shù)提供了信息傳輸?shù)谋U希?3D視頻通話、虛景+虛景的遠程VR、虛景+實景的遠程AR、實景+實景的遠程JR等泛在現(xiàn)實使用場景將迎來爆發(fā)式應用。
綜合TOF應用便捷集成度高、供貨穩(wěn)定、可玩性強等多方面的優(yōu)勢,并隨著TOF精度的不斷改良,后續(xù)替代結(jié)構(gòu)光方案成為前攝應用看起來有很大可能。TOF以其多方面的優(yōu)勢,成為旗艦手機3D成像的主要方案,已成為不爭的事實。同時,目前已有手機終端都在用多攝像頭方案,用以替代結(jié)構(gòu)光成為中低端手機前置3D方案的選擇。3D市場風云變幻,結(jié)構(gòu)光看起來越來越?jīng)]有競爭力了。