【導讀】視頻技術的問世掀起了一場席卷全球的視聽通信革命。今天，整個世界都非常依賴照片和視頻媒體來實現各種目的，包括商業、通信、教育和娛樂。采集和顯示視頻的機制也突飛猛進。而3D攝像頭的采用，使用戶可以以前所未有的信息量觀察事物。
這個過程所不可或缺的一環，就是給數字視頻添加深度信息，使其更接近真實。本文探討了如何使用飛行時間（ToF）傳感器實現此目的，以及ToF傳感器正在如何改變我們與VR和其他視頻技術的交互方式。
ToF 3D圖像傳感器簡介
總的來說，飛行時間（或 ToF）是一種基于光的飛行時間測量物體距離的方法。ToF傳感器或攝像頭會發射調制紅外光束，并測量從不同距離的不同表面接收到的光的相位差。該數據被轉換為距離，并為照明場景提供深度。ToF傳感器使用逐像素處理，這需要復雜的算法，但由于其廣泛的適用性，愈發受到物流、汽車和消費電子領域的親睞。通過在三個維度上進行掃描，ToF傳感器可以創建目標對象的 3D 圖像。
ToF傳感器工作原理
3D ToF圖像傳感器的操作非常簡單。它根據光子混合器設備（PMD）的原理進行檢測。ToF傳感器主要分為兩類：直接傳感器和間接傳感器。直接ToF傳感器的工作原理是通過發射光、收集反射信號，然后測量信號延遲[圖1]；接著，用光飛行時間來測量距離，從而實現場景的3D重建。
圖1 直接ToF傳感器的工作原理（簡版）（圖源：作者）
間接ToF傳感器的工作原理是，不斷發射調制信號并分析反射信號，以確定相位差。兩個接收器以調制光的頻率不斷地打開和關閉，其中一個接收器與另一個接收器的操作相位不同。因此，每個接收器都會收到部分反射信號，并根據接收到的光的數量，來確定相位差，如圖 2 所示。
圖2 兩個檢測器交替收集感興趣物體的光（圖源：作者）
優勢及應用
ToF傳感器可以在不影響圖像分辨率的情況下，擴大測量范圍，并在低成本、可靠和緊湊的封裝中提供全部數字細節，這為3D增強型攝影提供了優化解決方案。最新的ToF傳感器功耗較低，對移動設備來說，是一個具有吸引力的選擇。此外，與結構光發射等技術相比，ToF傳感器對精確的機械對準的依賴程度較低。新型ToF傳感器允許使用更高的調制頻率，因此，顯著提高了精度。
Stratview Research的數據顯示，從2021到2026年，ToF的年增長率有望達到16.8%（1）。ToF攝像頭的應用主要集中在消費電子行業和物流行業的3D成像和掃描。它有望通過以低成本提供豐富的3D視覺效果來徹底革新3D檢測和成像。
ToF傳感器可以用于輔助面部識別、安全跟蹤、庫存管理，以及環境和建筑物映射等應用。在現代車輛中，ToF傳感器可實現近距離環境映射、輔助泊車以及車內的許多其他功能，例如：駕駛員監控或手勢控制。不過，最有趣的應用要數消費電子和混合現實。憑借小巧的外形和較高的能效，ToF傳感器可能是唯一一項準備進軍消費電子領域的3D成像技術。
案例研究：增強AR/ MR體驗
將3D ToF傳感器整合到消費電子領域，仍是一個尚未開發的市場，具有顛覆性的意義。Counterpoint Research稱，在智能手機中整合ToF攝像頭，有望成為未來的主要趨勢之一（2）。在最近的一場網絡研討會上，來自TECNO、三星和DXOMARK Image Labs的專家聲稱，ToF和動態視覺傳感器（DVS）等功能可以使手機攝像頭的性能勝過數碼單反相機（DSLR）（3）。在過去，智能手機和游戲設備將3D ToF攝像頭用于高度逼真的增強顯示/混合現實（AR/MR）應用。AR/MR應用將現實世界與虛擬元素相融合，為用戶帶來了更好的商業互動、3D設計和游戲娛樂體驗。
盡管AR/MR尚未成為主流，但隨著這些技術背后的工具的迅猛發展，AR/MR成為智能手機日常用途的代名詞指日可待。
實現MR體驗所需的兩大要素分別是：智能手機攝像頭以及可以檢測用戶周圍環境并將其顯示在屏幕上的應用程序。通過這種方式，就可以映射現實世界，然后將虛擬圖像放入其中。為實現這一點，智能手機攝像頭必須能夠對掃描區域提供深度和細節圖像。
ToF傳感器通過準確映射物體及其周圍環境，成為該場景中的主角。MR是大有前途的3D設計輔助技術，例如：室內設計師可以使用自己的手機繪制房間，并進行數字化家具布置。同樣，真實世界的物體也可以使用ToF傳感器攝像頭進行3D映射和數字化處理。市面上已經有了很多這類商用移動應用程序，但卻因攝像頭而無法實現逼真的映射效果(4)。
ToF將顯著增強深度信息，而映射圖像又為創新和快速的 3D設計帶來了無限可能。混合現實的另一個應用是商業交互，專業人士可以借此展示逼真的場地/項目圖像，來加深理解。
MR還被用于創建真實的商業背景，也就是將人們插入一個人的視野中，并將虛擬會議變成真實會議。ToF傳感器是這個操作的核心，因為只有3D成像提供的深度信息才能使這種體驗更加逼真。最近，由社交網絡巨頭推出的元宇宙概念就將利用這一精確技術，這將促進對ToF傳感器的需求和創新。
游戲是另一個利用AR/MR ToF優勢的領域。游戲設備和現在的智能手機正在使用ToF傳感器的手勢識別功能來實現完全沉浸式的體驗。當ToF傳感器被集成到移動設備的前置攝像頭時，就可以大幅增強面部識別等安全措施。通過在后置攝像頭中使用3D技術，ToF傳感器有望實現出色的計算攝影和沉浸式VR體驗。無需大量后期處理，ToF傳感器就可以在圖像和視頻中有效地渲染背景虛化效果。
在理想的情況下，混合現實要比虛擬現實和增強現實技術先進得多。它對處理能力提出了較為苛刻的要求，需要實時獲取高精度3D深度數據。此外，光照條件是實現MR所需的逼真感的一大挑戰。不論是房屋和車輛等室內環境，還是光照受天氣影響的室外環境，強大的ToF攝像頭都必須能夠在所有光線條件下捕獲準確的深度數據。
在商業交互和日常生活中使用MR技術，對許多人來說似乎為時過早。然而，在新冠疫情期間，整個世界對模糊虛擬世界和現實世界邊界的服務需求呈指數級增長，這促使非面對面服務加速發展。因此，我們可以合理地預期，在不遠的將來，增強AR/MR技術將成為工作和娛樂所不可或缺的技術。更不用說ToF這類技術，它作為愈發強大的MR性能的支柱性技術，將變得更加重要。
英飛凌ToF傳感器
英飛凌與pmdtechnologies合作推出了REAL3?圖像傳感器系列，pmdtechnologies是一家專注于 ToF 技術的德國公司，在該領域處于領先地位。這系列傳感器使用紅外光進行飛行時間（ToF）傳感，并為每個像素配備一個微透鏡，因此，幾乎沒有光能損失，而且準確性更高。英飛凌第六代REAL3? 3D ToF傳感器特別專注于消費類應用，例如：智能手機應用，特別是基于AR/MR的拍照和攝像。該傳感器的功耗比前幾代產品低40%，這對于需要長時間開啟ToF攝像頭的游戲等應用來說非常重要，可以保護電池壽命。考慮到現代智能設備對尺寸的嚴格限制，ToF傳感器的設計占用面積僅為4.4 × 4.8 mm2，與前幾代產品相比縮小了35%。
REAL3?圖像傳感系統的另一個突出特點是，增大了傳感范圍，可達10 m。調制頻率越高，ToF傳感器的深度精度就越好，但這會影響傳感器的測量范圍。因此，REAL3?圖像傳感器使用兩個調制頻率，并對收集到的數據進行細致的后期處理，以便在不影響深度質量的情況下，實現相當大的測量范圍。這些傳感器還配備了pmdtechnologies的背景照明抑制（SBI）技術，可降低像素飽和度，使攝像頭能夠在各種光照條件下運行。傳感器還可以通過 I2C 接口動態地重新配置，以適應新的操作環境。通過將所有這些功能整合到一個成像系統中，看似不可能的應用現在似乎已經成為一個確定的現實。因此，設計師需要留意英飛凌在高精度3D圖像傳感器方面的最新創新。
參考文獻
1.Stratview Research. Time-of-Flight (ToF) Sensor Market | Market Size, Share & Forecast Analysis | 2021-26 [Internet]. 2022 Jul [cited 2022 Jul 31].
Available from: https://www.stratviewresearch.com/1731/time-of-flight-(ToF)-sensor-market.html
2.Counterpoint Research. Brighter, steadier, smarter: How smartphone cameras will improve in 2022 [Internet]. BBC Future. [cited 2022 Aug 20].
Available from: https://www.bbc.com/storyworks/future/looking-ahead-with-tecno/brighter-steadier-smarter-how-smartphone-cameras-will-improve-in-2022
3.Counterpoint Research. Global Mobile Camera Trends 2022: Innovation Talk [Internet]. Counterpoint Research. 2021 [cited 2022 Aug 20].
Available from: https://www.counterpointresearch.com/global-mobile-camera-trends-2022-innovation-talk/
4.Velichko Y. How AR Fills Your Room with Virtual Decor [Internet]. PostIndustria. 2021 [cited 2022 Jul 31].
Available from: https://postindustria.com/how-ar-fills-your-room-with-virtual-decor-top-home-virtual-furniture-placement-apps-ar-furniture/
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯系小編進行處理。
推薦閱讀：
