微訪談：上海數跡智能科技有限公司技術總監鄒耀
採訪背景：上海數跡智能科技有限公司（簡稱：數跡智能）專注於3D視覺智能處理器及3D智能相機的研發和銷售，提供Smart3D-ISP系列處理器、SmartToF®系列相機及人數統計、體積測量、隱私監護等應用的配套解決方案。數跡智能管理團隊多來自富士通、聯想、IBM等國際一流公司以及國內頂尖高校，掌握3D飛行時間（ToF）應用普及的核心技術，具備強大的創新研發實力，與世界領先的ToF圖像傳感器廠商合作緊密，擁有多項技術專利和豐富的行業應用成果儲備。近些年，隨著華為、OPPO、vivo等廠商將3D ToF技術導入智慧型手機，並且蘋果新款iPhone手機也預期採用ToF技術，預示著新一輪3D傳感與成像應用浪潮正在襲來。在此背景下，麥姆斯諮詢近日採訪了數跡智能技術總監鄒耀先生，就3D成像及信號處理技術進行交流。
麥姆斯諮詢：鄒總，您好，首先請您談談3D ToF技術的機遇與挑戰吧。
鄒耀：從機遇角度講，2019年各大手機廠商紛紛導入ToF技術，傳言新款iPhone機型也將搭載ToF攝像頭。ToF技術作為手機行業的新風口，得益於5G與AI的發展，作為在AR/VR應用中不可或缺的技術手段，必將伴隨著5G的普及而普及。我們認為ToF技術不僅僅是手機行業的狂歡，更是滿足未來5G與AI應用需求的最重要的技術之一，也將是智能製造、智能駕駛、機器人等領域的標配，市場空間將超乎想像。
ToF技術機遇和挑戰並存，作為3D成像的新技術，在系統性能、功耗和成本等方面還有待成熟改善。我們認為其將與2D成像技術發展成熟的路線相似。ToF系統涉及多種技術，是一個複雜的系統，不只涉及發光器件、傳感器還涉及圖像信號處理（ISP）技術。面臨場景的適應性，如何在任意場景下獲取可靠和準確的深度數據是非常大的技術挑戰，是ToF技術普及的關鍵。目前尚未出現爆款級的應用其主要原因是缺乏3D ISP增強引擎來消除干擾，降低功耗，提高實時性能；缺少面向3D行業的ISP IP及中間件，無法有力支撐上層應用；以ISP技術為核心，系統性地提升ToF性能並降低功耗和成本是幾年來數跡智能團隊的研發目標，誰率先解決了這些問題則必將抓住ToF帶來市場的發展機遇。從目前的研發成果來看，我們有很大的勝算！
麥姆斯諮詢：典型3D ToF系統組成有哪些？
鄒耀：典型的3D ToF系統主要由發射端、接收端和控制方案端組成。目前ToF發射端的核心是由VCSEL、LED等發光器件組成，主要負責發射850nm或940nm的調製光信號，這一塊主要廠商有國外的歐司朗（OSRAM）、飛利浦（Philips）、艾邁斯半導體（ams）、Lumentum、II-VI和國內的縱慧芯光、睿熙科技、博昇光電等。接收端的核心是基於飛行時間法的CCD/CMOS圖像傳感器晶片，負責將接收到的調製光信號轉化為電信號，這一塊的主流廠商包括璦鐠瑞思（ESPROS）、索尼（Sony）、英飛凌（Infineon）、松下（Panasonic）和國內的炬佑智能（OPNOUS）、艾普柯微電子（Epticore）等。另外，接收端還包括窄帶濾光片和光學鏡頭等。控制方案端則是串聯整個3D ToF系統方案的「中樞神經」，包括整個系統的模塊控制、時序信號、數據校準降噪處理、軟體驅動開發工具包等。
數跡智能就是一家主要立足於控制方案端的3D ToF系統解決方案提供商，我們在3D ToF系統方案中的軟體算法核心技術上會成為未來3D圖像信號處理器中的「長矛利劍」。
麥姆斯諮詢：3D成像應用為什麼需要3D圖像信號處理器（ISP）？3D ISP能做什麼？
鄒耀：3D ISP主要用於提升3D圖像質量，以及實現ToF圖像傳感器參數的自動控制等，能夠大幅降低3D成像應用的開發難度，縮短3D成像產品的上市時間。可以說，3D ISP既是ToF圖像傳感器到3D成像應用的推進器，也是3D成像市場爆發的必要條件，這是因為：
（1）ToF圖像傳感器的規模化和海量應用市場前景是3D ISP研製的前提，這一條件已經具備。當前，ToF圖像傳感器已經完成從CCD到CMOS的技術演進，同時逐步在智慧型手機上規模化使用（最具代表性的智慧型手機包括華為Mate 30 Pro和未來的蘋果iPhone）也意味著ToF圖像傳感器的規模化已成為必然，隨著規模效應帶來的成本降低，越來越多的應用將會結合3D成像技術進行開發。因此，多家著名諮詢機構預測，3D成像應用市場在未來五年將具有極高的增速。例如Yole認為全球3D成像和傳感市場將從2017年的21億美元增長至2023年的185億美元，複合年增長率高達44%。
（2）3D ISP層級的處理器產品是3D成像應用的剛需，3D ISP是銜接傳感器和應用的重要橋樑。目前95%的基於3D成像應用項目均處於概念原型階段（基於我們自己的100多家模組用戶的統計數據），且研製進展非常緩慢，主要原因在於3D ISP的缺失。每款應用均需要解決3D圖像增強、校準、參數自動控制等3D ISP層級的問題。試想一下2D成像的海量應用市場，如果沒有2D ISP，讓每款應用都直接面對「單眼相機的手動模式」，是無法如此繁榮的。
（3）3D ISP是2D ISP的超集，具有很高的技術門檻。ToF圖像傳感器的控制參數數量、成像運算量、校準複雜度、應用難度均遠高於普通的2D圖像傳感器，並且核心運算內容和2D-ISP差別巨大，無法直接採用2D ISP技術。
麥姆斯諮詢：數跡智能在3D ISP方面有哪些技術儲備？
鄒耀：我們具備做好3D ISP的必要條件，當前3D ISP層級上的技術積累處於領先地位。
（1）3D ISP的基礎架構技術積累和經驗。這部分我們團隊有多年的多媒體加速IP、多核DSP（自有智慧財產權）、MCU類晶片的成功流片和項目經驗。
（2）3D ISP層級的技術領先，相關專利儲備超過50項。這部分的技術領先離不開大量3D成像應用的項目經驗以及ToF圖像傳感器的底層信號鏈路和信號處理上的實踐。目前，我們在跟蹤100多家用戶在3D模組使用過程中，已經完成3D ISP的規格定義並在模組開發套件中進行了大量實踐；尤其是3D ISP中非常重要的校準技術方面，我們的自動校準設備已經獲得索尼（Sony）ToF圖像傳感器部門的認可和2020年的訂單；同時作為3D ISP硬體載體的索尼2020年新一代ToF圖像傳感器的官方評估套件也確認由我們團隊主要負責。
麥姆斯諮詢：請您再介紹下數跡智能的核心團隊情況。
鄒耀：數跡智能目前的團隊無論是技術產品能力還是市場運營能力，在業內都具備優秀的競爭力及未來的進化能力；團隊成員主要來自富士通、聯想、IBM等國際一流公司以及國內頂尖高校；團隊成員曾自主設計並擁有智慧財產權多媒體DSP，包括體系架構、指令集、編譯器、仿真器、集成開發環境，並成功流片和應用，可作為3D ISP的核心；團隊成員中參與項目經驗豐富，曾經參與過SONY LSI的數個IP前端設計服務，HPTG（現ams）的ToF傳感器嵌入式軟硬體平台等項目；在有影響的國際會議和期刊中發表多篇論文並在相關領域擁有數十項專利。
麥姆斯諮詢：數跡智能3D ISP的產品形式（銷售形式）有哪幾種？
鄒耀：我們的3D ISP與常規的硬體IP產品類似，初期會以FPGA形態存在（2020年），然後是IP軟核硬核授權（License）方式（2021~2023年），後期會根據應用規模化程度，考慮做成專用集成電路（ASIC）或系統級晶片（SoC）的形式。
麥姆斯諮詢：數跡智能的目標市場有哪些？可以談談市場規劃嗎？
鄒耀：ToF將來的應用將會非常廣泛，市場也會逐步成熟。將來我們的主要的目標是將圍繞著智慧型手機、電子領域、自動駕駛、機器人、AR/VR等巨量市場進行布局；將數跡智能的產品以各種形態與合作模式賦能3D視覺的蓬勃發展。從市場規劃來說，我們也會更加務實的由近及遠的推動業務良性發展，開發適合市場的終端應用型產品；不斷拓寬通用型產品的的打磨，讓ToF通用型產品產能上量；並不斷積累行業經驗建立不可替代的核芯能力。
麥姆斯諮詢：數跡智能的競爭對手有哪些？
鄒耀：智慧型手機、汽車、安防等終端廠商自研3D ISP是一種潛在的競爭。但是，以技術領先的硬體IP授權方式進入這些領域的SoC晶片或方案可以規避這種直接競爭，甚至可以將他們轉換為客戶，例如：Chips&Media視頻編解碼器IP、英特爾（Intel）收購的Habana Labs人工智慧（AI）加速IP等案例充分說明確保IP技術領先是創業公司切入熱點市場的可行方式。當前我們3D ISP層級上的技術積累處於領先地位，並積極推進3D ISP的IP產品化。
麥姆斯諮詢：與2D ISP廠商和ToF圖像傳感器廠商相比，數跡智能自研3D ISP有哪些競爭優勢？
鄒耀：與2D ISP廠商相比：3D ISP是2D ISP的超集，具有很高的技術門檻, 2D ISP廠商做3D ISP不是一個技術的簡單升級，也需要大量的3D ISP層級的技術儲備，這部分我們目前的技術積累領先地位是最大的優勢。
與ToF圖像傳感器廠商相比，實際上不是直接競爭關係而是產業上下游的合作關係。圖像傳感器和ISP本質屬於產業鏈細分環節，圖像傳感器只解決最基本的信號解調和基於用戶參數成像控制；且從2D成像應用市場上看，海量應用都是基於2D ISP輸出的圖像再進行處理的（直接基於CMOS圖像傳感器晶片輸出圖像的很少），且2D ISP的產品形態也基本以獨立於CMOS圖像傳感器之外的方式存在（集成在AP SoC控制器或獨立ISP晶片）。
麥姆斯諮詢：與數跡智能合作的ToF圖像傳感器廠商有哪些？可以介紹合作進展嗎？
鄒耀：數跡智能與ESPROS、Sony等國際知名ToF圖像傳感器廠商建立了良好的合作夥伴關係。數跡智能是國內首家提供基於Sony iMX556傳感器的3D相機的廠商，通過紮實的技術能力取得了Sony的信任。未來將在ToF評估板參考設計、ToF攝像頭/相機校準、軟體開發、方案應用等方面與Sony展開深度合作。
麥姆斯諮詢：請問數跡智能近期是否有融資計劃？如果有，能否簡單介紹下需求。
鄒耀：由於產業還處於發展早期，還需要不斷發展！數跡智能目前正積極選擇有產業資源的投資方及同行人，一起為整個ToF行業的發展努力。目前，我們處於A輪融資階段，融資需求為3000萬，主要用於團隊拓展、技術研究、市場拓展等。
麥姆斯諮詢：最後，請您展望數跡智能未來五年規劃及發展目標，謝謝。
鄒耀：如前所述，3D ISP是3D成像市場爆發的必要條件。我們正站在爆發的風口上，未來五年將與業內的巨頭公司合作，將我們的3D ISP技術嵌入到他們的產品中，為我們共同的客戶服務。與此同時我們將著力營造ToF開發生態環境，為此我們與上海交通大學共同出版了3D ToF方面的書籍，為廣大的3D ToF應用開發者提供友好的開發環境，縮短3D ToF系統的開發時間。我們的目標是將我們的3D ToF技術植入每部手機、每輛汽車、每個機器人、每台家電……，請拭目以待。
如果您希望進一步了解數跡智能或對投資感興趣，請發送郵件至：wangyi#memsconsulting.com（#換成@）。