實現動靜態視覺融合,「銳思智芯」推出全球首款融合仿生事件視覺感測器ALPIX-Pilatus

文|戴昊彤 編輯|彭孝秋

近幾年,隨著人工智慧、計算機視覺等技術興起,機器感知時代已經到來。傳統攝像頭因其響應慢、功耗大、拍攝運動物體模糊等痛點制約了計算機視覺技術的發展。為了解決這一問題,事件相機仿造人眼視網膜的工作原理,具備對資訊響應速度快、冗餘資料少、功耗低、動態範圍大等優勢,因而適用於機器視覺。2015年,事件相機步入產業化階段並應用於少數場景。

然而,在大部分真實場景中,事件驅動相機需要配合傳統影象感測器來使用。而在事件驅動相機+感測影象感測器的雙攝系統中,由於兩顆攝像頭的視角差別以及事件相機與傳統影象感測器的資料型別不同,因而對於兩路資料進行實時配準存在較大困難。因此,將傳統影象感測器與事件相機在晶片層面結合起來成為未來發展方向。

為了解決現有侷限性,銳思智芯自主研發了Hybrid Vision技術,即

融合仿生視覺方案,將事件相機與傳統視覺感測器合二為一

實現”靜態”與”動態”的視覺融合

技術方面,其運作原理及優勢主要體現在以下三方面,首先,將仿生視覺技術與傳統影象感測器融合在同一晶片上,可同時輸出高質量影象資料和事件流資料,實現了實時影象融合。其次,該方案的事件相機功能,為模仿人眼視網膜神經元的工作原理,基於事件進行驅動,只輸出變化資訊,其響應速度達到微秒級,全時域捕捉變化的資訊。第三,延續傳統影象感測器的技術優勢,在影象拍攝模式時保證全幅畫質和影像細節。

實現動靜態視覺融合,「銳思智芯」推出全球首款融合仿生事件視覺感測器ALPIX-Pilatus

晶片工作原理

銳思智芯本次釋出的ALPIX-Pilatus(簡稱ALPIX-P)即是基於”Hybrid Vision”開發而成,為

全球首款將傳統影象感測器技術和仿生事件相機技術在同一畫素內融合的晶片

。ALPIX-P可以在傳統影象感測器模式和仿生事件相機模式間快速切換。在影象模式下,ALPIX-P是一款最高幀率為120幀的全域性曝光感測器,與現有的傳統影象感測器完全一致,並與現有成熟的視覺系統完全相容。在仿生事件相機模式下,ALPIX-P具有超高幀率,高有效資訊佔比,大動態範圍的特點。

目前該晶片已開始送樣。也驗證了”Hybrid Vision“技術在量產、成本、效能上具備落地可行性。

基於ALPIX-P的設計,銳思智芯研發了兩個ALPIX系列感測器晶片產品,分別是ALPIX-Titlis(簡稱ALPIX-T)融合式低功耗仿生視覺感測與ALPIX-Eiger(簡稱ALPIX-E)融合式高階仿生視覺感測器。

兩者的不同之處主要在於應用場景方面,

ALPIX-T感測器晶片應用於各類對功耗敏感的視覺IoT

應用,如

智慧門鎖、智慧安防

等,在保持對場景連續感知的同時降低系統功耗。

ALPIX-T的事件相機模式可以極低功耗過濾掉80%的無效資訊

,大幅提高有效資訊佔比,從而降低系統整體功耗。同時,在適配現有影象系統基礎上,ALPIX-T增加了獨立的事件流資料,可以提高影象識別演算法的效率及精度。

ALPIX-E融合式高階仿生視覺感測器則主要應用於高階成像領域,如手機、安防

等場景。在保證業內最高解析度的同時,其畫素大小達到行業內最小值。

在實現商業化落地上,銳思智芯向客戶提供了兩種服務模式,分別是:提供ALPIX晶片+基礎SDK ,並支援客戶相關應用開發;提供基於ALPIX晶片應用小模組即演算法+模組(如互動、識別)、並支援客戶上層應用開發。目前,銳思智芯已積累了一批alpha客戶。未來,其晶片應用產品將會向手機等消費電子、汽車領域拓展。

在團隊核心優勢方面,主要體現在銳思智芯對技術難點的突破及創始團隊的技術積累

。一方面,其技術難點在於:

首先,仿生視學感測器的核心畫素內設計(in-pixel)複雜度高,電晶體數量多。要將傳統影象感測器與之融合,既需要擁有前者的設計經驗,又需要有仿生視覺感測器的研發經驗。

其次,ALPIX是個系統級的設計,需具備較強的工程經驗,這需要研發時間積累。

此外,若把ALPIX做得體積更小,需要先進的工藝以及對其深入瞭解,目前團隊與該類頂級代工廠有著十幾年的長期合作。

另一方面,從核心成員技術背景來看,銳思智芯CEO鄧堅、CTO查穎雲等核心成員均從事過各類高階視覺感測器研發工作,如高階影象感測器,TOF晶片,X ray,神經元訊號探測晶片等。

鄧堅對36氪透露,

團隊對仿生事件相機的研究始於2014年,如今已積累七年研發經驗

。當時,團隊參與仿生視覺感測器晶片產品化雛形專案的研發,該專案由瑞士創新基金支援,主要目標是設計一款用於植入盲人眼球的仿視網膜晶片,令盲人重新感知外界事物輪廓。基於該專案,團隊接觸到仿生視覺領域。後來團隊又陸續開發了兩款可商業化的動態視覺感測器晶片,基於原有的技術路線進行不斷最佳化。

由此,團隊對於仿生事件視覺感測器技術路線研究得深入透徹。除此,核心創始人員均畢業於ARM、劍橋大學、蘇黎世聯邦理工(ETH)、浙江大學等名校,並具備多年在NXP、ARM、飛思卡爾、Intel、Magic Leap等企業工作經驗。創立初期,核心團隊成員僅有6人左右,

如今團隊規模擴至50人,其中研發人員佔比達85%

回顧銳思智芯的融資歷程,公司目前已完成兩輪融資。2019年底,公司完成

數千萬人民幣天使輪融資,投資方為中科創星、聯想創投

。2020年底,銳思智芯完成

近億元人民幣Pre-A輪融資,由海康威視和耀途資本聯合領投

,訊飛創投、舜宇中央研究院、全志科技、追遠創投、同創偉業跟投,老股東聯想創投、中科創星繼續加註。

頂部