作者：吳昕

(資料圖片僅供參考)

「色彩就是歡樂（Color is joy）?！?0 世紀(jì)最有名、也最具影響力的攝影大師 Ernst Haas 曾說。在 20 世紀(jì) 60 年代，「最嚴(yán)肅」的攝影師只愿看到黑白世界，而這位彩色成像技術(shù)的先驅(qū)率先使用柯達(dá)膠片，表達(dá)出色彩不可否認(rèn)的力量。

同一時(shí)期，法國火山學(xué)家 Katia 和 Maurice Krafft 夫婦使用 16 毫米拍攝鏡頭和尼康 F2 膠片相機(jī)記錄下驚心動(dòng)魄的活火山運(yùn)動(dòng)，噴涌而出的橘紅色巖漿猶如地球心臟跳動(dòng)時(shí)流動(dòng)的血液。

光學(xué)成像技術(shù)的發(fā)展大大擴(kuò)展了人類的視覺和表達(dá)能力，但很難讓人類走出彩色的困境，我們不可能像在白天一樣自由地看到黑夜的一切，盡管大多數(shù)魔法都發(fā)生在夜晚。

一、人眼、ISP 與數(shù)字成像

光學(xué)成像技術(shù)的靈感源自對(duì)人類視覺活動(dòng)的觀察。當(dāng)進(jìn)入眼睛的光子撞擊每只眼睛后部視網(wǎng)膜中 125 億個(gè)光敏神經(jīng)細(xì)胞中的一個(gè)或多個(gè)時(shí)，視覺處理就開始了： 人類約有1.3 億視桿細(xì)胞，這種桿狀細(xì)胞使用視紫紅質(zhì)來接收微弱的光線，幫助我們感知特定光強(qiáng)度的亮度變化，也主導(dǎo)了我們?cè)诔炕枞豕庀潞鸵归g的視覺功能。

可見光波長范圍 380-790 納米，也是唯一有色彩信息的波長范圍。

相較于勢(shì)力龐大的視桿細(xì)胞，人類僅有 7 百萬左右的視錐細(xì)胞。視錐細(xì)胞依靠相關(guān)的感光色素來辨別顏色，只有在光線充足的時(shí)候它才能正常工作。

如果是在特別暗的環(huán)境里，視錐細(xì)胞會(huì)停止工作，無法區(qū)分不同波長的光，我們只能看到灰暗的場(chǎng)景。

兩種細(xì)胞在視網(wǎng)膜的分布不同，功能不同。視桿細(xì)胞（藍(lán)色）主要是感知明暗，視錐細(xì)胞（紅色）感受不同的顏色。

我們身邊常見的手機(jī)、監(jiān)控、安防等設(shè)備的攝像頭也都是可見光攝像頭，它們和膠片成像最大區(qū)別之一就是感光媒介從膠片變成圖像傳感器（比如常見的 CMOS），一種金屬氧化物，負(fù)責(zé)將光信號(hào)轉(zhuǎn)變成電信號(hào)。

CMOS 上面按規(guī)則布滿了微型的金屬元件，它們就像一個(gè)個(gè)忠于職守的小小記錄員，記錄對(duì)應(yīng)位置的亮度信息，叫做像素。 CMOS 就像桿狀細(xì)胞，只能感受光的強(qiáng)弱，無法感受光的波長（等于無法記錄顏色）?？茖W(xué)家后來在圖像傳感器之前添置了一個(gè)濾光層，透過 CMOS 上接收到的過濾結(jié)果（RAW 圖），依靠專門的算法計(jì)算出每個(gè)像素的顏色。

這時(shí)就輪到 ISP（Image Signal Processor，圖像信號(hào)處理器）出場(chǎng)了。它專門負(fù)責(zé)對(duì)前端圖像傳感器輸出的電壓、電流信號(hào)做后期處理，力求較好還原現(xiàn)場(chǎng)細(xì)節(jié)，讓人看懂圖像。

事實(shí)上，這些后期處理都是基于圖像算法實(shí)現(xiàn)的。比如，推測(cè)出像素顏色的算法就是「去馬賽克（demosaicing）」

現(xiàn)在幾乎所有的設(shè)備都會(huì)默認(rèn)自動(dòng)執(zhí)行「線性校正」，就是通過 ISP 給機(jī)器較為偏暗的成像來一個(gè)線性變換，以抵消過于暗淡的不良輸出，讓最后得到的結(jié)果與肉眼實(shí)際看到的一致。

在弱光條件下，圖像傳感器很難接收到足夠的光信息。因此需要較高的 ISO（感光度） 或較慢的快門速度，增加感光芯片接收到的光子量，但這往往容易導(dǎo)致發(fā)熱問題，產(chǎn)生噪點(diǎn)圖像。ISP 具有先進(jìn)的降噪算法，可減少各種顏色或圖案噪聲，同時(shí)保留紋理細(xì)節(jié)。

白平衡，是力求在各種復(fù)雜場(chǎng)景下都能精確還原物體本來的顏色，哪怕你是在白熾燈下拍攝了一張白紙。自動(dòng)曝光控制，則是透過分析來自傳感器的亮度信息，計(jì)算和控制光圈、快門速度和 ISO ，使得圖像亮度適宜。

因此，ISP 技術(shù)很大程度上決定數(shù)字相機(jī)的成像質(zhì)量，被稱為攝像設(shè)備的 「大腦」。

二、 ISP 與傳統(tǒng)夜視方案的困境

不過，可見光這位魔術(shù)大師也給 ISP 出了不少難解的題。 白天，如果光線過強(qiáng)或者反差太大，比如逆光或者是車輛從隧道里出來突然面對(duì)強(qiáng)光時(shí)的感知，人眼很難解決，攝像頭也不行。

隨著太陽被地平線吞沒，在極弱光下，傳統(tǒng) ISP 幾乎什么都看不到。

按照軍工標(biāo)準(zhǔn)，滿月大概是 0.1 Lux（單位面積的光通量），接著是 1/4 月，大概是 0.01Lux。 沒有月亮，天上只有星星的話，大概是 0.001Lux，我們把這種星光級(jí)別（的照度）就定義為極弱光。深知未來 CEO 張齊寧解釋道。

每當(dāng)夜晚來臨，深圳城市公園湖泊等燈光覆蓋不好的地方，基本上屬于極弱光。小區(qū)里的車位停車，因?yàn)槁窡艋璋?，倒車很不方便，也是弱光或極弱光的場(chǎng)景。

自 2017 年底成立以來，深知未來就致力于用自研 AI ISP 技術(shù)突破極弱光場(chǎng)景（低照度、逆光、背光等復(fù)雜光線及雨雪霧環(huán)境）條件限制，實(shí)現(xiàn)此類場(chǎng)景下的實(shí)時(shí)全彩成像。

在戶外運(yùn)動(dòng)場(chǎng)景里，越來越多人喜歡夜爬，而深圳幾乎每周都會(huì)有一、兩個(gè)人因?yàn)橐估锱郎阶呤?，此時(shí)相關(guān)救援隊(duì)收到消息后會(huì)用無人機(jī)在山上進(jìn)行搜救。

黑夜也是罪犯的天然保護(hù)傘。近 70% 的犯罪都是在夜間發(fā)生，從晚上 7 點(diǎn)到次日凌晨 5 點(diǎn)是犯罪事件的高發(fā)期。

除此之外，兩萬多公里邊境的駐防、山嶺和沙漠油田作業(yè)區(qū)的違規(guī)監(jiān)控、長江十年禁漁令下河流常態(tài)化監(jiān)管、電力巡檢以及野生動(dòng)物監(jiān)測(cè)等等，由于光線太弱，傳統(tǒng)攝影設(shè)備很難在夜間進(jìn)行探測(cè)，必須借助紅外攝像頭。

在一些國家自然保護(hù)區(qū)，你可以看到用鐵絲捆綁在樹干上的紅外相機(jī)，監(jiān)測(cè)野生動(dòng)物。它會(huì)主動(dòng)向外發(fā)射紅外光束（非可見光），照射目標(biāo)，并將目標(biāo)反射的紅外圖像轉(zhuǎn)化成為可見光圖像，進(jìn)行夜間觀察。

這種主動(dòng)紅外夜視系統(tǒng)在全黑情況下也可以進(jìn)行觀察。 不過，由于接收的是物體反射的單一頻段的紅外光，不包含可見光的綠藍(lán)等基色，無法呈現(xiàn)彩色效果。經(jīng)處理后，紅外成像僅能呈現(xiàn)黑白效果，無法滿足需要捕捉更多目標(biāo)細(xì)節(jié)，比如顏色、斑紋等的需求。

在城市監(jiān)控場(chǎng)景下，通過紅外補(bǔ)光車牌這類高反光的物體很容易過曝，而衣著顏色、車身顏色、車牌等又往往都是破案的關(guān)鍵線索，丟失不得。

激光夜視儀和紅外夜視儀原理差不多，也屬于主動(dòng)傳感成像，但觀測(cè)距離更遠(yuǎn)，最高可達(dá)幾公里。除了同樣面臨信號(hào)干擾的問題，模塊價(jià)格都不便宜，間接提高了構(gòu)建高質(zhì)量相機(jī)的總系統(tǒng)（可見光+不可見光）成本。

除了上面常見的主動(dòng)傳感成像的手段，還有一種被動(dòng)紅外夜視系統(tǒng)。熱像儀會(huì)自動(dòng)收集來自場(chǎng)景中所有物體的不可見熱輻射，將熱分布數(shù)據(jù)轉(zhuǎn)換為視頻圖像，使用也很廣泛。

比如，監(jiān)測(cè)輸電線需是否有接觸不良、漏電、過熱或存在樹障；搭載在無人機(jī)上觀測(cè)象群、可疑人群、車輛的動(dòng)向以及油田、海面可疑人物、車輛和船只的監(jiān)測(cè)。

熱像儀監(jiān)測(cè)象群移動(dòng)。熱像儀的原理是基于一切溫度高于絕對(duì)零度的物體時(shí)時(shí)刻刻都在不停地輻射著紅外線。

和可見光成像一樣，熱成像也屬于被動(dòng)傳感成像手段。但成像的結(jié)果丟失了很多特征、紋理等信息，看起來就像鬼影。

張齊寧認(rèn)為，（熱成像里）人臉是整體的模糊呈現(xiàn)，很難辨別面部細(xì)節(jié)（包括眼睛、鼻子甚至皺紋），難以完成高質(zhì)量的視覺成像。

由于成像質(zhì)量不高，在目標(biāo)（比如野火監(jiān)測(cè)）溫差都不大的情況下，容易引發(fā)誤報(bào)。另外，因?yàn)闊o法光學(xué)變焦，熱像儀也不能遠(yuǎn)距離看清目標(biāo)，而可見光鏡頭探測(cè)距離要遠(yuǎn)得多。

近期 Nature 報(bào)道了美國普渡大學(xué)和洛斯阿拉莫斯國家實(shí)驗(yàn)室的研究人員開發(fā)了一種熱輔助探測(cè)和測(cè)距（HADAR）系統(tǒng)，通過訓(xùn)練人工智能（AI）來確定熱像中每個(gè)像素的溫度、能量特征和物理紋理，產(chǎn)生的圖像幾乎與傳統(tǒng)相機(jī)在日光下拍攝的圖像一樣清晰。

那一期的 Nature 以 HADAR 研究作為封面

該研究提出了一種辦法HADAR，結(jié)合熱物理學(xué)、紅外成像和機(jī)器學(xué)習(xí)，試圖恢復(fù)目標(biāo)紋理并克服鬼影效應(yīng)。

這個(gè)技術(shù)實(shí)際上是一種偽色彩，根據(jù)材質(zhì)預(yù)測(cè)物體的顏色。張齊寧也注意到了這份研究?！高@仿佛蠟筆作畫，蠟筆材質(zhì)本身都一樣，但是從顏色上來說又各有各的色彩，其實(shí)很難預(yù)測(cè)這個(gè)蠟筆到底是什么顏色?！?

站在商用層面，HADAR 技術(shù)更不占優(yōu)勢(shì)。

數(shù)碼相機(jī)誕生之初只有 28 萬像素。后來，人們一直致力于讓 CMOS 在很小面積上容納更多的感光單元，瘋狂提升相機(jī)分辨率——從 100 萬、500 萬到上千萬、3500 萬甚至上億，成像效果完全可以與傳統(tǒng)膠片相機(jī)媲美。

現(xiàn)在的手機(jī)鏡頭普遍都在幾千萬像素，高端紅外熱像儀才不過上百萬像素。為什么？因?yàn)楹诵脑綔y(cè)器的像元沒辦法做小：

熱成像利用的紅外光（8 微米到 14 微米）波長非常長，能量更大，導(dǎo)致探測(cè)器上的像元（像素）尺寸要做得非常大?？梢姽庀鄼C(jī)的像素只有 1-2 微米，而紅外熱成像儀的探測(cè)器像元每個(gè)有 12-17 微米。

在鏡頭尺寸一樣的情況下，熱像儀的鏡頭像素要比可見光鏡頭的像素少得多，成像效果自然差很多。

熱成像儀的探測(cè)器像元尺寸越小，像元的數(shù)量就越多，分辨率也就越高，視場(chǎng)角也越大，視野更廣闊。

熱成像的芯片很難做小，即使走量也沒辦法將成本攤薄到比 CMOS 還便宜。張齊寧認(rèn)為，熱成像技術(shù)會(huì)在特定細(xì)分領(lǐng)域，比如完全無光的場(chǎng)景識(shí)別生命跡象，具有明顯優(yōu)勢(shì)。如果放在其他需要仔細(xì)辨別細(xì)節(jié)的場(chǎng)景，優(yōu)勢(shì)相對(duì)并不明顯。

目前，攝像頭在極弱光環(huán)境下至今「基本上就停留在黑白時(shí)代」，之前也沒有特別好的方法去解決彩色成像的問題。張齊寧說，在極弱光下，實(shí)現(xiàn)高信噪比質(zhì)量成像的方法幾乎是沒有的。

SONY 創(chuàng)始人盛田昭夫在其回憶錄中談到 1960 年代索尼自研特利瓏，認(rèn)為彩電是大勢(shì)所趨。

但是，人類會(huì)為體驗(yàn)感的升級(jí)而買單。彩色膠片、彩色電影、彩電對(duì)黑白競對(duì)的更替，均是如此?！稌r(shí)代雜志》在 2016 年將日本索尼特麗瓏（Trinitron ，彩色顯像管）電視，與 iPod、iPhone、Macintosh 、谷歌眼鏡一并列入有史以來最有影響力的 50 個(gè)電子設(shè)備排行榜。

在產(chǎn)品功能方面，錄像、存儲(chǔ)和夜視功能已成為攝像頭的標(biāo)配。洛圖科技 2022 年報(bào)數(shù)字顯示，97% 的攝像頭支持夜視功能，并且逐漸向彩色進(jìn)化，日夜全彩攝像頭份額從 1 月的 20% 增長至 12 月的 31%。

摩爾定律還在發(fā)揮作用。在未來，當(dāng) AI 算力足夠便宜，功耗也足夠低的時(shí)候，我們就能以不高的代價(jià)為每一個(gè)攝像頭更換夜間視覺引擎。張齊寧說。

如果性價(jià)比、功耗都跟現(xiàn)在的成像的芯片相當(dāng)，我們?yōu)槭裁床蝗ビ靡粋€(gè)全彩夜視的攝像頭？

三、另一條路：融合 AI，軟化 ISP

我們現(xiàn)在的技術(shù)已經(jīng)可以在極弱光下，真正做一些高質(zhì)量成像，在黑暗中仔細(xì)地分辨人和事物的一些細(xì)節(jié)。據(jù)張齊寧介紹，在很多關(guān)鍵成像任務(wù)上，可以做幾百倍的提升。

極弱光下，激光方案（左），熱成像（中）和深知未來的全彩夜視成像效果（右）對(duì)比。

比如，基于傳統(tǒng) ISP 硬件，只能去做 0. 1Lux 的成像，經(jīng)過我們 AI-ISP 增強(qiáng)之后，可以做到 0.0001Lux 成像。

能看多清楚，跟目標(biāo)物體大小有關(guān)。他解釋說，如果監(jiān)測(cè)范圍要到 10 公里，極弱光下依舊可以看清很高的大樓、大橋等巨大建筑物。如果需要監(jiān)測(cè) 3-5 公里的范圍，基本上就是監(jiān)測(cè)海上的船、地面上的大型車輛等。

如果是要看清一個(gè)人，現(xiàn)在光學(xué)上能夠做到的也就是一兩百米。

2018 年英特爾的一篇 CVPR 論文 Learning to see in the dark 使用了一個(gè)模型來擬合整個(gè) ISP 過程，從一個(gè) RAW 數(shù)據(jù)作為輸入，直接輸出一個(gè) sRGB 的成片，效果很驚艷。

論文大火，某種程度上，它論證了通過整個(gè)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn) ISP 全部功能的可能性。特別是在商業(yè)角度，它增加了可見光攝像頭系統(tǒng)的有用范圍，提供了一個(gè)以更低成本提供實(shí)時(shí)日夜全彩清晰圖像的可能性。

隨后，深知未來、安霸、華為海思、愛芯元智、眼擎科技等一些企業(yè)開始探索用神經(jīng)網(wǎng)絡(luò)搭建視覺成像引擎。

鏡頭、CMOS 以模擬器件為主，很難把算法加進(jìn)去，鑒于兩個(gè)產(chǎn)業(yè)已經(jīng)非常成熟，很難實(shí)現(xiàn)原理層面上的突破（除非是材料）。

但是，ISP和算法相關(guān)。它會(huì)對(duì)接收到的電信號(hào)做很多處理，會(huì)把大量的有用的信息都抹掉，在這個(gè)基礎(chǔ)上，再試圖提升下游的識(shí)別效果，已經(jīng)失去先機(jī)。特別是暗光和高動(dòng)態(tài)場(chǎng)景，圖像失真和信息損失不可避免。

比如，有的 CMOS 已經(jīng)達(dá)到 160dB，但多數(shù)傳統(tǒng) ISP 動(dòng)態(tài)范圍還停留在 48dB，猶如高速公路過后接著走一段鄉(xiāng)村小路。由于 ISP 這條鄉(xiāng)村小路容納的車流量有限，會(huì)對(duì)接收到的電信號(hào)做一定處理，比如通過去掉最暗部分和最亮部分，扔掉大量信息。

如果一次性端掉整個(gè) ISP 不可靠，考慮到目前端側(cè)的算力也有限，結(jié)合落地中的功耗以及成本問題，能不能將其中與成像質(zhì)量相關(guān)的關(guān)鍵環(huán)節(jié) AI 化，直接從原始數(shù)據(jù)（比如感光芯片數(shù)據(jù)）里提取更多信息，讓 AI 來處理？ 比如，用一個(gè)DNN 做白平衡，另一個(gè) DNN 做 Demosaic，然后讓很多個(gè)神經(jīng)網(wǎng)絡(luò)協(xié)同工作？

循著這一思路，2021 年華為海思發(fā)布越影 ISP 芯片，被視為推動(dòng)了整個(gè)安防行業(yè)的 ISP 轉(zhuǎn)向。越影 AI ISP 能智能區(qū)分圖像中的信號(hào)和噪聲，實(shí)現(xiàn)低照度場(chǎng)景下的智能降噪。

2022年，在 ISP 處理方面 17 年的經(jīng)驗(yàn)的安霸公司也宣布推出 AI ISP ，可以在極低的照度和最小的噪聲下實(shí)現(xiàn)低光下的彩色成像，比主流 ISP 性能提升 10 到 100 倍，并具有更自然的顏色再現(xiàn)和更高的動(dòng)態(tài)范圍處理能力。

深知未來也利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)噪聲和信號(hào)的分布特性，訓(xùn)練出一套能從極弱光信號(hào)中分離噪聲和真實(shí)信號(hào)的深度學(xué)習(xí) AI 算法，在降噪的同時(shí)將真實(shí)信號(hào)增強(qiáng)至正常光環(huán)境強(qiáng)度，信噪比提升最高可達(dá) 25dB，實(shí)現(xiàn)了在極弱光環(huán)境下的正常成像。

深知未來 AI ISP技術(shù)，信噪比提升最高可達(dá) 25dB，實(shí)現(xiàn)了在極弱光環(huán)境下的正常成像。

云南昆明消防總隊(duì)在夜間使用深知未來夜視相機(jī)掛載 S3 搭配無人機(jī)進(jìn)行測(cè)試，此圖為 S3 VS 其他夜視相機(jī)載荷對(duì)比圖。

神經(jīng)網(wǎng)絡(luò)強(qiáng)大的地方在于對(duì)復(fù)雜場(chǎng)景的建模能力，使得圖像效果超越傳統(tǒng) ISP，特別是極低照度下的降噪、增強(qiáng)對(duì)比度等方面。

「我們所做的一切就是收集足夠多的數(shù)據(jù)，增強(qiáng)建模能力，特別是各種 corner case。」 張齊寧舉例道，在深圳生活長大的人可能無法想象西藏高原、冰川等夜晚有多黑。我們從來沒有見過那么黑的場(chǎng)景。在整個(gè)中國甚至全球范圍內(nèi)，成像還會(huì)遇到哪些極端情況？我們的算法能不能覆蓋到？

獲取這些 Bad case，再針對(duì)性在做訓(xùn)練，就能增強(qiáng)應(yīng)對(duì)復(fù)雜場(chǎng)景的能力，實(shí)時(shí)更新 ISP 參數(shù)。迭代視覺模型，即可快速實(shí)現(xiàn)芯片產(chǎn)品畫質(zhì)的升級(jí)換代。

比較之下，由于傳統(tǒng) ISP 在做成像時(shí)，必須在 FPGA 或者是 ASIC 上運(yùn)行，因?yàn)樗仨氂幸粋€(gè)非常嚴(yán)格的有時(shí)序的硬件來保證它的時(shí)延可控，完全固化成了電路邏輯，因此，它們無法有效進(jìn)行個(gè)性化調(diào)整，也永遠(yuǎn)無法升級(jí)。

目前，AI 與傳統(tǒng) ISP 的結(jié)合趨勢(shì)在手機(jī)廠商中非常突出，目的是增加手機(jī)拍照效果，深化品牌差異。另外，AI ISP 也在走入安防、無人機(jī)甚至自動(dòng)駕駛領(lǐng)域。

去年至今，我們最大的一個(gè)商業(yè)化場(chǎng)景就是行業(yè)級(jí)無人機(jī)的全彩夜視相機(jī)掛載。張齊寧告訴我們，無人機(jī)市場(chǎng)的商業(yè)模式已經(jīng)被驗(yàn)證，現(xiàn)在已經(jīng)擁有成熟的系列產(chǎn)品線。

國內(nèi)行業(yè)級(jí)無人機(jī)的應(yīng)用其實(shí)很廣泛，包括公共安全、漁政、邊防、海防、消防、應(yīng)急等等。目前國內(nèi) 200 家以上的行業(yè)級(jí)無人機(jī)相關(guān)企業(yè)，主要圍繞著農(nóng)業(yè)植保、電力巡檢和警用安防三大重點(diǎn)領(lǐng)域。

與此同時(shí)，深知未來也在探索夜視相機(jī)的消費(fèi)級(jí)市場(chǎng)，如手持夜視望遠(yuǎn)鏡等。

四、邁向 2.0 ，干掉 ISP

現(xiàn)在，我們都還在 AI ISP 1. 0 時(shí)代——部分的傳統(tǒng) ISP 流程加上部分神經(jīng)網(wǎng)絡(luò)流程——本質(zhì)上還是一種過渡。在張齊寧看來。

目前的方案不僅要傳統(tǒng) ISP，還需要 NPU，無論是成本還是功率消耗，肯定都比原來的要高，沒那么容易實(shí)現(xiàn)平替。

芯片寸土寸金，如今還要給 ISP 留一塊地，面積還挺大，甚至比 NPU 還要大。有時(shí)候，功耗還會(huì)超越 NPU。

因?yàn)?ISP 和 NPU 需要進(jìn)行協(xié)同工作，雙方的一些數(shù)據(jù)交換就會(huì)導(dǎo)致 NPU 沒有辦法全功率工作，通常可能只有百分之十幾、二十的利用率。

不過，ISP 的技術(shù)還在不斷演進(jìn)，與 AI 的融合只是其中一個(gè)方向。也有觀點(diǎn)認(rèn)為，基于一些自身不足（比如功率、端側(cè)算力、訓(xùn)練推理成本等），AI ISP 也不可能全部取代傳統(tǒng) ISP。

而在張齊寧看來，與 AI 融合的技術(shù)路徑必須繼續(xù)進(jìn)化到一個(gè)大家都無腦選擇的狀態(tài)，才能真正實(shí)現(xiàn)規(guī)?；鎿Q?！?接下來，我們想完全切掉所有傳統(tǒng) ISP 流程，用神經(jīng)網(wǎng)絡(luò)替代。」

視覺從誕生的第一天起就是在用神經(jīng)網(wǎng)絡(luò)在做成像。三葉蟲因此成為寒武紀(jì)海洋中的霸主，在地球上生存了近三億年才滅絕。人的視覺本身就是一個(gè)非常純粹的神經(jīng)網(wǎng)絡(luò)。

深知未來預(yù)計(jì)會(huì)在今年年底實(shí)現(xiàn) 2. 0 框架的雛形。據(jù)張齊寧介紹，這是一個(gè) all in one 的神經(jīng)網(wǎng)絡(luò)，不再依賴于任何傳統(tǒng) ISP pipeline。

你可以認(rèn)為它是一個(gè) multitask 的神經(jīng)網(wǎng)絡(luò)，可以實(shí)現(xiàn)非常多的任務(wù)，不像現(xiàn)在的方案還需要有很多神經(jīng)網(wǎng)絡(luò)協(xié)作。

「只需要 NPU，它是一個(gè)全新物種?！?

關(guān)鍵詞：