提到剛剛發(fā)布的高通驍龍865，你最關注的點是什么？像PC一樣自帶“獨立顯卡”，還是支持144Hz高頻刷新屏幕，亦或是性能顯著提升的X55 5G基帶？而我的關注點則在于其SoC強大的算力對于手機攝影能力的進一步提升。

在這個“人人都是自媒體、Vlog美圖滿天飛”的時代，手機的拍攝能力已經(jīng)成為用戶選擇手機的關鍵性考慮因素，而如何玩轉手機攝影不光是小米、OV這些OEM的事，更是高通這些上游芯片廠商的“分內事”。

相比更依賴器件性能的單反相機，如今的智能手機攝影能力靠的是手機OEM廠商的結構設計和算法優(yōu)化、CMOS廠商的硬件供應、以及高通等芯片廠商強大的算力支持，缺一不可，這便是今年驍龍技術峰會主題演講上Qualcomm Technologies產(chǎn)品市場資深經(jīng)理PJ Jacobowitz口中的計算攝影，攝影與算法的結合。

“我喜歡單反相機，但是計算攝影才是攝影的未來”，Jacobowitz表示，“它不再像單反相機一樣只有一個鏡頭，而是像小米CC9 Pro一樣擁有5個鏡頭，5個攝像頭、5個圖像傳感器，與AI協(xié)同帶來出色的影像。”

隨著消費者對于手機攝影等功能化要求的不斷提升， 手機SoC芯片已經(jīng)不再是一個單純的“動力系統(tǒng)”，而更像是手機的“智能大腦”，它需要在不同的功能場景下調用其中不同的模塊提供算力支持，而如今的手機攝影（計算攝影）幾乎調用了手機SoC芯片除了信號基帶以外的所有模塊，主要為ISP和AI模塊。

計算攝影需要芯片支持

計算攝影是一個新詞，但又不是一個新詞，各大手機OEM廠商常常掛在的嘴邊HDR便在計算攝影的范疇之內，然而直到ISP和AI崛起，計算攝影才被正式“提到日程”。

常玩單反相機的朋友們可能都知道，如果你想要通過后期修出更美的圖片，那么RAW格式直出的圖片是更好的選擇，而這得益于單反相機強大的光學硬件保留下的更多細節(jié)。但如果你對比過目前智能手機的RAW直出原圖和通過各種算法生成的JPEG格式圖片（計算攝影），你就會發(fā)現(xiàn)手機CMOS真的“渣”（相比單反）以及AI算法真的強。

計算攝影，簡單來說就是將計算和攝影進了高度融合，或者說“利用”數(shù)字計算進行攝影，而不是像單反一樣純靠光學處理，因此如今的手機攝影更加依賴手機SoC芯片的強悍性能，而CMOS在重要性上或許已經(jīng)不能排在No.1了。

事實上， 手機攝影依賴SoC芯片這件事，早在計算攝影名詞未火熱的諾基亞時代便已“實錘”。

2013年，諾基亞Lumia 1020橫空出世，繼承前輩諾基亞808 PureView 4100萬像素攝像頭的它成為彼時手機圈的焦點，第二代O.I.S.光學防抖的蔡司認證鏡頭、氙氣閃光燈+ LED補光燈、數(shù)碼3倍無損變焦、以及4秒長曝光的硬件參數(shù)組合，即使放到今天也異常強悍。

同時，諾基亞在當時還提出了“超采樣技術”，這項技術是在4100萬像素的基礎上，將7個像素壓縮為一個超級像素，通過像素合成的方式輸出一張500萬像素的照片，讓照片看起來更加清晰細膩，這種將多個像素壓縮為一個像素或者將多張照片合成為一張照片的技術在現(xiàn)在看來已經(jīng)非常普遍，它便是計算攝影重要的組成部分，而這需要手機SoC芯片異常強大的算力支持，而彼時的高通驍龍S4處理器完全不能勝任。

高通驍龍865芯片

也正因為算力的缺乏，彼時的Lumia 1020展現(xiàn)出的實際拍照效果與其強大的鏡頭硬件完全無法匹配，拍照發(fā)白、夜間色彩差、以及相機啟動較慢等問題頻出，盡管當時很多媒體將原因歸結為Windows Phone系統(tǒng)問題，然而更重要的原因則是當時的手機SoC芯片的算力無法支持如此龐雜的算法。

或許是某些手機廠商并沒有意識到手機SoC芯片對于手機攝影的重要性，又或是它們低估了其算法設計背后的算力，同樣類似的“失敗產(chǎn)品”在隨后同樣屢見不鮮，比如最早號稱擁有一億像素的金立E8、以及2019年初剛剛發(fā)布的需要同時處理5顆攝像頭的諾基亞 9 PureView（現(xiàn)HMD旗下），算法優(yōu)化不好和算力不夠強大算力是如今很多手機拍照慢、發(fā)白發(fā)亮的重要成因。

而在光線較暗或者夜景模式下，手機SoC芯片中主要發(fā)揮作用的便是AI模塊，即嵌入式神經(jīng)網(wǎng)絡處理器，高通稱之為AI Engine人工智能引擎，簡單來說就是利用AI算法進行“修圖”。

Spectra 480 ISP全新升級“媲美”單反

為了帶來更強悍的計算攝影性能，高通最新的驍龍865處理器進行了諸多升級，其中最關鍵的兩點便是Spectra 480 ISP和第五代Qualcomm人工智能引擎AI Engine。

“Spectra 480 ISP擁有兩個非常出色的特性：第一，它支持每秒十億級像素處理速度，也就是說用戶能夠以30FPS記錄6400萬像素的畫面；第二是專業(yè)級圖像質量”，Qualcomm Technologies產(chǎn)品管理高級總監(jiān)Judd Heape表示。

據(jù)悉，Spectra 480 ISP由三部分組成：HiSpeed Capture模塊，即圖像傳感器相互連接的地方，能夠高速處理數(shù)據(jù)流；EVA視頻分析引擎；HEIF，它能夠壓縮、編碼和存儲用戶的圖片和影像。Spectra 480 ISP將為計算攝影帶來了全新的應用場景。

高通驍龍865芯片

首先便是全屏下的“多點對焦”，Spectra 480 ISP將對焦點從圖像傳感器的中心升級至了整個傳感器，對焦點數(shù)量是原來的9倍。當我們拍照時，手機將實現(xiàn)端到端的對焦，能夠自動便捷的選擇對焦點，這等同于單反相機的“全對焦區(qū)域自動”。這樣一來，未來我們拍攝視頻時完全不必再擔心追焦過慢或者失焦，“一鏡到底”再也不會存在技術問題，這對于抖音這些短視頻創(chuàng)作者的幫助無疑是巨大的。

其次，全新的圖像傳感器。據(jù)了解，目前圖像傳感器均采用拜耳陣列方法采集圖像，每個陣列包含紅、綠、綠、藍色的4個微小像素，這些像素會被ISP逐一處理，通常來講每個時鐘周期只能處理1個像素，而全新升級的Spectra 480 ISP可以實現(xiàn)每時鐘周期處理4個像素，處理效率高達每秒20億像素，讓2億像素拍照成為現(xiàn)實。除了超高像素拍攝，超高的處理速度還支持Spectra 480 ISP放慢時鐘周期，用更低的功耗和更低的運行溫度完成同樣的處理任務。高通官方數(shù)據(jù)顯示，當用戶拍攝4K@60fps視頻時，功耗比前代降低了16%，這能夠帶來更長的續(xù)航，充分緩解Vlogger們的電量焦慮。

這種全新的圖像傳感器像素陣列（4單元色彩濾鏡陣列（Quad CFA）圖像傳感器）是過去拜耳陣列的4倍，由于尺寸巨大和像素陣列等原因很難處理。為此高通利用硬件加速來更好地處理這些圖像傳感器，隨著1億甚至2億像素時代的到來，圖像傳感器將更加依賴于硬件加速。

第三，弱光環(huán)境的降噪體驗。相比上一代，Spectra 480 ISP增添了全新的噪點過濾內核，它能夠幫助減少弱光拍攝環(huán)境下常見的噪點，同時保留了紋理的邊緣和細節(jié)。數(shù)據(jù)顯示，該專用降噪內核能夠實現(xiàn)圖片紋理效果18%的提升，這將近一步幫助手機OEM廠商提升夜景模式的拍攝能力。

第四，實現(xiàn)局部運動補償。簡單來說，Spectra 480 ISP可以處理場景中的任何局部運動，這在之前是無法實現(xiàn)的。此外，Spectra 480 ISP針對降噪的像素處理能力相比前代提升了40%，這意味著用戶拍攝的所有視頻能夠流暢播放，并且圖像噪點相比前代減少了很多，這將近一步推動Vlog、抖音等長短視頻的近一步發(fā)展。

第五，邊錄邊拍（視頻和照片同步拍攝）中照片像素的提升。以往，當我們拍攝4K視頻時，同時刻截取的照片畫質實際上只能達到800萬像素。而如今在每秒十億級像素處理速度的基礎上，Spectra 480 ISP能夠實現(xiàn)在錄制4K HDR視頻的同時拍攝6400萬像素的照片。

此外， Spectra 480 ISP能夠實現(xiàn)迄今為止移動終端所能拍攝的最高像素照片——2億像素的照片，也就是說1億像素或許并不是2020年手機OEM廠商的主號角，2億像素才是主角。據(jù)高通Judd Heape透露，2020年，搭載驍龍865的移動終端將配置2億像素圖像傳感器，而這一高性能傳感器目前只有驍龍865移動平臺能夠支持。

最后，支持HEIF全新文件格式。它能夠將照片和視頻的文件尺寸減半，大大削減了圖片和視頻的手機占用空間，令很多用戶可以重新用回64GB存儲，也令旗艦手機入門級價格有所降低。同時，HEIF文件格式還能夠實現(xiàn)多種功能，包括拍攝和保存HDR圖像，將視頻與靜止圖像混合，支持CV處理并保存全部CV數(shù)據(jù)，以及處理景深圖（depth map）等。

其中景深圖是高通與Google合作的項目，Google特意為景深圖開創(chuàng)了新標準，令其能夠存儲在HEIF容器中，用戶可以將普通圖片以及實現(xiàn)背景虛化效果的圖片存在同一文件及同一個圖像容器內，隨時提取調用。

HEIF文件格式還支持用戶添加EXIF數(shù)據(jù)，用戶能夠隨時使用這些EXIF數(shù)據(jù)，并能獲取圖像的具體拍攝地理位置，了解當時拍攝相機的狀態(tài)，例如當時拍攝的光照條件、光圈大小以及快門速度情況，這類似于單反相機，既可以讓觀看者能夠查看照片的拍攝詳細方法，又可以有效保護拍攝者的版權信息，這可以說是為內容創(chuàng)作者量身打造的。

AI引擎讓拍攝更智能

如果說Spectra 480 ISP強大的硬件升級讓驍龍865在功能上更加接近單反相機，那么第五代Qualcomm AI Engine則讓拍攝變得更加便利和有趣，自帶“修圖”屬性讓手機遠比單反智能?；谌碌牡谖宕鶤I Engine，高通帶來了圖像分割、語義分割、以及無縫變焦等功能。

其中，圖像分割是一種全新的拍攝方式，我們在拍攝人像照片或視頻后，圖像分割可支持讓圖片中的主角呈現(xiàn)為彩色，周圍其他人呈現(xiàn)為黑白；或是拍攝某處風景照后，將灰色天空替換成藍色天空，這令創(chuàng)作者能夠產(chǎn)出更有趣的內容，讓Vlog等視頻形式更加豐富。

而語義分割則是一種更細致的AI修圖方式，即AI Engine會將整個圖像或視頻分割為各個語義區(qū)域，并針對各區(qū)域進行針對性優(yōu)化，比如讓眉毛更加濃密、讓天空噪點更低并壓制高光等等。語義分割更像是一個后期修圖大師，為你拍攝后的照片進行精密P圖，這令我們在黑暗或者大逆光下也能夠拍攝出更清晰的畫面，這也是目前手機OEM廠商得以實現(xiàn)超級夜景、逆光也清晰的根本技術支持（目前是上一代）。

無縫變焦方面，高通將與虹軟（ArcSoft）合作完全改變傳統(tǒng)的變焦方式，讓變焦如同單反相機的機械變焦一樣順滑。此前，我們利用手機拍攝視頻時，總能發(fā)現(xiàn)從超廣角到長焦的變換痕跡，那種“跨越”極大影響了視頻的美觀，而此次變焦上的改變將再一次助力視頻內容創(chuàng)作者。

此外，高通驍龍865針對視頻拍攝上還做了進一步升級，支持包括8K@30FPS（3000萬像素）和4K@120FPS視頻拍攝、杜比視界（Dolby Vision）、以及不限時慢動作拍攝等。

如今，驍龍865正式推送了HDR視頻拍攝的第四代，并業(yè)界首度支持杜比視界（Dolby Vision）視頻拍攝功能，無論是手機還是其他帶攝像頭的產(chǎn)品均可以。美國杜比實驗室推出的這項影像畫質技術，可以有效提升視頻信號保真度，從而讓圖像的無論從亮度、色彩還是對比度角度看都非常逼真。簡單來說，就是讓用戶可以拍出更優(yōu)秀的視頻，甚至無需后期便可以直接剪輯。

同時，4K@120FPS視頻拍攝的引入既提升了視頻拍攝的流暢度，又促進120Hz刷新率屏幕手機的向前發(fā)展。4K@120FPS也可以應用于拍攝慢動作視頻中，同樣業(yè)界首創(chuàng)支持以4倍于4K@30FPS的效果播放慢動作視頻。

而不限時慢動作拍攝方面，過去當我們拍攝慢動作視頻時通常只能以720P分辨率拍攝，其主要是因為在進行超過480FPS視頻拍攝慢動作視頻時，通常是使用插幀（frame interpolation）的方式實現(xiàn)的，并不是原生的480FPS。但是驍龍865能夠支持原生720P@960FPS的慢動作視頻拍攝，這是通過ISP極速運行的。

整體來看，驍龍865在計算攝影方面的升級主要體現(xiàn)在更接近單反的功能操作體驗和助力內容創(chuàng)作兩方面。其中，無論是多點對焦，還是支持EXIF數(shù)據(jù)，亦或是機械般順滑的變焦體驗，都是高通驍龍想讓手機攝影在功能體驗上接近單反相機，創(chuàng)造更專業(yè)的拍攝體驗。

而另一方面， 高通對于視頻拍攝的優(yōu)化將進一步推動如今Vlog、抖音等長短視頻的向前發(fā)展，搭載驍龍865的手機將成為內容創(chuàng)作者的生產(chǎn)力工具，不限時慢動作拍攝讓創(chuàng)作更容易捕捉瞬間，而杜比視界、語義分割、局部運動補償、以及弱光環(huán)境降噪將提供更優(yōu)質的照片或視頻畫面，圖像分割則為創(chuàng)作者提供了一種全新的視頻展現(xiàn)模式，隨著更多應用程序基于驍龍865的軟硬件特性進行深度優(yōu)化，想必還會有更多有趣的功能特性面世。

同時， 2020年的手機SoC芯片也不再單純影響手機性能，而會在一定程度上驅動其他硬件升級，甚至左右價格，120Hz高刷新率屏幕和2億像素注定將成為2020年手機行業(yè)的主旋律之一，而旗艦手機64GB存儲的入門級版本或將成為熱門機型。

2020年是5G高速發(fā)展的一年，也將是計算攝影推動下長短視頻行業(yè)高速發(fā)展的一年。隨著驍龍865平臺的落地應用，越來越多的人將會放下單反、拿起手機來創(chuàng)作視頻和圖片內容。

責任編輯：ct