解析Google Pixel相機原理 Pixel 3、Pixel 3a單鏡頭相機為什麼這麼強?

2019.05.23 12:34PM
Public Relations, Communication, Public, , CitizenM, Entrepreneurship, senior citizen

Google 的 Pixel 手機自進入 Pixel 2 世代後,以獨特的 Visual Core 與 AI 技術顛覆單相機鏡頭影像的極致,而後續的 Pixel 3 家族更在多鏡頭旗艦機強敵環伺下仍有出色的影像表現,自然的低照度拍攝、單鏡頭散景即便面對有更複雜硬體的機種甚至更為傑出,最近更以更平價的 Pixel 3a 家族以 AI 攝影技術使其足以以下犯上,挑戰高階機種。 

軟體定義為既有硬體帶來創新與突破

Business development, Human behavior, Public Relations, Conversation, Business, Font, Human, Behavior, New product development, Public, presentation, Presentation, Text, Lecture, Projection screen, Seminar, Font, Projector accessory, Technology, Media, Event

Google 台灣也請到擁有 Google 傑出工程師 Marc Levoy ,他擁有資深數位影像技術背景、同時也是由 VMWare 創辦人所支持的史丹佛大學電腦科學榮譽退休教授,為台灣媒體解開 Pixel 相機能如此出色的關鍵,而他開宗明義的指出, Pixel 手機的影像技術是顛覆過往的硬體定義相機,並轉化至軟體定義相機的科技結晶。

Pixel 手機的做法是打破過往靠固定功能硬體的作法,藉由計算攝影與連拍,透過高效率的機器學習技術取代傳統演算法,以 Google 的巨量資料作為基礎,配合 Google 的機器學習建立模型,在當代高性能的 Pixel 手機實現驚人的演算,同時 Google 也不藏私的將影像技術對外分享,藉此驅動創新與吸引更多人才。

Marc Levoy 指出,在手機上的相機應用程式需要符合幾項基本原則:執行需要迅速,預設模式不能失敗,重現消費者在攝影遇到的特殊情況,與在特殊模式下可接受偶發的失敗。在即時速度的要求,即時監看的資訊需要高於 15fps ,快門延遲需要低於 150ms ,成像時間需低於 5 秒內。

結合連拍與 AI 的先進 HDR+

Display device, Font, Presentation, Design M Group, Computer Monitors, presentation, Text, Red, Font, Display device, Design, Presentation, Technology, Adaptation, Magenta, Electronic device

Screenshot, Presentation, Multimedia, Font, presentation, Text, Projection screen, Presentation, Lecture, Font, Projector accessory, Technology, Electronic device, Seminar, Multimedia

在過往相機的 HDR 技術仰賴包圍式曝光做法,此技術是藉由捕捉不同曝光程度影像,並將多重影像加以疊合,實現從低光到高光皆清晰、細節清楚的影像,然而這項作法卻因為需要精確的影像疊合,在缺乏三腳架與手機晃動的情形難以成功拍出 HDR 影像。

Display device, Multimedia, Product design, Presentation, Design, Product, Electronics, Computer Monitors, Brand, electronics, Text, Font, Technology, Design, Presentation, Display device, Screen, Electronic device, Multimedia, Parallel

而在 Pixel 3+ 的做法則是改變捕捉不同曝光的照片進行合成,以曝光不足、相同曝光的連拍影像作為基礎,如此一來影像更為相似也容易校準,並且能夠具備更吃惡的信號雜訊比( SNR )與減少陰影的雜訊,同時利用色調映射( Tonemap )強化陰影、降低亮處,雖會犧牲整體色調與對比,但能保留局部對比。藉突破的概念,也讓 Pixel 手機的 HDR+ 影像拍攝的成功率與影像品質超越傳統 HDR 模式。

結合機器學習與雙像素技術的單鏡頭肖像模式

Font, Technology, Presentation, website, Text, Font, Design, Technology, Adaptation, Website, Electronic device, Media, Display advertising

Screenshot, Handwriting, Presentation, Font, Angle, Microsoft Azure, Number, Sky, presentation, Text, Font, Presentation, Technology, Lecture, Number, Writing, Document, Electronic device, Multimedia

由於手機先天感光元件尺寸,若以硬體定義相機技術,難以拍出如專業相機的景深,而肖像模式就是當代手機所使用的方式;在初期為了實現肖像模式,過往使用雙鏡頭先在相似焦點捕捉兩個影像,透過立體匹配演算計算深度,接著選擇一個平面作為保留銳利的基準,最終模糊基準外的影像,不過如此一來會增加硬體複雜度,並且還需要處理雙鏡頭的資訊。

Display device, Font, Screenshot, New media, Multimedia, Presentation, Electronics, Computer Monitors, Media, Brand, software, Text, Technology, Font, Electronic device, Multimedia

Advertising, Presentation, presentation, Text, Adaptation

然而僅有單鏡頭的 Pixel 手機則是透過機器學習作為基礎,在主鏡頭結合雙像素對焦元件取得深度資訊,而前鏡頭則是透過機器學習而來的影像分析,仍可實現單鏡頭的肖像; Google 透過卷積神經網路預估圖像中每個像素的人物,以超過百萬張標籤過的人物與配件進行培訓,使 AI 模型能夠在影像中框出人像輪廓。

以 AI 技術實現出色的高解析變焦

Digital zoom, Google Pixel 3 XL, Google, , Zoom lens, Photography, Algorithm, Computer Software, Smartphone, Google.ai, material, Text, Line, Font, Square, Parallel

過往手機由於僅有單焦點單鏡頭設計,故要拍攝遠處的影像,只能透過數位變焦、也就是數位裁切的方式,但如此一來等同只是對影像進行局部裁切,畫質也會隨之下降, Google 雖未在 Pixel 的高解析變焦使用 AI 相關技術,然而藉由高速連拍技術合成更高畫素影像,使其可媲美當前具備 2 倍鏡頭的機種。

Advertising, Graphic design, Design, Public Relations, , Google logo, Google, Logo, Graphics, Purple, pixelbox, Technology, Design, Event, Electronic device, World, Display device, Media, Graphic design, Graphics

其中的關鍵,就是當代數位相機元件所使用的拜耳陣列結構,透過矩陣中配置 R 、 G 與 B 畫素組合構成影像,當手持進行高速連拍時,將原始、水平、垂直、與水平與垂直同時位移的四張影像結合,可藉由連拍之後將多張影像的顏色資訊相互填補,並透過顏色資訊重建方式,提升高解析度,若在完美不搖晃的環境,則反過來利用防手振技術製造手振使像素偏移。

將黑暗化為白晝的夜視模式

Mobile Phones, iPhone, toy, Gadget, Toy, Mobile phone, Smartphone, Technology, Electronic device, Portable communications device, Finger, Communication Device, Hand

Google 的夜視模式也仍是基於高速連拍的技術結晶,按下快門後,高速捕捉達 15 張的影像,另外會根據手振程度與偵測畫面中是否有動體評估拍攝時間,有晃動就會延長取景時間,反之則縮短。而自 Pixel 3 則在此為基礎之上,再導入高解析變焦功能的技術概念,最終結合學習式白平衡調整色調。

夜視技術的出發點是為了實現在人眼難以辨識甚至不可見、但仍真實存在且具備色彩的夜間景物, Google 透過古典畫作的三大特徵,以強化對比、將陰影投射為黑色與透過黑暗環繞場景作為原則,並透過色調映射還原色彩,以古典畫作為師呈現出色的夜視模式。

少了 VisualCore 的 Pixel 3a 與 Pixel 3 僅有速度差異

Smartphone, Nail, Product design, Close-up, Design, Product, Mobile Phones, iPhone, close up, Gadget, Smartphone, Mobile phone, Product, Electronic device, Communication Device, Technology, Pink, Portable communications device, Material property

或許會有消費者認為在少了 VisualCore 後, Pixel 3a 的影像表現會有所差異,不過 Marc Levoy 拍胸掛保證,除了少了 VisualCore 帶來的處理高效率外,由於相機相同, AI 模型相同, Pixel 3a 系列僅有處理速度較慢,影像品質不會有差異。

Human behavior, Public Relations, Conversation, Behavior, Human, Public, Electronics, Design M Group, Entrepreneurship, human behavior, Red, Yellow, Community, Event, Design, Speech, Technology, Adaptation, Conversation, Public speaking