人工智慧再次突破!把有碼成功還原成高解析無碼!
▲ AI 技術 「PULSE」 可將模糊的馬賽克照片轉換成看起來像真人的高解析度肖像。 該系統能自動將任何圖像解析度提高到64倍,並模擬毛孔、睫毛位置與形狀等在原圖無法辨識的細節。
人工智慧用於「有碼變無碼」方面已有相當多的研究成果,例如之前 Google Brain 發表了透過機器學習消除馬賽克、提高像素的技術。而最近,AI 去除馬賽克的技術又有了新的突破!
近日杜克大學的研究人員開發了一種 AI 影像還原工具,可將模糊到無法辨識的人像轉化為令人信服的高清圖片,而解析度與細節的表現可說是史上最強!
以往的技術,可將圖像的解析度提高至八倍。但是杜克大學的研究團隊想出了一種人工智慧的解決方法:只需要少少像素的模糊照片,就能創造出解析度高達 64 倍逼真的高清肖像,原圖看不到的細紋、睫毛以及鬍渣等細節都一覽無遺!
「過去從未能在這樣的解析度(指原圖的低解析度)上,生成如此高清、如此多細節的圖片!」此次研究團隊的領導人──杜克大學的電腦科學家 Cynthia Rudin 說。
不過這個系統仍然無法用做人物辨識,研究團隊說:它無法將監視器拍到的失焦或是無法識別的照片變成真實、清晰的圖像。相反地,它可以生成不存在、但看起來真實的新面孔。
「研究員們專注於將這些面孔作為新的概念,但理論上,該技術可在拍攝幾乎所有物體的低解析度照片後,製作出清晰逼真的圖像。應用範圍涵蓋醫學,顯微鏡,天文學和衛星圖像。」 研究團隊的 Sachit Menon 說。
▲ 人工智慧「PULSE」能還原眼、口、鼻等部位都難以辨識的馬賽克圖片,並將原圖的解析度拉高至 60 倍!
傳統的影像修復方式為擷取低解析度的圖像後,將它與電腦之前看到的高解析度圖像的對應像素,試著撮合、匹配、平均化,藉此來補足像素。
這種「平均化」的結果是,頭髮和皮膚中的紋理區域可能無法從一個像素到另一個像素完美對齊,最終看起來模糊且朦朧。
杜克大學的團隊就不使用這種「在低解析度的照片上慢慢加新的細節」的方式。他們研發的系統 「PULSE」 會在人工智慧生成的高解析度率臉孔範例中,盡可能找到最像的──在範例臉孔縮放到相同尺寸時,看起來像輸入的原圖的人臉。
團隊使用一種機器學習的工具「生成對抗網絡(英語:Generative Adversarial Network,簡稱GAN)」,方法是使用相同的照片組訓練兩條神經網路。其中一條神經網路產生了人工智慧創建的人臉──其外觀是模擬訓練照片上的臉孔;而另一條網絡則用於判斷第一條生成的結果,是真實的人像還是虛擬人物。第一條網路不斷生成人臉,直到越來越逼真,以至於第二條誤認成是真實的人像為止。
PULSE 可將模糊不清、充滿雜訊或是馬賽克化的圖片,生成高擬真的照片。從一張模糊的肖像中,它可以生成許多令人難以置信、栩栩如生的照片,每張照片都不一樣,都是 PULSE 判斷模糊照片中的人物可能的真實樣貌。
即使是給眼睛與嘴巴幾乎看不到的馬賽克照片,「我們的演算法仍然可以用它來生成一些照片,而這是傳統方法無法做到的。」團隊中的 Alex Damian 說。
▲ PULSE 的 5 位研發成員將自己的照片「馬賽克化」後,「餵」給 PULSE 來還原照片。雖然 PULSE 合成的高清肖像與原本的有點出路,但是相似度已比過往的解碼方法還高,解析度更是高出許多。
該系統能在短短幾秒內,將 16x16 像素的肖像轉換成 1024 x 1024 像素,增加了超過一百萬的像素,幾乎等同於 HD (High Definition) 高畫質的解析水準。諸如像是毛孔、皺紋、髮絲等低解析照片無法察覺的細節,都在人工智慧生成的照片中,變得銳利清晰。
研究團隊還請了 40 個人,對經由 PULSE 以及其他四種方法 (LR、BICUBIC、FSRNET、FSRGAN) 生成的 1440 張圖像,進行 1 到 5 的評分。結果是由 PULSE 生成的照片分數最高,得到了「幾乎與真人的高解析度照片一樣」的評價。
你也可以上載你的圖像,看看會被 PULSE 生成哪些驚人的結果:http://pulse.cs.duke.edu/.
相關文章:
Python vs R語言:哪個比較適合人工智慧/機器學習?
留言列表