September 29, 2022

道格新作,AI還原泰戈爾:世界痛吻我,讓我唱


如果一張將近 100 年曆史的黑白圖像被彩色覆蓋,它是否更具有歷史意義?

近日,一段泰戈爾1930年演講的珍貴視頻被人工智能修復。

原始電影來自 MIRC,南卡羅來納大學的電影圖像庫。

這是泰戈爾於 1930 年 5 月 5 日在巴黎對美國的演講,也是泰戈爾少數倖存的聲音圖像之一。

“繪畫”後的泰戈爾比我想像的要白得多。

網友調侃道:“是泰戈爾的英式咖哩嗎?”

英語是咖哩,但這不影響我的愛好。

世界用力吻我,要我唱歌

“世界各國之間的距離在不斷縮小,”泰戈爾說。

多虧了AI,我和你的距離也在縮短。 100年後,粉絲們將能看到“爺爺爺爺”的聲音。

不得不笑著說,AI 是在鼓勵我揮舞魔杖。

不愧是大詩人,眼睛深邃銳利,慢慢地長長的鬍鬚,風中飄揚的袍子,是不是時而散發著?

文青專屬的仙靈在哪裡?

他所有足以成為偉大詩人的話語都透露出他對這個世界的熱愛!

在視頻的最後,大谷還給泰戈爾一家的肖像塗上了顏色。這幾乎就像真實的東西。

那麼這個視頻修復背後使用的是什麼技術呢?

1930年復興的各種開源工具RIFE+中文項目GPEN

大谷說:“繼續上一期。科技風格Chen,我使用了 RIFE、Deep-Exemplar-based-Video-Colorization、GPEN 等一系列人工智能項目。我也修復了聲音。 “”

其中,RIFE是一種實時視頻插幀方案,可以滿足老圖像的高幀率要求。

Otani 在這裡經常使用的另一個框架補充項目是 DAIN。

他提到的第二個項目是: 基於深度示例的視頻著色。

這來自結合了圖像檢索和圖像著色的模型。該模型首先從大量參考圖像中取一張類似於灰度圖像的圖像,然後將參考圖像的配色方案轉移到灰度圖像中,以獲得非常好的著色效果。

GPEN(GAN之前的嵌入式網絡)是2021年的新發展開源項目由中國人打造,亞洲人像的還原效果更勝一籌。

結果表明,該效果顯著優於最先進的受損嚴重的盲臉修復方法。

和 DeOldify:DeOldify 使用 NoGAN 進行訓練。 NoGAN 對於獲得穩定且色彩豐富的圖像至關重要。

NoGAN 訓練是 GAN (精彩的著色的好處同時消除副作用(例如視頻中物體的閃爍)。

視頻渲染使用孤立的圖像生成,沒有天際的時間建模。

除了使用這些開源的AI模型,大谷還結合優秀的後期製作技巧,將100年前的北京舊生活和上海時裝秀帶給大眾,我能做到。

你覺得下次誰會回來?

參考

https://b23.tv/NQhcCm

這篇文章來自微信民眾《新石本》(ID:AI_era),作者:辛志遠,編輯:亞新雙葉,36氪經授權發布。

本文允許發表,不代表36氪立場。

轉載請註明出處。來源:36氪



新聞來源: yahoo