微軟的研究人員使用GANs從字幕生成圖像和故事板

由于微軟研究院、奧爾巴尼大學(xué)和JD AI研究院的人才，能夠根據(jù)描述繪制圖像的人工智能已經(jīng)成為現(xiàn)實(shí)。在一篇文章(“Object-driven Text-to-Image合成通過(guò)對(duì)抗訓(xùn)練”)計(jì)劃在IEEE計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議在長(zhǎng)灘(CVPR 2019)會(huì)議上,加州團(tuán)隊(duì)提出了一個(gè)機(jī)器學(xué)習(xí)框架——ObjGAN能理解標(biāo)題,素描一個(gè)布局,根據(jù)確切的措辭和完善細(xì)節(jié)。

這篇論文的合著者聲稱(chēng)，他們的方法與之前的先進(jìn)技術(shù)相比，在圖像質(zhì)量上有了“顯著提高”。他們寫(xiě)道:“ur生成器能夠利用細(xì)粒度的字(和)對(duì)象級(jí)信息來(lái)逐步細(xì)化合成圖像。”“大量的實(shí)驗(yàn)證明了ObjGAN在復(fù)雜場(chǎng)景的文本-圖像生成中的有效性和泛化能力。”

該團(tuán)隊(duì)指出，在開(kāi)發(fā)文本到圖像的人工智能時(shí)，一個(gè)艱巨的挑戰(zhàn)是讓系統(tǒng)理解對(duì)象類(lèi)型，以及讓它理解場(chǎng)景中多個(gè)對(duì)象之間的關(guān)系。以前的方法使用圖像-標(biāo)題對(duì)，僅為單個(gè)對(duì)象提供粗粒度的信號(hào)，即使是性能最好的模型也難以生成包含多個(gè)對(duì)象的語(yǔ)義有意義的照片。

為了克服這些障礙，研究人員向ObjGAN注入了生成對(duì)抗網(wǎng)絡(luò)(GAN)，這是一個(gè)由生成樣本的生成器和試圖區(qū)分生成的樣本和真實(shí)樣本的鑒別器組成的兩部分神經(jīng)網(wǎng)絡(luò)隨著時(shí)間的推移，人工智能系統(tǒng)內(nèi)化了對(duì)象的外觀，并學(xué)會(huì)了從語(yǔ)料庫(kù)中同時(shí)出現(xiàn)的模式中綜合它們的布局，最終以預(yù)先生成的布局為條件生成圖像。

為了在圖像生成中達(dá)到人類(lèi)水平的表現(xiàn)，該團(tuán)隊(duì)在ObjGAN中模擬了藝術(shù)家繪制和細(xì)化復(fù)雜場(chǎng)景的方式。該系統(tǒng)將輸入文本分解成單獨(dú)的單詞，并將這些單詞與圖像中的特定對(duì)象進(jìn)行匹配，它利用兩個(gè)鑒別器——一個(gè)按對(duì)象分類(lèi)的鑒別器和一個(gè)按片段分類(lèi)的鑒別器——來(lái)判斷工作是否真實(shí)，是否與句子描述一致。

結(jié)果并不完美——ObjGAN偶爾會(huì)吐出邏輯上不一致的樣本，就像一列火車(chē)被困在草坡上，標(biāo)題是“一列客運(yùn)列車(chē)在鐵軌上奔馳”——但考慮到它們是由整塊布料合成的，它們?nèi)匀涣钊擞∠笊羁獭?/p>

研究者在微軟,微軟365年動(dòng)力學(xué)研究,杜克大學(xué),騰訊的人工智能研究,和卡內(nèi)基梅隆大學(xué)圖像生成進(jìn)一步在一個(gè)單獨(dú)的紙(“StoryGAN:故事的順序條件GAN可視化”)來(lái)描述一個(gè)系統(tǒng)- StoryGAN從multi-sentence段落生成comic-like故事板的能力。StoryGAN類(lèi)似地構(gòu)建在一個(gè)GAN上，但它獨(dú)特地包含一個(gè)上下文編碼器，可以動(dòng)態(tài)地跟蹤故事流，并在故事和圖像級(jí)別上有兩個(gè)鑒別器，以增強(qiáng)生成的序列的質(zhì)量和一致性。

該團(tuán)隊(duì)指出，StoryGAN可以擴(kuò)展為交互式圖像編輯，其中可以根據(jù)文本指令順序編輯輸入圖像。