作者為美國(guó)麻省理工學(xué)院的Rachel Gordon

美國(guó)麻省理工學(xué)院博士生Yilun Du一直致力于將穩(wěn)定擴(kuò)散模型（生成藝術(shù)的技術(shù)支柱）擴(kuò)展到機(jī)器人等其他領(lǐng)域。

人工智能圖像生成器，在夢(mèng)想和現(xiàn)實(shí)的交匯處創(chuàng)造出奇幻的景象，在網(wǎng)絡(luò)的每個(gè)角落涌現(xiàn)。它們的娛樂(lè)價(jià)值體現(xiàn)在不斷擴(kuò)大的異想天開(kāi)和隨機(jī)圖像的寶庫(kù)中，作為人類(lèi)設(shè)計(jì)師大腦的間接門(mén)戶(hù)。一個(gè)簡(jiǎn)單的文字提示就能產(chǎn)生一個(gè)幾乎即時(shí)的圖像，滿(mǎn)足了我們的原始大腦，它是硬性規(guī)定的即時(shí)滿(mǎn)足。

雖然看起來(lái)是新生事物，但人工智能生成的藝術(shù)領(lǐng)域最早可以追溯到20世紀(jì)60年代，早期嘗試使用基于符號(hào)規(guī)則的方法來(lái)制作技術(shù)圖像。雖然解讀和解析文字的模型進(jìn)展越來(lái)越成熟，但生成藝術(shù)的爆發(fā)引發(fā)了圍繞版權(quán)、虛假信息和偏見(jiàn)的辯論，這些都陷入了炒作和爭(zhēng)議之中。

電子工程和計(jì)算機(jī)科學(xué)系的博士生、，美國(guó)麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室（CSAIL）的附屬機(jī)構(gòu)Yilun Du最近開(kāi)發(fā)了一種新方法，使像《DALL-E 2》這樣的模型更具創(chuàng)造性，并有更好的場(chǎng)景理解。在這里，Du描述了這些模型是如何工作的，這種技術(shù)基礎(chǔ)設(shè)施是否可以應(yīng)用于其他領(lǐng)域，以及我們?nèi)绾卧谌斯ぶ悄芎腿祟?lèi)創(chuàng)造力之間劃清界限。

問(wèn)：人工智能生成的圖像使用一種叫做 "穩(wěn)定擴(kuò)散 "的模型，在短短幾秒鐘內(nèi)將文字變成令人震驚的圖像。但每張圖片的背后通常都有一個(gè)人。那么，人工智能和人類(lèi)創(chuàng)造力之間的界限是什么？這些模型到底是如何工作的？

答：想象一下你在谷歌搜索上能得到的所有圖片以及它們的相關(guān)模式。這就是這些模型的食物。它們?cè)谒羞@些圖片和它們的標(biāo)題上接受訓(xùn)練，以生成與它在互聯(lián)網(wǎng)上看到的數(shù)十億張圖片相似的圖片。

比方說(shuō)，一個(gè)模型已經(jīng)看到了很多狗的照片。它經(jīng)過(guò)訓(xùn)練，所以當(dāng)它得到類(lèi)似 "狗 "這樣的文字輸入提示時(shí)，它能夠生成一張看起來(lái)與已經(jīng)看到的許多狗的照片非常相似的照片?，F(xiàn)在，從方法論上講，這一切的工作可以追溯到非常古老的一類(lèi)模型，稱(chēng)為 "基于能量的模型"，起源于70年代或80年代。

在基于能量的模型中，在圖像上構(gòu)建了一個(gè)能量景觀，用來(lái)模擬物理耗散以生成圖像。當(dāng)你把一個(gè)墨水點(diǎn)滴到水中，它消散了，例如，在最后，你只是得到這種均勻的紋理。但如果你試圖扭轉(zhuǎn)這個(gè)消散的過(guò)程，你又會(huì)逐漸得到水里原來(lái)的墨點(diǎn)。

或者說(shuō)，你有這個(gè)非常復(fù)雜的積木塔，如果你用球砸它，它就會(huì)坍塌成一堆積木。這堆積木就非常無(wú)序了，而且沒(méi)有什么結(jié)構(gòu)。為了使塔復(fù)活，你可以嘗試逆轉(zhuǎn)這個(gè)折疊過(guò)程，生成你原來(lái)的那堆積木。

這些生成模型生成圖像的方式非常類(lèi)似，最初，你有這個(gè)非常好的圖像，你從這個(gè)隨機(jī)的噪聲開(kāi)始，你基本上學(xué)會(huì)了如何模擬這個(gè)從噪聲回到你的原始圖像的過(guò)程，你試圖迭代地完善這個(gè)圖像，使它越來(lái)越真實(shí)。

就人工智能和人類(lèi)創(chuàng)造力之間的界限而言，你可以說(shuō)，這些模型確實(shí)是在人們的創(chuàng)造力上訓(xùn)練出來(lái)的?；ヂ?lián)網(wǎng)上有各種類(lèi)型的繪畫(huà)和圖像，都是人們過(guò)去已經(jīng)創(chuàng)造過(guò)的。這些模型被訓(xùn)練來(lái)復(fù)述和生成互聯(lián)網(wǎng)上已經(jīng)出現(xiàn)的圖像。因此，這些模型更像是人們幾百年來(lái)花費(fèi)創(chuàng)造力的結(jié)晶。

同時(shí)，由于這些模型是根據(jù)人類(lèi)所設(shè)計(jì)的東西進(jìn)行訓(xùn)練的，它們可以生成與人類(lèi)過(guò)去所做的非常相似的藝術(shù)作品。他們可以在人們所做的藝術(shù)中找到模式，但這些模型要真正自己生成有創(chuàng)意的照片就難多了。

如果你試圖輸入 "抽象藝術(shù) "或 "獨(dú)特藝術(shù) "之類(lèi)的提示，它并不能真正理解人類(lèi)藝術(shù)的創(chuàng)造力方面?？梢哉f(shuō)，這些模型是在復(fù)述人們過(guò)去所做的事情，而不是從根本上產(chǎn)生新的和創(chuàng)造性的藝術(shù)。

由于這些模型是在互聯(lián)網(wǎng)上的大量圖片上訓(xùn)練出來(lái)的，這些圖片中很多都可能是有版權(quán)的。你并不確切知道模型在生成新圖像時(shí)檢索了什么，所以有一個(gè)很大的問(wèn)題是，你甚至可以確定模型是否在使用受版權(quán)保護(hù)的圖像。如果該模型在某種意義上依賴(lài)于一些受版權(quán)保護(hù)的圖像，那么這些新圖像是否受版權(quán)保護(hù)？這是另一個(gè)需要解決的問(wèn)題。

美國(guó)麻省理工學(xué)院學(xué)生解釋 AI 圖像生成器解釋 AI 圖像生成器

問(wèn)：你是否認(rèn)為由擴(kuò)散模型生成的圖像編碼了對(duì)自然或物理世界的某種理解，無(wú)論是動(dòng)態(tài)的還是幾何的？是否有努力 "教導(dǎo) "圖像生成器了解嬰兒很早就學(xué)會(huì)的宇宙的基本知識(shí)？

答：在代碼中，他們是否理解了對(duì)自然和物理世界的一些把握？我想肯定是的。如果你要求一個(gè)模型生成一個(gè)穩(wěn)定的塊狀配置，它肯定會(huì)生成一個(gè)穩(wěn)定的塊狀配置。如果你告訴它，生成一個(gè)不穩(wěn)定的塊狀配置，它確實(shí)看起來(lái)非常不穩(wěn)定。或者，如果你說(shuō) "湖邊的一棵樹(shù)"，它大致上能夠生成。

從某種意義上說(shuō)，似乎這些模型已經(jīng)抓住了常識(shí)的很大一個(gè)方面。但是，使我們離真正理解自然和物理世界仍然非常遙遠(yuǎn)的問(wèn)題是，當(dāng)你試圖生成你或我在工作中我們的頭腦可以非常容易地想象的不經(jīng)常出現(xiàn)的詞語(yǔ)組合時(shí)，這些模型不能。

例如，如果你說(shuō)，"把叉子放在盤(pán)子上面"，這種情況一直在發(fā)生。如果你要求模型產(chǎn)生這個(gè)，它很容易就能做到。如果你說(shuō)，"把盤(pán)子放在叉子上面"，同樣，我們很容易想象這將是什么樣子的。但是，如果你把它放到任何這些大型模型中，你永遠(yuǎn)不會(huì)得到一個(gè)放在叉子上面的盤(pán)子。相反，你會(huì)得到一個(gè)盤(pán)子上面的叉子，因?yàn)檫@些模型正在學(xué)習(xí)重述它所訓(xùn)練的所有圖像。它不能很好地歸納出它沒(méi)有見(jiàn)過(guò)的詞語(yǔ)的組合。

一個(gè)相當(dāng)知名的例子是宇航員騎著馬，模型可以輕松做到這一點(diǎn)。但是如果你說(shuō)一匹馬騎著一個(gè)宇航員，它仍然會(huì)生成一個(gè)人騎著一匹馬?？雌饋?lái)這些模型在它們所訓(xùn)練的數(shù)據(jù)集中捕捉到了很多相關(guān)性，但它們實(shí)際上并沒(méi)有捕捉到世界的基本因果機(jī)制。

另一個(gè)常用的例子是，如果你得到非常復(fù)雜的文本描述，比如一個(gè)物體在另一個(gè)物體的右邊，第三個(gè)物體在前面，還有第三個(gè)或第四個(gè)物體在飛。它真的只能滿(mǎn)足也許是其中的一個(gè)或兩個(gè)物體。這可能部分是由于訓(xùn)練數(shù)據(jù)的原因，因?yàn)楹苌儆蟹浅?fù)雜的標(biāo)題 但它也可能表明，這些模型不是很有結(jié)構(gòu)。

你可以想象，如果你得到非常復(fù)雜的自然語(yǔ)言提示，模型沒(méi)有辦法準(zhǔn)確地表示所有的組成部分的細(xì)節(jié)。

問(wèn)：你最近提出了一種新的方法，使用多個(gè)模型來(lái)創(chuàng)造更復(fù)雜的圖像，對(duì)生成藝術(shù)有更好的理解。這個(gè)框架在圖像或文本領(lǐng)域之外是否有潛在的應(yīng)用？

答：我們真正受到了這些模型的一個(gè)限制的啟發(fā)。當(dāng)你給這些模型非常復(fù)雜的場(chǎng)景描述時(shí)，它們實(shí)際上并不能正確地生成與之匹配的圖像。

一個(gè)想法是，由于它是一個(gè)具有固定計(jì)算圖的單一模型，意味著你只能使用固定的計(jì)算量來(lái)生成圖像，如果你得到一個(gè)極其復(fù)雜的提示，你就沒(méi)有辦法使用更多的計(jì)算能力來(lái)生成這個(gè)圖像。

如果我給人類(lèi)一個(gè)場(chǎng)景的描述，比如說(shuō)，100行，和一個(gè)只有一行的場(chǎng)景，人類(lèi)藝術(shù)家可以在前者上花費(fèi)更多的時(shí)間。這些模型并沒(méi)有真正的感性來(lái)做到這一點(diǎn)。那么，我們建議，給定非常復(fù)雜的提示，你實(shí)際上可以把許多不同的獨(dú)立模型組成在一起，讓每個(gè)單獨(dú)的模型代表你想要描述的場(chǎng)景的一部分。

我們發(fā)現(xiàn)，這使我們的模型能夠生成更復(fù)雜的場(chǎng)景，或者更準(zhǔn)確地一起生成場(chǎng)景的不同方面。此外，這種方法可以普遍應(yīng)用于各種不同的領(lǐng)域。雖然圖像生成可能是目前最成功的應(yīng)用，但生成式模型實(shí)際上已經(jīng)在各種領(lǐng)域中看到了各種類(lèi)型的應(yīng)用。

你可以用它們來(lái)生成不同的不同的機(jī)器人行為，合成3D形狀，使人們更好地理解場(chǎng)景，或設(shè)計(jì)新材料。你可以潛在地組成多個(gè)所需的因素，以產(chǎn)生你在特定應(yīng)用中需要的確切材料。

我們一直非常感興趣的一件事是機(jī)器人技術(shù)。就像你可以生成不同的圖像一樣，你也可以生成不同的機(jī)器人軌跡（路徑和時(shí)間表），通過(guò)將不同的模型組合在一起，你能夠生成具有不同技能組合的軌跡。如果我有跳躍與避開(kāi)障礙物的自然語(yǔ)言規(guī)范，你也可以將這些模型合成在一起，然后生成既能跳躍又能避開(kāi)障礙物的機(jī)器人軌跡.

以類(lèi)似的方式，如果我們想設(shè)計(jì)蛋白質(zhì)，我們可以指定不同的功能或方面--類(lèi)似于我們用語(yǔ)言來(lái)指定圖像的內(nèi)容--用類(lèi)似語(yǔ)言的描述，如蛋白質(zhì)的類(lèi)型或功能。然后，我們可以將這些組合在一起，生成有可能滿(mǎn)足所有這些給定功能的新蛋白質(zhì)。

我們還探索了在三維形狀生成上使用擴(kuò)散模型，你可以使用這種方法來(lái)生成和設(shè)計(jì)三維資產(chǎn)。通常情況下，3D資產(chǎn)設(shè)計(jì)是一個(gè)非常復(fù)雜和費(fèi)力的過(guò)程。通過(guò)將不同的模型組合在一起，生成形狀就會(huì)變得容易得多，例如，"我想要一個(gè)有四條腿的3D形狀，有這樣的風(fēng)格和高度"，可能會(huì)使3D資產(chǎn)設(shè)計(jì)的一部分自動(dòng)化。