選自 Medium

作者：Joy Zhang

機器之心編譯

充值之前，建議你先學(xué)會「調(diào)教」 DALL · E 2。

2022 年，DALL · E 算是火出圈了。

4 月初，OpenAI 的開創(chuàng)性模型 DALL · E 2 登場，為圖像生成和處理領(lǐng)域樹立了新的標(biāo)桿。只需輸入簡短的文字 prompt，DALL · E 2 就可以生成全新的圖像，這些圖像以語義上十分合理的方式將不同且不相關(guān)的對象組合起來。

很多人都迫不及待地上手試試——博主 Joy Zhang 在 5 月初注冊了候補名單，并在 7 月底獲得了訪問權(quán)限。在測試期間，用戶會收到積分（第一個月免費 50 個積分，之后每月 15 個積分），每次使用需要 1 個積分，每次使用會產(chǎn)生 3-4 張圖像。如果不夠用，還可以花 15 美元購買 115 個積分。

你可能已經(jīng)在網(wǎng)上看到過各種精心挑選的圖片，展示了 DALL · E 2 的能力（提供了正確的創(chuàng)意 prompt）。

在一篇博客中，她分享了一些演示，以說明如何從頭開始為主題創(chuàng)建一個可用的圖像：「一只大羊駝打籃球」。

起點

給 DALL · E 2 喂 prompt 是一門學(xué)問。首先，下圖是「大羊駝打籃球」的生成結(jié)果：

為什么 DALL · E 2 傾向于為這個 prompt 生成卡通圖像？她認(rèn)為這與訓(xùn)練期間模型沒怎么見過大羊駝打籃球真實圖像有關(guān)。

她試圖通過添加關(guān)鍵詞「真實照片」更進一步：

這只大羊駝看起來更逼真，但整個圖像開始看起來像是一個拙劣的 Photoshop 作品。在這種情況下，DALL · E 2 顯然需要一些手工技巧來創(chuàng)造一個更逼真的場景。

Prompt 工程

在 DALL · E 的上下文中，prompt 工程是指設(shè)計 prompt 以提供你想要的結(jié)果的過程。

DALL · E 2 Prompt Book 是一個很好的資源，包含使用攝影和藝術(shù)關(guān)鍵詞的 prompt 靈感的詳細(xì)列表。

地址：https://dallery.gallery/the-dalle-2-prompt-book/

為什么這樣的事情是有必要的？因為從 DALL · E 2 獲得可用的輸出是不確定性的（尤其是當(dāng)你不確定 DALL · E 2 的能力時）。以至于一家新的初創(chuàng)公司正在創(chuàng)建一個收費 1.99 美元的相關(guān)業(yè)務(wù)，以節(jié)省人們自己提出 prompt 的時間和金錢。

她個人最喜歡的發(fā)現(xiàn)是「戲劇背光」，下圖的 prompt 是：

「Film still of a llama dunking a basketball, low angle, extreme long shot, indoors, dramatic backlighting.」

告訴 DALL · E 2 你想要什么很重要。顯然，從上下文來看，這只大羊駝的著裝并不適合這種場合。然而，當(dāng)指定「穿著運動衫的大羊駝」時，DALL · E 2 很好地實現(xiàn)了這個場景：

不止于此，為了給圖像添加一些戲劇性并真正讓這只大羊駝飛起來，她需要指定諸如「扣籃」、「動作鏡頭 」之類的短語，或者她個人最喜歡的「穿著球衣的大羊駝像邁克爾喬丹一樣扣籃」：

你可能已經(jīng)注意到：DALL · E 2 的構(gòu)圖并不出色。

你會認(rèn)為，從「扣籃」的上下文來看，大羊駝、球和籃筐的相對位置應(yīng)該是顯而易見的。通常情況下，大羊駝的扣籃方式是錯誤，或者球的位置使大羊駝沒有按照真正想要的方式投籃。盡管 prompt 的所有元素都在那里，但 DALL · E 2 并沒有真正理解它們之間的關(guān)系。

DALL · E 2 沒有真正「理解」場景的另一個特征是偶爾出現(xiàn)的紋理混淆。在下圖中，籃網(wǎng)是由毛皮制成的（想想就覺得很詭異）：

DALL · E 2 生成的面孔不夠逼真

DALL · E 2 生成的面孔似乎沒有那么逼真，有人認(rèn)為，這是模型為了避免重現(xiàn)在訓(xùn)練中看到的面孔而故意為之，不然就可能遭遇之前 deepfake 遇到的問題。作者原本以為這僅適用于人類受試者，但顯然，它也適用于大羊駝。

有些結(jié)果簡直令人毛骨悚然：

DALL · E 2 的其他一些限制

以下是她遇到的其他一些問題：

角度和鏡頭總是被忽略

無論她使用了多少「遠景」或「超遠景」的說法，都很難找到整只大羊駝都能進入畫面的圖像。

在某些情況下，框架問題被完全忽略：

DALL · E 2 不會拼寫

鑒于 DALL · E 2 很難理解各個成分之間的關(guān)系，不會拼寫倒也不足為奇。然而，它還是能夠在正確的上下文中嘗試一些成形的字母：

DALL · E 2 可能會因復(fù)雜或措辭不當(dāng)?shù)?prompt 而喜怒無常

有時，以某些方式添加關(guān)鍵詞會導(dǎo)致與預(yù)期完全不同的結(jié)果。

在這種情況下，prompt 的真正主題（穿著運動衫的大羊駝）被完全忽略了：

即使添加「蓬松」一詞也會導(dǎo)致性能顯著下降，并且在多個情況下看起來 DALL · E 2 只是 …… 壞了：

在使用 DALL · E 2 時，重要的是要具體說明你想要什么，而不要過度填充或添加多余的詞匯。

DALL · E 2 的風(fēng)格轉(zhuǎn)換能力令人印象深刻

你需要試試這個！

一旦有了關(guān)鍵詞主題，你就能以令人印象深刻的其他藝術(shù)風(fēng)格生成圖像。比如「…… 的抽象畫」：

蒸汽波：

數(shù)字藝術(shù)：

宮崎駿動畫電影截圖：

經(jīng)過 100 多個積分的嘗試（大概 13 美元）和反復(fù)試驗，她的最終圖像如下：

最終版的 prompt 是：「Film still of a llama in a jersey dunking a basketball like Michael Jordan, low angle, show from below, tilted frame, 35°, Dutch angle, extreme long shot, high detail, indoors, dramatic backlighting.」

圖像并不完美，但 DALL · E 2 設(shè)法完成了大約 80% 的要求。

嗯 …… 怎么不算成功呢？