來認(rèn)識一下爆紅 AI 項目 Stable Diffusion，和它背后的機(jī)構(gòu) Stability AI。

——

文｜杜晨 編輯｜VickyXiao 圖片來源 |

AI 生成圖片，最近超級火的一項尖端技術(shù)。

火到什么程度，以至于已經(jīng)有公司開始 " 套個殼 " 就出道了 ……

本周有消息曝出，一家創(chuàng)業(yè)公司 WriteSonic " 剽竊 " 了著名模型 Stable Diffusion，做了一個生成圖片的產(chǎn)品 Photosonic AI。

這還沒完，這家公司居然把該產(chǎn)品堂而皇之地發(fā)到了產(chǎn)品社區(qū) Product Hunt 上面，甚至一度沖到了第二的位置 ……

圖片來源：Product Hunt

Stable Diffusion 完全免費開源，所有代碼都在 GitHub 上公開，任何人都可以拷貝使用——前提是需要遵循原項目采用的 CreativeML Open RAIL-M 許可證。

然而原項目貢獻(xiàn)者 Louis Castricato 卻發(fā)現(xiàn)，WriteSonic 并沒有注明使用該許可證，在 Photosonic AI 的任何地方也沒有標(biāo)注技術(shù)來源。

他對 WriteSonic 喊話：" 希望你們在 VC 面前沒有假裝這個東西是你們自己做的。"

Stable Diffusion 許可證 圖片來源：Hugging Face

目前事情還沒有完全鬧開，不過 Product Hunt 上已經(jīng)有不少人提出了質(zhì)疑。截至本文發(fā)出，WriteSonic 創(chuàng)始人尚未做出回應(yīng)。

其實，Stable Diffusion 也是一周前才正式發(fā)布公開版——這次抄襲事件，反倒映射出這項技術(shù)到底有多火、Stable Diffusion 有多受歡迎。

最近硅星人多次報道過 AI 圖片生成技術(shù)，提到過 DALL · E、Midjourney、DALL · E mini（現(xiàn)用名 Craiyon）、Imagen、TikTok AI 綠幕等知名產(chǎn)品。

實際上，Stable Diffusion 有著強大的生成能力和廣泛的使用可能性，模型可以直接在消費級顯卡上運行，生成速度也相當(dāng)之快。而其免費開放的本質(zhì)，更是能夠讓 AI 圖片生成模型不再作為少數(shù)業(yè)內(nèi)人士的玩物。

在強者如云、巨頭紛紛入局的 AI 圖片生成領(lǐng)域，Stable Diffusion 背后的 " 神秘 " 機(jī)構(gòu) Stability AI，也像是 " 世外高僧 " 一般的存在。它的創(chuàng)始人沒有那么出名，創(chuàng)辦故事和融資細(xì)節(jié)也不是公開信息。再加上免費開源 Stable Diffusion 的慈善行為，更讓人增加了對這家神秘 AI 科研機(jī)構(gòu)的興趣。

今天，我們就來深入了解一下 Stable Diffusion 和 Stability AI，這支在 AI 領(lǐng)域異軍突起的 " 第三種 " 力量。

/ 消費顯卡，秒速生成，完全開源 /

Stable Diffusion 是一個文字轉(zhuǎn)圖片的生成模型。可以只用幾秒鐘時間就生成比同類技術(shù)分辨率、清晰度更高，更具 " 真實性 " 或 " 藝術(shù)性 " 的圖片結(jié)果。

項目開發(fā)領(lǐng)導(dǎo)者有兩位，分別是 AI 視頻剪輯技術(shù)創(chuàng)業(yè)公司 Runway 的 Patrick Esser，和慕尼黑大學(xué)機(jī)器視覺學(xué)習(xí)組的 Robin Romabach。這個項目的技術(shù)基礎(chǔ)主要來自于這兩位開發(fā)者之前在計算機(jī)視覺大會 CVPR22 上合作發(fā)表的潛伏擴(kuò)散模型 ( Latent Diffusion Model ) 研究。

另外，項目也得到了一些外部開發(fā)社區(qū)，以及 Stability AI 機(jī)構(gòu)生成技術(shù)團(tuán)隊的支持，并且從 DALL · E 2、Imagen 等巨頭模型項目當(dāng)中獲得和整合了一些經(jīng)驗參考。項目發(fā)布的時候有專門聲明對這些 " 競品 " 項目的感謝。

圖片來源：Stability AI

在訓(xùn)練方面，模型采用了 4000 臺 A100 顯卡集群，用了一個月時間。訓(xùn)練數(shù)據(jù)來自大規(guī)模 AI 開放網(wǎng)絡(luò)項目旗下的一個注重 " 美感 " 的數(shù)據(jù)子集 LAION-Aesthetics，包括近 59 億條圖片 - 文字平行數(shù)據(jù)。

雖然訓(xùn)練過程的算力要求特別高，Stable Diffusion 使用起來還是相當(dāng)親民的：可以在普通顯卡上運行，即使顯存不到 10GB，仍可以在幾秒鐘內(nèi)生成高分辨率的圖像結(jié)果。

模型專門面向消費級計算設(shè)備所做的優(yōu)化，意味著更多入門級研究者、內(nèi)容創(chuàng)作者，以及普通公眾用戶，都可以更加頻繁接觸和使用 Stable Diffusion，感受 AI 內(nèi)容生成技術(shù)的最尖端能力，為他們的工作和生活帶來極大的便利和樂趣。

在 8 月初，團(tuán)隊先是進(jìn)行了一個大范圍的公測，結(jié)果反響非常熱烈，受到大批研究者和測試用戶的歡迎。于是，團(tuán)隊很快就在上周一正式公開發(fā)布了 Stable Diffusion 模型。只要遵循 OpenRAIL-M 許可證的規(guī)定，并且不用于非法和非道德的場景，任何人都可以對該模型進(jìn)行商業(yè)或非商業(yè)使用、改造和再發(fā)布。

Stable Diffusion 并不是 AI 內(nèi)容創(chuàng)作、AI 藝術(shù)領(lǐng)域的第一個模型，很多人（包括前幾周的硅星人）都曾以為它只是一個跟隨者而已。

然而并不是這樣！

Stable Diffusion 生成結(jié)果 圖片來源：Stability AI

首先，和其它開放程度相似的項目（如 Craiyon、Disco Diffusion 等）相比，Stable Diffusion 的生成結(jié)果更為寫實，完全不亞于 DALL · E、Imagen 等巨頭開發(fā)的超大模型的結(jié)果。

其它同類模型在風(fēng)格上往往會選擇一種，比如之前我們寫過的 TikTok AI 綠幕模型，風(fēng)格就明顯更偏向油畫。而 Midjourney 更像現(xiàn)代抽象藝術(shù)作品。谷歌 Imagen 具有明顯的寫實 + 渲染動畫風(fēng)格，DALL · E mini 則是一股 " 梗圖 " 風(fēng)。

并且，Stable Diffusion 的完全開放，以及在商業(yè) / 非商業(yè)使用上超高的自由度，已經(jīng)讓它成為了一個 " 離群者 " ( outlier ) ，和 DALL · E、Imagen 等封閉 / 半封閉產(chǎn)品之間，已經(jīng)形成了一道巨大的鴻溝。

任何人都可以不花錢，拷貝一份 Stable Diffusion 的代碼，按照自己喜歡的方式進(jìn)行研究，并且用于處理自己需要的文字生成圖片相關(guān)任務(wù)，甚至開發(fā)獨立的應(yīng)用或服務(wù)。

事實上自從 Stability AI 正式公開發(fā)布模型以來，已經(jīng)有相當(dāng)多人用它完成了自己的藝術(shù)創(chuàng)作，開發(fā)出各式各樣的 demo、產(chǎn)品，以及非常有趣的小項目了。

比如下面這個由用戶 Anthony Cao 開發(fā)的設(shè)計軟件 Figma 插件，就是借助 Stable Diffusion 的能力，用一句話就可以生成用戶界面元素。

圖片來源：Antonio Cao

用戶 Xander Steenbrugge 更厲害了：他進(jìn)行了大量的嘗試，最終鎖定了 36 條連續(xù)的文字輸入提示，成功調(diào)教了 Stable Diffusion 模型，輸出了下面這樣一個非常令人震撼的視頻。他將視頻取名為《穿越時空的旅行》：

視頻來源：Xander Steenbrugge

上周我們還介紹過著名 AI 學(xué)術(shù)大佬 Andrej Karpathy。他從特斯拉 AI 總監(jiān)的職位離職之后，在自己的 YouTube 上開了一堂兩個多小時的機(jī)器學(xué)習(xí) Python 入門課。有趣的是，除了這堂課之外，其實他的賬號上所有的視頻都是他用 Stable Diffusion 生成的。（當(dāng)時硅星人還猜想他的下一站會不會就是加入這個項目組了。）

截圖來源：Andrej Karpathy 的 YouTube 頻道

就連 " 競品 " Midjourney 都整合了 Stable Diffusion 開發(fā)了一個功能，讓用戶可以同時用兩個模型整合來生成圖片：

雙模型合成生成結(jié)果 圖片來源：Allesandrochille 等人創(chuàng)作，Alberto Romero 組合

就這樣，Stable Diffusion 實現(xiàn)了 " 開源 " 和 " 高質(zhì)量結(jié)果 " 的兩全其美，而這在硅星人看來正是它最受關(guān)注的關(guān)鍵原因。特別是開源的屬性，不僅打開了新的一扇 AI 藝術(shù)創(chuàng)作的大門，更重要的是這扇門比以往的任何門都更寬，門檻都更低。

在公開版本發(fā)布的同時，Stability AI 也上線了一個新的工具網(wǎng)站，名為 DreamStudio Lite。

這個工具可以幫助更多普通用戶和創(chuàng)意玩家，更加方便地使用 Stable Diffusion 模型。在網(wǎng)頁下方有一個文本框，用戶可以直接在里面輸入生成所用的提示。在網(wǎng)頁右邊的工具欄還可以調(diào)節(jié)圖片的大小、擴(kuò)散模型步驟數(shù)量、生成圖片的數(shù)量等等。（見下圖）

DreamStudio Lite 圖片來源：硅星人

顧名思義，現(xiàn)在的 DreamStudio Lite 還只是一個輕量化的版本。Stability AI 團(tuán)隊正在加緊開發(fā)高級功能，包括使用設(shè)備顯卡、動畫支持、迭代生成、插值修復(fù)等。

Stable Diffusion 讓創(chuàng)作這件事不再成為具有高級創(chuàng)意訓(xùn)練的人專屬的游戲，可以讓更多人從中受益。從這個角度來看，力推這一模型的開發(fā)和開源的背后組織 Stability AI 厥功至偉。

然而很多人并不熟悉這家此前名不見經(jīng)傳的神秘機(jī)構(gòu)。

/ 延續(xù) OpenAI 火種，成為 " 第三種力量 " /

在大約 10 年前，深度學(xué)習(xí) AI 的浪潮剛剛起步的時候，研究員們一邊親眼目睹潮流的到來，一邊卻異常尷尬苦悶。

當(dāng)時的算力和資金限制都非常嚴(yán)重，研究員基本只有兩種選擇：要么停留在學(xué)術(shù)界，但是基本沒有任何算力可用；要么跳槽到大公司，簽一堆 NDA，并且在一個大公司的產(chǎn)品團(tuán)隊的環(huán)境里工作，很不自由，做出來的東西也是給公司用，而不是貢獻(xiàn)社會。

而 OpenAI 的出現(xiàn)，在學(xué)術(shù)界和工業(yè)界之外創(chuàng)造了 " 第三種 " 可能性：既有學(xué)術(shù)界相對輕松自由的環(huán)境，又有巨頭公司近乎無限的現(xiàn)金和充足的算力，并且以推動技術(shù)邊界的擴(kuò)展，造福社會為核心目的。

然而大約兩年前，OpenAI 內(nèi)部積累的問題突然爆發(fā)。當(dāng)時實行的非營利模式難以為繼，機(jī)構(gòu)也終于成立了營利部門。也是在那段時間，一波大神級核心研究員，由于無法接受這一轉(zhuǎn)型，憤然離職。

后來的 OpenAI 還是推出了包括 GPT-3、DALL · E 等知名作品，但名聲早已大不如前。特別是 DALL · E 二代，明明是當(dāng)時最領(lǐng)先的 AI 圖片生成技術(shù)之一，在網(wǎng)上的影響力卻不如 DALL · E mini，一個完全無關(guān)的個人開發(fā)者，所做的業(yè)余開源項目。

對于 OpenAI 的窘境，" 超級富豪 " Emad Mostaque 看在眼里，疼在心里。

此人身價究竟幾何，并沒有特別清楚詳盡的資料。已經(jīng)公開的信息顯示，他有至少 20 年的投資基金工作經(jīng)歷，曾經(jīng)在多家技術(shù)和基金公司擔(dān)任工程師、戰(zhàn)略分析師、首席投資官等職位。

在累積了巨額財富之后，對于利用自己的技術(shù)和資金來開展慈善和推動社會平等、技術(shù)普及等事業(yè)，這位英國人的興趣越來越高。

他在 2019 年創(chuàng)辦了一家采用技術(shù)降低手機(jī)套餐成本費用的公司，新冠襲來后又出資并親自主導(dǎo)在斯坦福大學(xué)組建了一個非營利性質(zhì)的大數(shù)據(jù)平臺項目，與聯(lián)合國開展合作，旨在輔助各國政府制定防疫政策。

而在 2020 年創(chuàng)辦的 Stability AI，則是他的 " 慈善 " 事業(yè)的最新篇章。根據(jù)并不充分的資料，這家機(jī)構(gòu)的早期絕大部分資金都來自 Mostaque 本人。

從這個角度來看，他的身份，確實有點像馬斯克之于 OpenAI。

他決定自己接過使命，成立一家和 OpenAI 早期的非商業(yè)模式差不太多，但開放程度更高的機(jī)構(gòu)。

總而言之，就是要比 OpenAI 更 "open"。

Stability AI 官網(wǎng)

通過 Stability AI，Mostaque 希望能夠延續(xù) OpenAI 締造并發(fā)揚光大的 AI 科研 " 第三種力量 "，同時避免重蹈其覆轍。

這家新機(jī)構(gòu)也確實在貫徹開放、公益的 OpenAI 早期科研思路：它的第一個對外亮相的產(chǎn)品 / 技術(shù)，就是免費、開源、幾乎沒有任何商業(yè)味道的 Stable Diffusion 模型。

Mostaque 曾經(jīng)表示，目前大約八成的 AI 研究資金全都流向了下一代技術(shù)，而這些技術(shù)從構(gòu)思到開發(fā)，再到測試和發(fā)布的整個過程里，往往都是高度封閉的。

一個最典型的案例就是谷歌。

作為硅谷大公司里面投身 AI 基礎(chǔ)科研最早，投資額最大的公司，谷歌近幾年開發(fā)的 PaLM、LaMDA、Imagen 等模型的封閉性越來越強，使用門檻相當(dāng)之高，幾乎沒有開放給公眾的可能性。該公司的 AI 道德委員會，則被一些前委員、公司前員工以及第三方研究人士指責(zé)為 " 沒用 "，反而成為公司內(nèi)部 AI 研究部門非道德問題的 " 遮羞布 "。

Mostaque 就在想，算力、資金，和公眾參與這三個問題，能否一同解決？" 這里一定有更好的辦法。"

幸運的是，他和團(tuán)隊成功做到了這一點。

有一位網(wǎng)友甚至將 Mostaque 形容為 AI 科研領(lǐng)域的 "Gigachad"（超級猛男）：" 他為人類未來做出的貢獻(xiàn)，比其他頂級 AI 公司加起來還要多。"

Emad Mostaque 圖片來源：Yannic Kilcher

AI 技術(shù)分析師 Alberto Romero 則指出，Stability AI 的工作之重要性在于：人們不想看到其他人如何用最先進(jìn)的技術(shù)創(chuàng)造出厲害的藝術(shù)作品，他們真正想要的是能夠自己上手嘗試。

而 Stability AI 不光把代碼和模型權(quán)重放了出來，甚至還更進(jìn)一步，開發(fā)了一個相當(dāng)友好的無代碼、" 開袋即食 " 的網(wǎng)站（DreamStudio Lite），讓那些不想也不會寫代碼的人都能夠使用。

借助 Mostaque 之前做新冠大數(shù)據(jù)項目時積累的人脈，Stability AI 目前已經(jīng)和聯(lián)合國達(dá)成了合作，成為了國家間、學(xué)校間和跨國公司之間 AI 技術(shù)研發(fā)合作的橋梁。

最初，整個團(tuán)隊還是在 Discord 聊天應(yīng)用上運行的——目前很大程度上仍然如此。但今天的 Stability AI，似乎已經(jīng)超越了 OpenAI 的范疇和意義，在包括學(xué)術(shù)和工業(yè)界的整個 AI 研究和應(yīng)用領(lǐng)域都受到了巨大的歡迎。通過 Stable Diffusion，更多人體會到了 AI 圖片生成技術(shù)的強大和美好。最尖端的 AI 模型，不再是少數(shù)人獨享的玩具，更多用戶都能夠享受和利用這項技術(shù)。

Stability AI 的口號是 "AI by the people, for the people."

它能做到嗎？