新智元報(bào)道??

編輯：編輯部

【新智元導(dǎo)讀】雖然此前CEO曾陷入種種爭(zhēng)議，但依然不影響Stability AI登上時(shí)代雜志。近日，該公司又發(fā)布了Stable Diffusion 的XL 0.9版本，35億+66億雙模型，搭載最大OpenCLIP，讓AI生圖質(zhì)量又有了新的飛躍。

(資料圖)

Stable Diffusion又雙叒升級(jí)了！

最近，Stability AI發(fā)布了最新版的Stable Diffusion XL 0.9（SDXL 0.9）。

比起之前的模型，這波更新在圖像和構(gòu)圖細(xì)節(jié)上，都有了質(zhì)的飛躍。

尤其是在參數(shù)上，這次的SDXL0.9具有35億參數(shù)基礎(chǔ)模型和66億參數(shù)模型的集成管線。相比之下，Beta測(cè)試版僅用了單個(gè)31億參數(shù)的模型。

為了生成更逼真的圖像，以及更大的深度和更高的分辨率（1024x1024），SDXL 0.9使用了兩個(gè)CLIP模型，包括迄今為止最大的OpenCLIP模型（OpenCLIP ViT-G/14）。

不僅如此，SDXL 0.9在消費(fèi)級(jí)顯卡上就能運(yùn)行。只需要Win10/11或Linux操作系統(tǒng)、16GB內(nèi)存，以及具有8GB以上顯存的英偉達(dá)RTX 20系顯卡即可。

SDXL 0.9和SDXL Beta的差異究竟有多大？

咱們看圖說(shuō)話。

實(shí)測(cè)效果

下面就來(lái)看看新版的SDXL 0.9，在圖片細(xì)節(jié)上有什么不一樣吧~

Prompt：外星人在拉斯維加斯漫步

SDXL Beta版

SDXL 0.9

Prompt：優(yōu)勝美地國(guó)家公園的一只狼

Negative prompt：3d渲染，光滑，塑料，模糊，顆粒感，低分辨率，動(dòng)漫，過度飽和

SDXL Beta版

SDXL 0.9

Prompt：手舉咖啡

Negative prompt：3d渲染，光滑，塑料，模糊，顆粒狀，低分辨率，動(dòng)漫

SDXL Beta版

SDXL 0.9

官方表示，SDXL系列還會(huì)提供一系列超越基本文本prompt的功能。

包括圖像對(duì)圖像的prompt（輸入一個(gè)圖像以獲得該圖像的變化）、內(nèi)畫（重建圖像的缺失部分）和外畫（構(gòu)建一個(gè)現(xiàn)有圖像的無(wú)縫擴(kuò)展）。

SDXL 0.9在兩個(gè)CLIP模型上運(yùn)行，包括迄今為止訓(xùn)練的最大的OpenCLIP模型之一（OpenCLIP ViT-G/14），這增強(qiáng)了0.9的處理能力和創(chuàng)造具有更大深度和1024x1024更高分辨率的逼真圖像的能力。

SDXL團(tuán)隊(duì)不久將發(fā)布一個(gè)研究博客，更詳細(xì)地介紹這個(gè)模型的規(guī)格和測(cè)試。

榮登Time最具影響力公司

就在最近，Stability AI被時(shí)代雜志選為100家最有影響力的公司之一。

對(duì)于Stability AI，時(shí)代雜志是這樣介紹的——

如果你能用文字描述，Stability AI可以將其轉(zhuǎn)化為圖片。

Stable Diffusion是該公司幫助訓(xùn)練的免費(fèi)開源文本到圖像生成器，在8月份推出后，它改變了世界對(duì)于AI潛力的理解。

然而，Stability AI很快陷入了種種爭(zhēng)議，包括如何訓(xùn)練這些工具，以及從互聯(lián)網(wǎng)上獲取數(shù)據(jù)的版權(quán)訴訟之中。

盡管如此，該公司表示，在推出Stable Diffusion 2.0的一個(gè)月內(nèi)，App Store TOP 10應(yīng)用中的4個(gè)，背后都是這個(gè)模型。

而公司CEO Emad Mostaque也被報(bào)道經(jīng)?？浯蠊镜谋憩F(xiàn)，此前他曾聲稱：Stability AI「真正的開源」為「突破」鋪平了道路。

SDXL Beta

實(shí)際上，SDXL的Beta版本也沒發(fā)布多久，可見作圖這一塊的版本迭代真的是日新月異。

當(dāng)時(shí)，StabilityAI就表示，Stable Diffusion XL并不是最終發(fā)布版的名字，并且也并非是v3，因?yàn)镾D-XL的架構(gòu)和SD-v2系列的模型架構(gòu)非常相似。

下面幾張SD-XL官方發(fā)布的例圖，可以看出圖像的質(zhì)量已經(jīng)非常能打了。

SD-XL相比之前版本的改進(jìn)如下：

使用較短的描述性prompt即可生成高質(zhì)量圖像

可以生成更貼合prompt的圖像

圖像中的人體結(jié)構(gòu)更合理

與 v2.1和 v1.5版本(程度較輕)相比，SD-XL生成的圖片更符合大眾審美

負(fù)面提示詞（negative prompt）是可選項(xiàng)

生成的肖像圖更逼真

圖像中的文本更清晰

清晰可讀的文字

在v1系列和v2.1版本的Stable Diffusion模型中，并不具備在圖片中生成可讀文本的能力。

雖然SD-XL生成的文本信息并不總是準(zhǔn)確，但確實(shí)得到了巨大的提升。

一個(gè)年輕的女性舉著一個(gè)牌子，上面寫著「Stable Diffusion」，頭發(fā)高亮，坐在餐廳外面，棕色的眼睛，穿著裙子，側(cè)燈

更好的人體結(jié)構(gòu)

Stable Diffusion在生成人體解剖結(jié)構(gòu)方面一直存在諸多問題，多幾條腿、少個(gè)胳膊實(shí)在是太常見不過的問題。

比如說(shuō)SD-v1.5生成瑜伽的圖像，經(jīng)常會(huì)出現(xiàn)扭曲的人體。

而SD-XL雖然生成的圖像并不完美，不過在人體姿態(tài)方面已經(jīng)有了顯著的進(jìn)步。

更有美感（more aesthetic）

比如同樣以屋子為主題，SD-XL可以生成更對(duì)稱、視覺效果更好的照片。

SD-XL在肖像照片上也有顯著改進(jìn)。

一個(gè)女人的照片

參考資料：

https://stability.ai/blog/sdxl-09-stable-diffusion

關(guān)鍵詞：