DALL·E 3 推理能力爆炸提升,OpenAI 搶跑「ChatGPT 原生」


時隔一年半,OpenAI 直接玩了一個大的,把文生圖和 ChatGPT 做了結合,帶著最新版本 DALL·E 3 來了。

DALL·E 3 的巨大飛躍主要體現在兩大方面。

第一,只需要提示詞,ChatGPT 可自動對詞語進行拓展,大大弱化了提示工程的約束,產生圖畫細節更多、描述更精準。

第二,Chat GPT 原生,模型在理解使用者指令及將文字轉換為圖片的能力增加了。 OpenAI 表示,DALL·E 3 比以往系統更能理解細微差別和細節,讓使用者更輕鬆地將自己的想法轉化為非常準確的圖像。

可以看到,DALL·E 3 不僅在推理能力上更強大了,同時用起來也更簡單,給了大家無限的創作可能性。


DALL·E 3 的巨大飛躍

DALL·E 3 最大的突破,無疑是將文生圖模型與 ChatGPT 的結合,大大降低了提示詞的門檻。

使用者只需輸入簡單的字詞,ChatGPT 可自動對提示詞進行擴充、產生客製化的詳細提示,從簡單的句子到詳細的段落,勾勒出一副細節感滿滿的畫面。

來看幾張由 DALL·E 3 產生的圖片:
引用滿月映照下的繁華都市街道,熙熙攘攘的行人正享受夜生活。
在街角的攤位上,一位滿頭紅髮、身著天鵝絨斗篷的年輕女子正在與脾氣暴躁的老攤主討價還價。
這位脾氣暴躁的小販身材高大、為人老練,他穿著筆挺的西裝、留著引人注目的小鬍子,正興致勃勃地用他的蒸汽朋克電話在交談。

引用擬人化的秋葉組成了一支民間樂隊,在鄉村的森林中,它們演奏著傳統的藍草音樂,點綴著滿月撒下的柔和月光。

引用荔枝紋風格的球形椅子,具有凹凸不平的白色外觀和豪華的內部,襯托著熱帶壁紙。

精彩的細節刻畫,加上精緻的圖像畫面,可以看到,DALL·E 3 在弱化了提示詞約束的同時,也具備了 ChatGPT 原生的優勢,用語言指導大型神經網絡執行各種文本生成任務。

目前來看,DALL·E 3 在理解使用者指令和文生圖方面都展現了更為出色的能力,這也是先前 AIGC 領域存在的短板之一。 一位 OpenAI 研究員也表示,語言的進步使 DALL·E 3 能夠更好地解析複雜指令,避免混淆詳細請求中的元素。

而如果出現影像與文字描述不符的情況時,使用者可在 ChatGPT 中隨時進行調整。

關於 DALL·E 3 更多細節,Sam Altman 也分享了一個可愛的宣傳影片。


影片中,家長透過向 ChatGPT 提問“5 歲小朋友口中的‘超級向日葵刺猬’的樣子是什麼樣?”,獲得了四段不同風格的提示詞,並由 DALL·E 3 生成對應圖像。

在由使用者選定了圖像風格、並為小刺蝟起名Larry 後,ChatGPT 為故事添加了更多豐富的元素,包括森林的背景、小房子、以及帶有Larry 名字的小信箱等等,ChatGPT 綜合了 前面的資訊後,還可以產生一個完整的故事情節。

可以說,從童話故事到插圖,ChatGPT 和 DALL·E 3 全包了! 有網友評價稱,Sam Altman 放出的小刺猬 demo 視頻,是《30 分鐘做一本兒童繪本》的實例。


而與先前 DALL·E 系列模型相比,根據同一句提示詞“一名籃球運動員扣籃、被描繪成一個星雲爆炸的油畫”,使用 DALL·E2 和 DALL·E3 分別進行圖片生成。 可以看到,兩代模型在生成圖片的效果有明顯的差異。

和左側相比,DALL·E 3 圖片中的細節描繪、場景明亮度等效果都更好。


在 DALL·E 2 發布的一年多時間,期間 Stable Diffusion 掀起了一陣擴散模型熱潮,後者一時風光兩無。 如今,OpenAI 帶著最新版的 DALL·E 3 洶洶來襲,似乎將要改變這一局面。

新一輪文生圖戰局打響了

早些時候,約 400 人左右參與測試了 OpenAI Discord 伺服器上的 DALL·E 3 Alpha 版本,網友評價:生成圖片的準確度碾壓 Stable Diffusion 、MidJourney。 MidJourney 的語文水準一直被使用者吐槽,這點在 DALL·E 3 上大有改觀。 DALL·E 3 可以透過 Prompt 提示,在圖片中產生連續準確的單字拼寫,像下圖中的“HELLO”,在以往的文生圖模型中還沒有模型可實現這一點。


這張「DALL·E CAN SPELL」的圖片放大後,也可以看到在圖片深處的「DALL·E 」有拼寫成「DALE」的情況,但是整體看,在遵循提示和生成連貫細節方面DALL ·E 3 已經有了極大的突破。

除了文字的細節,在對 Prompt 理解方面,DALL·E 3 與早一期的版本也有極大的進步。 提示詞是「霧濛濛的森林裡,地面非常泥濘,一場自行車比賽正在進行,一個粉紅色的小丑騎著用奶酪做成的自行車,和跟熊貓擊掌,熊貓很生氣。」在5 月DALL·E 版本中可以看到,熊貓和小丑的手掌是扭曲的,自行車用奶酪製成這一細節不太明顯,熊貓表情面露微笑,這一點顯然和提示詞的內容不符合。


到了DALL·E 3 的版本中可以看到,小丑和熊貓擊掌,小丑明顯的五根手指,自行車車輪完全是奶酪元素,包括車輪激起的泥點細節等, DALL·E 3 在理解提示詞語義 和呈現畫面方面有了非常明顯的進步。


當在 Stable Diffusion 、MidJourney 中輸入相同提示詞時,呈現的畫面與提示詞的關係,不能說一點不同,也差不多是毫不相關。 看到 DALL·E 3 的表現,許多網友表示 Stable Diffusion 、MidJourney 無法在這個層級上與其競爭。


就在上週,有消息爆出Google正在小範圍內測 Gemini,傳言稱,Gemini 將比 ChatGPT 強大 20 倍,這也給 OpenAI 帶來了一定程度上的輿論壓力。

隨後,OpenAI 「悄悄」更新了GPT-3.5-Turbo-Instruct,此前有消息傳出,OpenAI 正緊鑼密鼓地將GPT-4 與類似於Gemini 提供的多模態功能結合起來,不少業內人士猜測,OpenAI 或在即將召開的首屆開發者大會上發布多模態大模型,例如GPT-4-Vision。

大模型局勢撲朔迷離,身為大模型的領導者,Google和 OpenAI 在互相試探,二者真實實力幾何,還有多少顛覆我們認知的能力,尚且未知。

目前, DALL·E 3 背後的技術細節並未公佈。 但在安全和版權保護方面,OpenAI 已對DALL·E 3 投入了大量的工作,包括採取緩解措施拒絕提供公眾人物姓名、與外部的“紅隊”成員(對模型進行壓力測試的團隊)合作、 在內部開發來源分類器等。

此外,DALL·E 3 拒絕提供在世藝術家風格圖像,藝術創作者也可選擇將其個人作品從 DALL·E 3 未來圖像生成模型的訓練中剔除。 據悉,DALL·E 3 將於 10 月初面向 ChatGPT Plus 和 Enterprise 用戶上線,用戶使用 DALL·E 3 創建的圖像無需 OpenAI 授權即可轉載或出售。


雷峯網原創文章,未經授權禁止轉載。詳情見轉載須知

資料來源:雷鋒網
作者/編輯:黄楠

如果喜歡我們的文章,請即分享到︰

標籤: DALL·E 3  OpenAI  ChatGPT