圖片來自網(wǎng)絡(luò)/侵刪

　　谷歌 AI 發(fā)布了一篇關(guān)于 Muse 的研究論文，這是一種新的文本至圖像生成技術(shù)，它基于掩碼生成(Masked Generative)Transformer，可以生成與 DALL-E 2和 Imagen 等競(jìng)爭(zhēng)對(duì)手相媲美的高質(zhì)量圖片，但是速度要快得多。

　　Muse 被訓(xùn)練為預(yù)測(cè)隨機(jī)掩碼圖像的 token，它會(huì)使用業(yè)已訓(xùn)練過的大型語言模型所生成的嵌入式文本。這項(xiàng)工作涉及在離散的 token 空間中進(jìn)行掩碼建模。Muse 使用一個(gè) 9 億個(gè)參數(shù)的模型，稱為掩碼生產(chǎn) transformer(masked generative transformer)，以創(chuàng)造視覺效果，而不是采用像素空間擴(kuò)散或自回歸模型。

　　谷歌聲稱，借助 TPUv4 芯片，可以在 0.5 秒內(nèi)創(chuàng)建一個(gè) 256*256 的圖像，而使用 Imagen 則需要 9.1 秒，根據(jù)谷歌的說法，Imagen 使用的擴(kuò)散模型提供了“前所未有的逼真程度”和“深度的語言理解”。TPU，即張量處理單元(Tensor Processing Unit)，是谷歌開發(fā)的定制芯片，專門用作 AI 的加速器。

　　根據(jù)研究，谷歌 AI 已經(jīng)訓(xùn)練了一系列不同規(guī)模的 Muse 模型，參數(shù)從 6.32 億到 30 億不等，研究發(fā)現(xiàn)，預(yù)先訓(xùn)練好的大型語言模型，對(duì)于生成逼真的高質(zhì)量圖像至關(guān)重要。

　　Muse 的性能也超過了最先進(jìn)的自回歸模型 Parti，因?yàn)樗褂昧瞬⑿薪獯a，在推理時(shí)間上比 Imagen-3B 或 Parti-3B 模型快 10 倍以上，根據(jù)使用同等硬件的測(cè)試，比 Stable Diffusion v1.4 快 3 倍。

　　Muse 創(chuàng)建的視覺效果與輸入中的各種語義成分相對(duì)應(yīng)，如名詞、動(dòng)詞和形容詞。此外，它還展示了視覺風(fēng)格和多對(duì)象特性的知識(shí)，如合成性(compositionality)和基數(shù)(cardinality)。

　　近年來，由于新的訓(xùn)練方法和改進(jìn)的深度學(xué)習(xí)架構(gòu)，圖像生成模型有了長(zhǎng)足的進(jìn)步。這些模型有能力生成非常詳盡和逼真的圖像，在廣泛的行業(yè)和應(yīng)用中，它們正在成為越來越強(qiáng)大的工具。
　　（碼上科技）

蘋果代工廠和碩1月營收12...

最后一頁