從一句話生成一張圖，到幾秒鐘生成一段視頻，生成式人工智能正在走向更復(fù)雜的真實(shí)世界應(yīng)用。模型越大、分辨率越高、生成內(nèi)容越豐富，對(duì)算力與能耗的需求就越驚人。然而，當(dāng)前光電芯片仍主要擅長(zhǎng)加速判別類任務(wù)，距離支撐前沿大規(guī)模生成模型還有不小距離。如何讓下一代算力光芯片能運(yùn)行復(fù)雜生成模型?日前，記者從上海交通大學(xué)獲悉，該校集成電路學(xué)院陳一彤課題組在新一代算力光芯片方向取得重大突破，首次實(shí)現(xiàn)支持大規(guī)模語義視覺生成模型的全光計(jì)算芯片LightGen。相關(guān)研究近日發(fā)表于國(guó)際學(xué)術(shù)期刊《科學(xué)》上。
所謂“光計(jì)算”，可以通俗理解為：不是讓電子在晶體管中運(yùn)行，而是讓光在芯片中傳播，用光場(chǎng)的變化完成計(jì)算。光天然具備高速和并行的優(yōu)勢(shì)，因此長(zhǎng)期被視為突破算力與能耗瓶頸的重要方向。然而，要把光計(jì)算真正用到生成式AI上，并非這么簡(jiǎn)單：生成模型往往規(guī)模更大，還需要在不同維度之間不斷變換;如果芯片規(guī)模較小，則不得不頻繁在光與電之間級(jí)聯(lián)或復(fù)用，速度優(yōu)勢(shì)也會(huì)被延遲與能耗迅速抵消。因此，全光計(jì)算就顯得更為重要和困難。
LightGen之所以能夠?qū)崿F(xiàn)驚人的性能飛躍，在于它在單枚芯片上同時(shí)突破了三項(xiàng)領(lǐng)域公認(rèn)的關(guān)鍵瓶頸：?jiǎn)纹习偃f級(jí)光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換、不依賴真值的光學(xué)生成模型訓(xùn)練算法。這三項(xiàng)中的任意一項(xiàng)單獨(dú)突破都足以構(gòu)成重要進(jìn)展，而LightGen將它們同時(shí)實(shí)現(xiàn)，使得面向大規(guī)模生成任務(wù)的全光端到端實(shí)現(xiàn)成為可能。
更重要的是，LightGen展示的并不是電輔助光去做生成，而是讓全光芯片完整實(shí)現(xiàn)“輸入—理解—語義操控—生成”的閉環(huán)：輸入圖像進(jìn)入芯片后，系統(tǒng)能夠提取與表征語義信息，并在語義操控下生成全新的媒體數(shù)據(jù)，實(shí)現(xiàn)讓光“理解”和“認(rèn)知”語義。論文實(shí)驗(yàn)驗(yàn)證，LightGen可完成高分辨率圖像語義生成、3D生成、高清視頻生成及語義調(diào)控，同時(shí)支持去噪、局部與全局特征遷移等多項(xiàng)大規(guī)模生成式任務(wù)。
業(yè)內(nèi)專家評(píng)價(jià)，LightGen為新一代算力芯片真正助力前沿人工智能開辟了新路徑，也為探索更高速、更高能效的生成式智能計(jì)算提供了新的研究方向。
責(zé)任編輯：陸迪
