
Databricks 前 AI 主管認為他能將 AI 電費降低 1,000 倍
有一間新公司研發出一種新晶片技術,想將 AI 運作時嘅電費減到而家嘅千分之一。
點解重要
而家 AI 雖然好勁,但好似部「大食」冷氣機咁勁嘥電,如果呢項技術成功,未來我哋用手機或電腦行 AI 就唔驚好快冇電,做生意嘅運作成本亦會大幅下降。
新手貼士
如果你覺得 AI 答得慢或者手機行 AI 好熱,通常係因為背後運算好複雜。試吓喺提問時要求「簡短回答」,可以幫部機慳返啲力。
術語小字典
推論 (Inference):即係 AI 根據已經學咗嘅知識去回答你問題或者畫圖嘅過程,好似老師改卷咁。
架構 (Architecture):指電腦晶片內部嘅設計圖,決定咗數據點樣流動,就好似一間屋嘅間隔設計。
擴散模型 (Diffusion Models):一種專門用嚟畫圖嘅 AI 技術,由一堆亂碼慢慢變出一張清晰嘅相。
Databricks 前 AI 主管認為他能將 AI 電費降低 1,000 倍
發掘 AI 下一個重大突破的動力資助了一些相當宏大的項目——但有一間公司正藉此機會,從底層開始重建運算架構。
由前 Databricks AI 主管 Naveen Rao 領導的 Unconventional AI,承諾將大幅提高推論處理的能源效率。其秘密武器是:一種新型的基於振盪器(oscillator-based)的電腦架構。
週四,該公司發佈了其首個 AI 模型——名為 Un-0——這是一個圖像生成系統工具,首次展示了該公司的技術如何複製傳統的 AI 系統。在隨附的一篇新論文中,該公司的研究團隊詳細介紹了他們如何使用新架構的軟件模擬,構建了一個功能齊全的圖像生成模型——其表現與目前最先進的擴散模型(diffusion models)一樣出色。
「這是新型電腦的『hello world』,」Rao 告訴 TechCrunch。「在接下來的一年裡,你將開始看到圍繞這方面的相當有趣的新聞。」
新模型 Un-0 的輸出與 Stable Diffusion 或 OpenAI 的 GPT Image 1 等圖像生成模型相似。令人印象深刻的是它達到該性能的方式。該模型建立在振盪器架構之上,這與驅動傳統運算和傳統大型語言模型(LLMs)的晶片完全不同。基於振盪器運算的優勢非常複雜,但 Rao 相信它最終將減少高達 1,000 倍的功耗。
實現這一目標的大部分基礎設施仍在建設中。目前版本的 Un-0 運行在 Unconventional 振盪器晶片的軟件模擬上,但該公司計劃很快發佈實際晶片的設計圖。從那裡開始,計劃是從頭開始構建整個推論堆疊,Unconventional AI 最終將像任何其他供應商一樣提供運算能力。
「我們將建立一個由我們的晶片組成的新型系統,」Rao 說。「我們將在那裡運行 AI 模型,我們將有一條網絡線,提示詞進去,推論結果出來,但這將以 1/1000 的功耗完成。」
這是一個極其宏大的目標,特別是對於一間員工不到 50 人的公司而言。但考慮到 AI 建設的規模以及滿足日益增長的推論需求預期成本,這可能是少數能夠應對該問題規模的努力之一。在 Rao 看來,可用電力供應將是未來幾年 AI 的硬性限制之一——而 Unconventional 是少數能夠解決這一問題的項目之一。
「由於能源問題,AI 擴展非常困難。這將是未來幾年的根本限制。你就是無法逾越它。歸根結底,這將是一個受能源限制的問題,」他說。
資料來源:TechCrunch
Databricks’ former AI chief thinks he can cut AI’s power bill by 1,000x - TechCrunch
閱讀原文本文由 AI 自動翻譯整理,內容以原文為準。
