作者：Daniel Barabander，Variant Fund總法律顧問兼合伙人；編譯：0xjs@喜來順財經

本文要點

目前，基礎AI開發由少數科技公司主導，處于封閉和反競爭的狀態。

開源軟件開發是另一種選擇，但基礎AI無法作為傳統的開源軟件項目（例如 Linux）進行開發，因為它存在“資源問題”，開源貢獻者還被要求捐獻超出個人能力范圍的計算和數據成本。

加密通過所有權激勵資源提供者為基礎開源 AI 項目做出貢獻，從而解決資源問題。

開源AI與加密相結合，可以支持更大的模型并推動更多創新，從而帶來更好的AI。?

引言

皮尤研究中心2024 年的一項民意調查顯示，64% 的美國人認為社交媒體對美國產生了負面而非正面的影響，78% 的人表示社交媒體公司在當今政治中擁有過大的權力和影響力，83% 的人表示這些平臺很可能或很有可能故意審查他們不同意的政治觀點。對社交媒體平臺的厭惡是少數幾個能團結美國人的問題之一。

回顧過去 20 年社交媒體實驗的進展，我們似乎不可避免地會落得如此境地。你們都知道這個故事。少數幾家大型科技公司最初吸引了人們的注意，最重要的是，他們獲得了用戶數據。雖然最初人們希望這些數據能夠公開，但這些公司在利用這些數據建立牢不可破的網絡效應后，很快就改變了方向，關閉了訪問權限。這基本上導致了目前的狀況，不到十家大型科技社交媒體公司在寡頭壟斷下像小封建領地一樣存在，沒有動力去改變，因為現狀利潤極高。它是封閉的，反競爭的。

看看AI實驗目前的進展，我感覺自己就像在重復看同一部電影，但這一次涉及的更多。少數幾家大型科技公司已經積累了 GPU 和數據來構建基礎AI模型，并封鎖了對這些模型的訪問。對于新進入者（沒有籌集數十億美元）來說，已經不可能構建出競爭版本，因為進入門檻太高了——僅預訓練一個基礎模型的計算資本支出就高達數十億美元，而從上一次技術繁榮中獲益的社交媒體公司正在利用他們對專有用戶數據的控制來構建競爭對手無法做到的模型。我們正全力以赴地在AI領域重現我們在社交媒體上所做的事情：封閉和反競爭。如果我們繼續沿著這條封閉AI的道路前進，少數科技公司將對信息和機會的訪問擁有不受限制的控制。?

開源AI與“資源問題”

如果我們不想要一個封閉的AI世界，我們的替代方案是什么？答案顯而易見，那就是將基礎模型構建為開源軟件項目。我們有無數開源項目的例子，它們構建了我們每天依賴的基礎軟件。如果 Linux 表明像操作系統這樣基本的東西也可以開源構建，那么 LLM 又有什么不同呢？

不幸的是，基礎AI模型存在一些限制，使它們不同于傳統軟件，這嚴重阻礙了它們作為傳統開源軟件項目的可行性。具體來說，基礎AI模型本身就需要超出任何個人能力的計算和數據資源。結果是，與依賴人們捐獻時間的傳統開源軟件項目（這已經是一個具有挑戰性的問題）不同，開源AI還需要人們以計算和數據的形式捐獻資源。這就是開源AI的“資源問題”?。

為了更好地理解資源問題，讓我們來看看 Meta 的 LLaMa 模型。Meta 與其競爭對手（OpenAI、Google 等）的不同之處在于，它不會將模型隱藏在付費 API 后面，而是公開提供 LLaMa 的權重供任何人免費使用（有一些限制）。這些權重代表了模型從 Meta 的訓練過程中學到的東西，是運行模型所必需的。有了權重，任何人都可以對模型進行微調，或者將模型的輸出用作新模型的輸入。

雖然 Meta 公布了 LLaMa 的權重值得稱贊，但它并不是一個真正的開源軟件項目。Meta 在私下使用自己的計算、數據和決策來訓練模型，并單方面決定何時向全世界開放該模型。Meta 不邀請獨立研究人員 / 開發人員參與社區，因為單個社區成員無法負擔訓練或重新訓練模型所需的計算或數據資源——數以萬計的高內存 GPU、容納它們的數據中心、大量冷卻基礎設施，以及數萬億的訓練數據代幣。正如斯坦福大學 2024 年AI指數報告所述，“培訓費用的不斷上漲實際上已經將大學（傳統上是AI研究中心）排除在開發自己的前沿基礎模型之外。”為了了解成本，Sam Altman 提到 GPT-4 的培訓成本為 1 億美元，而且可能還不包括資本支出；Meta的資本支出同比增長 21 億美元（2024 年第二季度 vs. 2023 年第二季度），主要來自對與訓練 AI 模型相關的服務器、數據中心和網絡基礎設施的投資。因此，雖然 LLaMa 的社區貢獻者可能具有在基本模型架構上做出貢獻和迭代的技術能力，但他們仍然缺乏這樣做的手段。

總而言之，與傳統的開源軟件項目不同，開源軟件項目僅要求貢獻者貢獻時間，而開源 AI 項目的貢獻者則被要求以計算和數據的形式貢獻時間和大量成本。依靠善意和志愿服務來激勵足夠多的各方提供這些資源是不現實的。他們需要進一步的激勵。176B 參數開源 LLM?BLOOM的成功可能是善意和志愿服務對開發開源 AI 的優點的最佳反例，它涉及來自 70 多個國家和 250 多個機構的 1000 名志愿研究人員。雖然這無疑是一項令人印象深刻的成就（我完全支持），但協調一次訓練運行花了一年時間，并從法國研究機構獲得了 300 萬歐元的資助（而且這筆費用不包括用于訓練模型的超級計算機的資本支出，其中一個法國機構已經可以使用它）。協調和依靠新撥款來迭代 BLOOM 的過程過于繁瑣和官僚主義，無法與大型科技實驗室的步伐相媲美。雖然 BLOOM 發布已有兩年多時間，但我不知道這個集體是否制作了任何后續模型。?

為了使開源AI成為可能，我們需要激勵資源提供者貢獻他們的計算和數據，而無需開源貢獻者承擔費用。

為什么Crypto可以解決開源AI的資源問題

Crypto 的突破在于利用所有權使資源成本較高的開源軟件項目成為可能。Crypto 通過激勵具有網絡潛在上升空間的投機資源提供者，而不是要求開源貢獻者預先支付成本來提供這些資源，從而解決了開源 AI 固有的資源問題。

要證明這一點，只需看看最初的加密項目比特幣。比特幣是一個開源軟件項目；運行它的代碼是完全開放的，從項目開始的那一天起就一直如此。但代碼本身并不是秘密武器；下載并運行比特幣節點軟件來創建僅存在于本地計算機上的區塊鏈并沒有多大用處。只有當計算挖掘區塊的數量足夠超過任何單個貢獻者的計算能力時，該軟件才有用。只有這樣，軟件的增值才能實現：維護一個無人控制的賬本。與基金會開源 AI 一樣，比特幣也代表了一個開源軟件項目，它需要超出任何單個貢獻者能力的資源。他們可能出于不同的原因需要這種計算——比特幣是為了使網絡防篡改，而基金會 AI 是為了迭代模型——但更廣泛的一點是，它們都需要超出任何單個貢獻者需求的資源才能作為可行的開源軟件項目發揮作用。

比特幣，或者說任何加密網絡，用來激勵參與者為開源軟件項目提供資源的魔術技巧是以代幣形式提供網絡所有權。正如 Jesse早在 2020 年為 Variant 撰寫的創始論文中所寫的那樣，所有權激勵資源提供者為項目貢獻資源，以換取網絡的潛在上行空間。這類似于如何利用汗水股權來啟動一家剛剛起步的公司——通過主要通過對企業的所有權來支付早期員工（例如創始人）的工資，初創公司可以通過獲得原本無法負擔的勞動力來克服啟動問題。加密將汗水股權的概念擴展到資源提供者，而不僅僅是那些奉獻時間的人。因此，Variant 專注于投資利用所有權建立網絡效應的項目，例如 Uniswap、Morpho 和 World。

如果我們想讓開源 AI 成為可能，那么通過crypto實現所有權就是解決其面臨的資源問題的辦法。研究人員可以自由地將他們的模型設計想法貢獻給開源項目，因為實現他們的想法所需的資源將由計算和數據提供商提供，以換取他們對項目的所有權，而不是要求這些研究人員支付高昂的前期成本。所有權在開源 AI 中可以采取多種不同的形式，但我最興奮的是模型本身的所有權，就像Pluralis提出的方法一樣。

Pluralis 將這種方法稱為協議模型，其中計算提供商可以貢獻計算資源來訓練特定的開源模型，并獲得該模型未來推理收入的所有權。由于所有權屬于特定模型，并且所有權的價值基于推理收入，因此計算提供商有動力選擇最佳模型，而不是欺騙訓練（因為提供無用的訓練會降低未來推理收入的預期價值）。那么問題就變成了：如果需要將權重發送給計算提供商進行訓練，如何在 Pluralis 上強制執行所有權？答案是模型并行性用于在工作者之間分配模型分片，從而允許利用神經網絡的一個關鍵屬性：可以為訓練更大的模型做出貢獻，同時只能看到總權重的一小部分，從而確保完整的權重集仍然不可提取。而且由于在 Pluralis 上訓練了許多不同的模型，訓練者將擁有許多不同的權重集，這使得重新創建模型變得極其困難。這是協議模型的核心概念：它們是可訓練的，可以使用，但無法從協議中提取（不使用比從頭訓練模型所需的更多的計算能力）。這解決了開源AI批評者經常提出的一個擔憂，即封閉的AI競爭對手將占用開放項目的勞動成果。?

為什么Crypto+開源=更好的AI

我在這篇文章的開頭描述了大科技公司控制的問題，以從規范的角度說明為什么封閉式AI是壞的。但在一個我們的在線體驗帶有宿命論色彩的世界里，我擔心這對大多數讀者來說可能毫無意義。所以最后我想給出兩個理由，即由加密支持的開源AI實際上將帶來更好的人工智能。

首先，Crypto和開源 AI 的結合將使我們能夠達到下一層基礎模型，因為它將比封閉式 AI 協調更多的資源。我們目前的研究表明，以計算和數據形式存在的更多資源意味著更好的模型，這就是基礎模型通常會變得越來越大的原因。比特幣向我們展示了開源軟件加上加密在計算能力方面所釋放的東西。它是世界上最大、最強大的計算網絡，比大型科技公司的云大幾個數量級。加密將孤立的競爭變成了合作競爭。資源提供者被激勵貢獻他們的資源來解決集體問題，而不是囤積他們的資源來單獨（和冗余地）解決該問題。使用加密的開源 AI 將能夠利用世界集體計算和數據來構建遠遠超出封閉式 AI 可能的模型大小。像Hyperbolic這樣的公司已經展示了利用集體計算資源的力量，任何人都可以以更低的價格在他們的開放市場上出租 GPU。

其次，將Crypto和開源 AI 結合起來將推動更多創新。這是因為，如果我們能夠克服資源問題，我們就可以回歸機器學習研究的高度迭代和創新的開源性質。在最近推出基礎 LLM 之前，機器學習研究人員幾十年來一直公開發布他們的模型和復制模型的藍圖。這些模型通常使用更有限的開放數據集，并且具有可管理的計算要求，這意味著任何人都可以對它們進行迭代。正是通過這種迭代，我們在序列建模方面取得了進展，例如 RNN、LSTM 和注意力機制，這使得當前基礎 LLM 所依賴的“Transformer”模型架構成為可能。但隨著 GPT-3 的推出（它逆轉了 GPT-2 開源的趨勢）和 ChatGPT 的巨大成功，這一切都發生了變化。這是因為 OpenAI 證明，如果你在海量模型上投入足夠的計算和數據，你就可以構建似乎能理解人類語言的 LLM。這造成了資源問題，導致學術界無法負擔高昂的價格，并導致大型科技公司實驗室基本停止公開發布其模型架構以保持競爭優勢。目前主要依賴個別實驗室的狀態將限制我們突破最先進技術界限的能力。通過加密技術實現的開源 AI 將意味著研究人員將再次能夠在尖端模型上繼續這一迭代過程，以發現“下一個transformer”。