OPML: 區塊鏈系統上的Optimistic機器學習

OPML(Optimistic機器學習)是一種新型的區塊鏈AI模型推理和訓練方法。相比ZKML,OPML能以更低的成本和更高的效率提供機器學習服務。OPML的硬件要求較低,普通PC無需GPU即可運行大型語言模型如7B-LLaMA(約26GB)。

OPML採用驗證遊戲機制來保證ML服務的去中心化和可驗證共識:

1. 請求者發起ML服務任務
2. 服務器完成任務並提交結果上鏈
3. 驗證者檢查結果,如有異議則啓動驗證遊戲
4. 最終在智能合約上進行單步仲裁

單階段驗證遊戲

單階段OPML的關鍵點:

• 構建用於鏈下執行和鏈上仲裁的等效虛擬機(VM)
• 實現專用輕量級DNN庫,提高AI推理效率
• 交叉編譯AI模型推理代碼爲VM指令
• 使用默克爾樹管理VM鏡像,僅將根哈希上傳鏈上

二分協議用於定位爭議步驟,並將其發送至鏈上仲裁合約。

性能測試顯示,基本AI模型(MNIST分類DNN)在VM中2秒內完成推理,整個挑戰過程在本地以太坊測試網2分鍾內完成。

多階段驗證遊戲

爲克服單階段協議的局限性,我們提出多階段OPML:

• 僅最後階段在VM中計算,其他階段可在本地環境執行
• 利用CPU、GPU、TPU等硬件加速,提升性能
• 使用默克爾樹確保階段間過渡的完整性和安全性

以LLaMA模型爲例的兩階段OPML:

1. 第二階段:在計算圖上進行驗證博弈,可使用多線程CPU或GPU
2. 第一階段:將單個節點計算轉換爲VM指令

多階段方法顯著提高了驗證效率,特別是對於復雜計算。

性能改進

假設DNN計算圖有n個節點,每個節點需m條VM指令,GPU加速比爲α:

1. 兩階段OPML比單階段快α倍
2. 兩階段OPML的默克爾樹大小爲O(m+n),遠小於單階段的O(mn)

多階段框架極大提升了計算效率和系統可擴展性。

一致性與確定性

爲解決不同硬件平台上浮點計算的不一致問題,OPML採用:

1. 定點算法(量化技術):使用固定精度代替浮點數
2. 基於軟件的跨平台一致浮點庫

這些方法確保了OPML計算結果的一致性和可靠性。

OPML vs ZKML

OPML相比ZKML具有以下優勢:

• 更低的硬件要求
• 更快的執行速度
• 支持更大的模型規模
• 適用於更廣泛的ML任務

目前OPML主要聚焦於模型推理,但框架也支持模型訓練過程。OPML項目仍在持續開發中,歡迎感興趣的開發者參與貢獻。