# 7B 模型能贏過前沿 LLM 嗎？SuiAudit Pure1 的做法

Date: 2026-02-25
Source: https://kxhuang.dev/2026/02/25/SuiAudit_paper/
Description: SuiAudit Pure1 這個 7B 模型如何靠困難負樣本微調，在 Sui Move 稽核基準上取得 31.4% 準確率，領先 Claude Opus 4.5 與 GPT-5.2。
Translation of: https://kxhuang.dev/2026/02/25/SuiAudit_paper/index.md
Author: Kai Xiu Huang (https://kxhuang.dev)

---
## 論文背後的問題

我們 SuiAudit Lab 團隊在 TechRxiv 上發表了一篇研究論文，[Can Small Models Beat Frontier LLMs? Introducing SuiAudit Pure1: Specialized Auditing via Extreme Low-Resource Fine-Tuning](https://www.techrxiv.org/doi/full/10.36227/techrxiv.177204934.48017152/v1)（DOI: 10.36227/techrxiv.177204934.48017152/v1）。我與 Chia-Lin Chen、Fang-Yu Lien 同為主要貢獻者；由此而生的產品 [SuiAudit](/2026/03/03/SuiAudit/) 已上線於 [suiaudit.wal.app](https://suiaudit.wal.app/)。

標題裡的問題就是我們真正在測的東西的誠實版本。如果一個通用的前沿模型本來就很會讀、很會寫程式碼，那一個只專精單一語言、7B 參數的模型還剩下什麼空間？我們的答案是：前沿模型在 Sui Move 上留下的落差，不是能力的落差，而是它們被訓練成「預期什麼」的落差。

## Solidity 偏誤是資料問題，不是規模問題

通用 LLM 在稽核 Sui Move 時，深受我們稱為「Solidity 偏誤」的問題所苦：它們會把以太坊的漏洞樣態錯誤地套到 Sui 以物件為中心的架構上。

我的解讀是，這是先驗錯了，而不是能力不足；而這個框架決定了整套做法：解法是用與該先驗相牴觸的資料。

所以資料集才是這份工作的核心。它把分類為 A 到 F 的正向漏洞樣本，和對抗性的「困難負樣本」混在一起：那些刻意設計來絆倒較廣泛 LLM 的安全程式碼樣態。困難負樣本才是關鍵。只拿真實漏洞訓練，教會模型的是把東西找出來；拿那些在 Solidity 假設下*看起來*有漏洞、在 Sui 的規則下卻安全的程式碼來訓練，教會它的是什麼時候該閉嘴。

## 訓練管線，以及數字怎麼來的

Pure1 是一個 7B 參數模型，透過精簡的微調管線建成：先以監督式微調（SFT）取得領域掌握度，再用結合思維鏈推理的直接偏好優化（DPO）加強。

評測在我們自己的 Sui 專屬基準上進行，Pure1 取得 **31.4% 的準確率**，領先 Claude Opus 4.5 的 26.6% 與 GPT-5.2 的 17.2%——比最強的通用模型高出 4.7 個百分點。

Pure1 以 Mistral-7B-Instruct-v0.2 為基礎模型，量化為 4-bit NF4，因此塞得進單張 NVIDIA T4（16GB）或 RTX 3060（12GB）。它可完全離線執行，在保護開發者隱私的同時，透過 VS Code 與 Chrome 擴充功能提供即時洞察。我們已把核心基礎設施開源在 GitHub 上，並在 Kaggle 分享權重。

## 它被用在哪裡

Pure1 已部署於正式環境。

這份工作也拿下 2025 Sui Hackathon Mandarin 第二名，以及 Sui Taipei Dev Hackathon 第三名。

## 我的收穫

我在意的結論很窄，但我認為可以推廣：在一個主要失敗來自「先驗被錯誤遷移」而非「能力不足」的任務上，整理負樣本勝過放大模型。那是便宜的槓桿，而且任何在前沿實驗室資料稀少的語言上工作的人都拿得到。

如果你正在 Sui 上開發，或對 AI 驅動的安全有興趣，完整論文與線上工具的連結都在上面。