// 在晶片上,不在雲端

AI† 在你想要的地方。
如果你想要的話。

SQLly 中的每個模型都執行 在你的機器上,由你作主 - 或者在雲端,如果 你 由你決定。在你撥動開關之前,什麼都不會執行。以下是:確切說明什麼在哪裡執行,以及你的晶片實際會有多快。誠實的狀態說明:這套堆疊是 推出中 - 下方每張卡片都標示著它的實際狀態。

所有功能出廠時都是關閉狀態

預設情況下, 所有 AI† 功能都是關閉的。沒有背景下載,沒有默默進行的推論,沒有任何權杖離開你的筆電。每個功能由你逐一選擇啟用——跑在哪個引擎上也由你挑。 來嘛,撥下去看看。

// 控制項

四個開關,零驚喜

每個功能都各自獨立。用得到的就開啟,其餘保持關閉。

⌨️
預設關閉 FIM · 自動完成 ◐ 進行中

行內自動完成,於裝置端執行

中段填空自動完成,完全由裝置上的 Qwen。它看得到游標之前 和 在游標之後,因此自動完成會貼合上下文,而不是盲目往後亂猜。

SELECT o.id, o.total▌
      ⟶ , o.created_at  FROM orders o WHERE …

為專用的程式碼模型調校,以達到低延遲——不是兼任自動完成的聊天模型。

Qwen2.5-Coder · 本機
💬
預設關閉 代理聊天 ◐ 進行中

代理程式聊天 - 由你決定

執行代理程式 完全在裝置上 以享有完全的隱私,或將它指向 雲端 當你想要最大馬力時。相同的介面,每次請求由你選擇。

下表列出每一款 Apple Silicon 晶片的裝置端效能預估——讓你知道「本機」跑起來是什麼感覺 在 你決定之前。

裝置端或雲端 · 由你決定
🧮
預設關閉 進階 · 裝置端 ○ 計畫中

本機向量資料庫

本機向量資料庫支援快速 AI† 操作——語意結構描述搜尋、相似度查詢以及檢索——而不需對任何伺服器進行一次嵌入往返。

嵌入向量保留在磁碟上,就在你自己的機器裡
🗃️
預設關閉 進階 · 裝置端 ◐ 進行中

實體卡片與智慧快取

SQLly 會建構 所有 DDL 的本機實體卡片 這樣模型在你發問的瞬間就能取得濃縮、預先消化過的上下文。再搭配 進階快取失效 只重新整理真正有變動的部分。

  • 每個物件的實體卡片 - 資料表、檢視、預存程序、函式。
  • 精準失效 - 陳舊的項目會淘汰,常用路徑持續保溫。
// Mac 上的數字

會有多快 你的 Mac 的使用體驗?

Apple Silicon 上本機模型實際生成速度的估算。數字為 產生 token/秒 - 不包括提示詞的擷取。

為什麼只列 Mac 的數據? SQLly 用同一套程式碼庫,在 macOS、Windows 和 Linux 上執行——但那頭豬天天在用的是 配備 128GB RAM 的 M4 Max MacBook Pro,所以 Apple Silicon 是他能誠實量測的平台。我們也在 Windows 和 Linux 上測試; 分享你的實際標記產生資料 我們會直接發布在這裡。

實際效能取決於推理執行環境、量化、上下文大小、設定、統一記憶體壓力、散熱,以及模型的封裝方式。這些只是誠實的概估,不是保證。

雲端參照(那種「快速的雲端感受」): Artificial Analysis 測得 GPT-5.5 非推理 API 輸出約 58 權杖/秒,其低/非推理模式的區間大約為 58–100 權杖/秒。聊天介面裡的體感速度會隨路由、串流、推理模式和負載而變——所以這只是體感參考,不是基準測試目標。

模型 實際 RAM 備註
Qwen3-4B-Instruct-2507 Q4_K_M 8GB 最低 / 16GB 建議 小型預設本機 SQL 助理模型。Ollama 套件約 2.5GB。
gpt-oss-20b 16GB 最低 / 24GB 建議 更強的推理模型。OpenAI 列出總參數量 21B、每 token 啟用參數 3.6B、上下文 128K。
Gemma 4 E2B 8GB 最低 / 16GB 建議 小型 Google 系列模型。Google 列出 Q4 推理記憶體約 2.9GB;Ollama 套件可能更大。

模型 RAM 假設

晶片 Qwen3-4B Q4_K_M8GB 最低 / 16GB 建議 gpt-oss-20b16GB 最低 / 24GB 建議 Gemma 4 E2B8GB 最低 / 16GB 建議 如何辨識晶片 / 二進位檔
M118–285–1016–28顯示為 Apple M1。基本 M1 是低頻寬的方案層級。
M1 Pro38–5214–2432–48顯示為 Apple M1 Pro.
M1 Max50–7024–3845–65顯示為 Apple M1 Max.
M1 Ultra60–8532–5055–80顯示為 Apple M1 Ultra。通常是 Mac Studio。
M225–358–1422–34顯示為 Apple M2.
M2 Pro40–5516–2835–50顯示為 Apple M2 Pro.
M2 Max55–7528–4450–70顯示為 Apple M2 Max.
M2 Ultra70–10038–6060–90顯示為 Apple M2 Ultra。通常是 Mac Studio / Mac Pro。
M328–409–1624–38顯示為 Apple M3.
M3 Pro35–5014–2232–48顯示為 Apple M3 Pro.
M3 Max,低等級55–7524–3850–70Apple M3 Max - 14 核心 CPU / 30 核心 GPU。
M3 Max,高等級65–9032–4860–85Apple M3 Max - 16 核心 CPU / 40 核心 GPU。
M3 Ultra80–11545–7070–105顯示為 Apple M3 Ultra。通常是 Mac Studio。
M435–5010–1830–45顯示為 Apple M4.
M4 Pro55–7022–3545–65顯示為 Apple M4 Pro.
M4 Max,低等級70–9532–4860–85Apple M4 Max - 14 核心 CPU / 32 核心 GPU。
M4 Max,高等級85–11540–6075–100Apple M4 Max - 16 核心 CPU / 40 核心 GPU。
M545–6014–2435–55顯示為 Apple M5.
M5 Pro65–8526–4255–75顯示為 Apple M5 Pro.
M5 Max,低等級80–10536–5570–95Apple M5 Max - 18 核心 CPU / 32 核心 GPU。
M5 Max,高等級95–12545–7085–115Apple M5 Max - 18 核心 CPU / 40 核心 GPU。

各 Apple Silicon 晶片的預估產生速度(tokens/sec)

// 選擇你的戰士

哪個模型,以及何時

合理的預設值、遇到疑難問題時的逃生出口,以及自動完成專屬的獨立通道。這是 規劃中的預設組合 - 它會和上述的本機執行階段整合一起推出。

⚡
預設 · 快速

Qwen3-4B - 預設

小巧、快速,用於結構描述搜尋和 SQL 草擬已經夠用。M1 到 M5 上都有合理的表現。這是規劃中的開箱即用預設。

Qwen3-4B-Instruct-2507 Q4_K_M
🧠
進階 · 本機推理

gpt-oss-20b——重量級選手

選用的「更強本機推理」模型:更難的 SQL 產生、複雜的結構描述推理、預存程序說明、多步驟除錯、程式碼審查、查詢改寫。速度較慢,也更吃 RAM。

gpt-oss-20b
🔷
平衡 · Google 系列

Gemma 4 E2B - 替代方案

適合想要 Google 系列支援、多模態生態系整合,以及一個表現中等的較輕量推理選項的人。

Gemma 4 E2B
⌨️
讓自動完成保持獨立

FIM 只做分內的事

做 不 用聊天/推理模型來草擬內嵌補全。自動完成跑的是專用 FIM/程式碼模型——延遲低得多。

Qwen2.5-Coder-1.5B Base
Qwen2.5-Coder-3B Base
🎚️
效能模式 ○ 計畫中

或者乾脆憑感覺挑一個

不想考慮模型名稱?選擇一種模式,SQLly 會自動處理其餘部分:

Fast      → Qwen3-4B
Balanced  → Gemma 4 E2B
Advanced  → gpt-oss-20b
Cloud     → GPT-5.5 or other hosted model

安裝程式會顯示下載大小、所需記憶體,並即時估算 你的 晶片的即時估算,之後才會有任何東西寫入磁碟。

// 展示你的做法

來源與參考資料

這些估計是把公開的模型規格與套件大小,配上務實的 Apple Silicon 記憶體頻寬縮放假設而來。

有用的參考資料

// 你的筆電,你的規則

把智慧帶回小豬家

預設關閉。開不開由你決定。裝置端是設計使然。唯一的 AI† 會先徵求許可。

⬇ 免費下載 SQLly
† 「AI」是懶得說「機器學習」的那群人的註冊商標。