AI† 在你想要的地方。
如果你想要的話。
SQLly 中的每個模型都執行 在你的機器上,由你作主 - 或者在雲端,如果 你 由你決定。在你撥動開關之前,什麼都不會執行。以下是:確切說明什麼在哪裡執行,以及你的晶片實際會有多快。誠實的狀態說明:這套堆疊是 推出中 - 下方每張卡片都標示著它的實際狀態。
所有功能出廠時都是關閉狀態
預設情況下, 所有 AI† 功能都是關閉的。沒有背景下載,沒有默默進行的推論,沒有任何權杖離開你的筆電。每個功能由你逐一選擇啟用——跑在哪個引擎上也由你挑。 來嘛,撥下去看看。
四個開關,零驚喜
每個功能都各自獨立。用得到的就開啟,其餘保持關閉。
行內自動完成,於裝置端執行
中段填空自動完成,完全由裝置上的 Qwen。它看得到游標之前 和 在游標之後,因此自動完成會貼合上下文,而不是盲目往後亂猜。
SELECT o.id, o.total▌ ⟶ , o.created_at FROM orders o WHERE …
為專用的程式碼模型調校,以達到低延遲——不是兼任自動完成的聊天模型。
Qwen2.5-Coder · 本機代理程式聊天 - 由你決定
執行代理程式 完全在裝置上 以享有完全的隱私,或將它指向 雲端 當你想要最大馬力時。相同的介面,每次請求由你選擇。
下表列出每一款 Apple Silicon 晶片的裝置端效能預估——讓你知道「本機」跑起來是什麼感覺 在 你決定之前。
裝置端或雲端 · 由你決定本機向量資料庫
本機向量資料庫支援快速 AI† 操作——語意結構描述搜尋、相似度查詢以及檢索——而不需對任何伺服器進行一次嵌入往返。
嵌入向量保留在磁碟上,就在你自己的機器裡實體卡片與智慧快取
SQLly 會建構 所有 DDL 的本機實體卡片 這樣模型在你發問的瞬間就能取得濃縮、預先消化過的上下文。再搭配 進階快取失效 只重新整理真正有變動的部分。
- 每個物件的實體卡片 - 資料表、檢視、預存程序、函式。
- 精準失效 - 陳舊的項目會淘汰,常用路徑持續保溫。
會有多快 你的 Mac 的使用體驗?
Apple Silicon 上本機模型實際生成速度的估算。數字為 產生 token/秒 - 不包括提示詞的擷取。
為什麼只列 Mac 的數據? SQLly 用同一套程式碼庫,在 macOS、Windows 和 Linux 上執行——但那頭豬天天在用的是 配備 128GB RAM 的 M4 Max MacBook Pro,所以 Apple Silicon 是他能誠實量測的平台。我們也在 Windows 和 Linux 上測試; 分享你的實際標記產生資料 我們會直接發布在這裡。
實際效能取決於推理執行環境、量化、上下文大小、設定、統一記憶體壓力、散熱,以及模型的封裝方式。這些只是誠實的概估,不是保證。
雲端參照(那種「快速的雲端感受」): Artificial Analysis 測得 GPT-5.5 非推理 API 輸出約 58 權杖/秒,其低/非推理模式的區間大約為 58–100 權杖/秒。聊天介面裡的體感速度會隨路由、串流、推理模式和負載而變——所以這只是體感參考,不是基準測試目標。
| 模型 | 實際 RAM | 備註 |
|---|---|---|
| Qwen3-4B-Instruct-2507 Q4_K_M | 8GB 最低 / 16GB 建議 | 小型預設本機 SQL 助理模型。Ollama 套件約 2.5GB。 |
| gpt-oss-20b | 16GB 最低 / 24GB 建議 | 更強的推理模型。OpenAI 列出總參數量 21B、每 token 啟用參數 3.6B、上下文 128K。 |
| Gemma 4 E2B | 8GB 最低 / 16GB 建議 | 小型 Google 系列模型。Google 列出 Q4 推理記憶體約 2.9GB;Ollama 套件可能更大。 |
模型 RAM 假設
| 晶片 | Qwen3-4B Q4_K_M8GB 最低 / 16GB 建議 | gpt-oss-20b16GB 最低 / 24GB 建議 | Gemma 4 E2B8GB 最低 / 16GB 建議 | 如何辨識晶片 / 二進位檔 |
|---|---|---|---|---|
| M1 | 18–28 | 5–10 | 16–28 | 顯示為 Apple M1。基本 M1 是低頻寬的方案層級。 |
| M1 Pro | 38–52 | 14–24 | 32–48 | 顯示為 Apple M1 Pro. |
| M1 Max | 50–70 | 24–38 | 45–65 | 顯示為 Apple M1 Max. |
| M1 Ultra | 60–85 | 32–50 | 55–80 | 顯示為 Apple M1 Ultra。通常是 Mac Studio。 |
| M2 | 25–35 | 8–14 | 22–34 | 顯示為 Apple M2. |
| M2 Pro | 40–55 | 16–28 | 35–50 | 顯示為 Apple M2 Pro. |
| M2 Max | 55–75 | 28–44 | 50–70 | 顯示為 Apple M2 Max. |
| M2 Ultra | 70–100 | 38–60 | 60–90 | 顯示為 Apple M2 Ultra。通常是 Mac Studio / Mac Pro。 |
| M3 | 28–40 | 9–16 | 24–38 | 顯示為 Apple M3. |
| M3 Pro | 35–50 | 14–22 | 32–48 | 顯示為 Apple M3 Pro. |
| M3 Max,低等級 | 55–75 | 24–38 | 50–70 | Apple M3 Max - 14 核心 CPU / 30 核心 GPU。 |
| M3 Max,高等級 | 65–90 | 32–48 | 60–85 | Apple M3 Max - 16 核心 CPU / 40 核心 GPU。 |
| M3 Ultra | 80–115 | 45–70 | 70–105 | 顯示為 Apple M3 Ultra。通常是 Mac Studio。 |
| M4 | 35–50 | 10–18 | 30–45 | 顯示為 Apple M4. |
| M4 Pro | 55–70 | 22–35 | 45–65 | 顯示為 Apple M4 Pro. |
| M4 Max,低等級 | 70–95 | 32–48 | 60–85 | Apple M4 Max - 14 核心 CPU / 32 核心 GPU。 |
| M4 Max,高等級 | 85–115 | 40–60 | 75–100 | Apple M4 Max - 16 核心 CPU / 40 核心 GPU。 |
| M5 | 45–60 | 14–24 | 35–55 | 顯示為 Apple M5. |
| M5 Pro | 65–85 | 26–42 | 55–75 | 顯示為 Apple M5 Pro. |
| M5 Max,低等級 | 80–105 | 36–55 | 70–95 | Apple M5 Max - 18 核心 CPU / 32 核心 GPU。 |
| M5 Max,高等級 | 95–125 | 45–70 | 85–115 | Apple M5 Max - 18 核心 CPU / 40 核心 GPU。 |
各 Apple Silicon 晶片的預估產生速度(tokens/sec)
哪個模型,以及何時
合理的預設值、遇到疑難問題時的逃生出口,以及自動完成專屬的獨立通道。這是 規劃中的預設組合 - 它會和上述的本機執行階段整合一起推出。
Qwen3-4B - 預設
小巧、快速,用於結構描述搜尋和 SQL 草擬已經夠用。M1 到 M5 上都有合理的表現。這是規劃中的開箱即用預設。
Qwen3-4B-Instruct-2507 Q4_K_M
gpt-oss-20b——重量級選手
選用的「更強本機推理」模型:更難的 SQL 產生、複雜的結構描述推理、預存程序說明、多步驟除錯、程式碼審查、查詢改寫。速度較慢,也更吃 RAM。
gpt-oss-20b
Gemma 4 E2B - 替代方案
適合想要 Google 系列支援、多模態生態系整合,以及一個表現中等的較輕量推理選項的人。
Gemma 4 E2B
FIM 只做分內的事
做 不 用聊天/推理模型來草擬內嵌補全。自動完成跑的是專用 FIM/程式碼模型——延遲低得多。
Qwen2.5-Coder-1.5B Base Qwen2.5-Coder-3B Base
或者乾脆憑感覺挑一個
不想考慮模型名稱?選擇一種模式,SQLly 會自動處理其餘部分:
Fast → Qwen3-4B Balanced → Gemma 4 E2B Advanced → gpt-oss-20b Cloud → GPT-5.5 or other hosted model
安裝程式會顯示下載大小、所需記憶體,並即時估算 你的 晶片的即時估算,之後才會有任何東西寫入磁碟。
來源與參考資料
這些估計是把公開的模型規格與套件大小,配上務實的 Apple Silicon 記憶體頻寬縮放假設而來。
有用的參考資料
- Qwen3-4B-Instruct-2507 Q4_K_M 在 Ollama - ollama.com/library/qwen3:4b-instruct-2507-q4_K_M
- OpenAI gpt-oss 模型規格 - openai.com/index/introducing-gpt-oss
- Gemma 4 模型記憶體需求 - ai.google.dev/gemma/docs/core
- Gemma 4 Ollama 封裝清單 - ollama.com/library/gemma4
- GPT-5.5 OpenAI 公告 - openai.com/index/introducing-gpt-5-5
- GPT-5.5 非推理輸出速度參考 - artificialanalysis.ai/models/gpt-5-5-non-reasoning