AI† 放在你想要的地方。
如果你想要的话。
SQLly 的每个模型都运行在 在你的机器上,按你的方式来 - 或者在云端,如果 你 由你决定。在你拨动开关之前,什么都不会运行。下面会确切说明什么在哪里运行,以及你这颗芯片用起来该有多快。坦率的状态说明:这套技术栈 现已推出 - 下面的每张卡都标注了它实际所在的位置。
所有功能默认关闭
默认情况下, 所有 AI† 功能都处于关闭状态。没有后台下载,没有悄悄进行的推理,也没有令牌离开你的笔记本。每个功能都由你逐个选择启用——用哪个引擎也由你挑。 来吧,扳一下开关。
四个开关,零惊喜
每项功能都相互独立。值得用的就开启,其余保持关闭。
内联补全,设备端
完全在设备上运行的中间填充自动补全,背后是 Qwen。它能同时看到光标之前 和 光标之后的文本,因此补全能贴合上下文,而不是盲目地向前猜。
SELECT o.id, o.total▌ ⟶ , o.created_at FROM orders o WHERE …
为专用代码模型调优,延迟更低——而不是套着补全外壳的聊天模型。
Qwen2.5-Coder · 本地智能体聊天 - 由你决定
运行代理 完全在设备上 为了完全隐私,或将其指向 云 当你需要最大马力时。相同接口,每次请求可自行选择。
下表列出了每款 Apple Silicon 芯片的设备端性能估算——让你知道“本地”用起来是什么感觉 在此之前 做决定之前。
设备端或云端 · 由你决定本地向量数据库
本地向量数据库为 AI 提速† 操作——语义模式搜索、相似性查找和检索——完全不需要向任何人的服务器发送嵌入请求。
嵌入向量只保存在磁盘上,就在你自己的机器里实体卡片与智能缓存
SQLly 构建 所有 DDL 的本地实体卡片 这样你一发问,模型手上就有浓缩的、预先嚼碎的上下文。再配上 高级缓存失效 只刷新实际更改的部分。
- 每个对象的实体卡片 - 表、视图、存储过程、函数。
- 精准失效 - 过期条目即时失效,热点路径始终保持温热。
论速度, 你的 Mac 用起来有多流畅?
在 Apple Silicon 上运行本地模型的实际生成速度估算。数值为 生成 tokens/秒 - 不是提示词摄取速度。
为什么数据只有 Mac 的? SQLly 在 macOS、Windows 和 Linux 上共用同一个代码库——但这头猪日常用的是一台 配备 128GB 内存的 M4 Max MacBook Pro,所以他能诚实测量的只有 Apple Silicon。我们也在 Windows 和 Linux 上测试; 分享你真实场景中的令牌生成数据 我们会在这里直接发布。
实际性能取决于推理运行时、量化、上下文长度、设置、统一内存压力、散热和模型封装。这些数字只是实打实的估算,并非保证。
云端参考(“快速云感”): Artificial Analysis 将 GPT-5.5 非推理 API 输出约为 58 token/秒,其低/非推理区间大约为 58–100 令牌/秒。聊天界面里的体感速度取决于路由、流式传输、推理模式和负载——所以这里给的是体感参考,不是基准测试目标。
| 模型 | 实际内存需求 | 备注 |
|---|---|---|
| Qwen3-4B-Instruct-2507 Q4_K_M | 8GB 最小 / 16GB 推荐 | 默认的本地小型 SQL 助手模型。Ollama 包约 2.5GB。 |
| gpt-oss-20b | 最低 16GB / 建议 24GB | 更强的推理模型。OpenAI 公布总参数量 21B,每 token 激活参数 3.6B,上下文 128K。 |
| Gemma 4 E2B | 8GB 最小 / 16GB 推荐 | 小型 Google 系列模型。Google 列出 Q4 推理内存约 2.9GB;Ollama 包可能更大。 |
模型 RAM 假设
| 芯片 | Qwen3-4B Q4_K_M8GB 最小 / 16GB 推荐 | gpt-oss-20b最低 16GB / 建议 24GB | Gemma 4 E2B8GB 最小 / 16GB 推荐 | 如何识别芯片 / 分档 |
|---|---|---|---|---|
| M1 | 18–28 | 5–10 | 16–28 | 显示为 Apple M1。基础版 M1 是低带宽档位。 |
| M1 Pro | 38–52 | 14–24 | 32–48 | 显示为 Apple M1 Pro. |
| M1 Max | 50–70 | 24–38 | 45–65 | 显示为 Apple M1 Max. |
| M1 Ultra | 60–85 | 32–50 | 55–80 | 显示为 Apple M1 Ultra。通常是 Mac Studio。 |
| M2 | 25–35 | 8–14 | 22–34 | 显示为 Apple M2. |
| M2 Pro | 40–55 | 16–28 | 35–50 | 显示为 Apple M2 Pro. |
| M2 Max | 55–75 | 28–44 | 50–70 | 显示为 Apple M2 Max. |
| M2 Ultra | 70–100 | 38–60 | 60–90 | 显示为 Apple M2 Ultra。通常是 Mac Studio / Mac Pro。 |
| M3 | 28–40 | 9–16 | 24–38 | 显示为 Apple M3. |
| M3 Pro | 35–50 | 14–22 | 32–48 | 显示为 Apple M3 Pro. |
| M3 Max,低规格版 | 55–75 | 24–38 | 50–70 | Apple M3 Max - 14 核 CPU / 30 核 GPU。 |
| M3 Max,高规格版 | 65–90 | 32–48 | 60–85 | Apple M3 Max - 16 核 CPU / 40 核 GPU。 |
| M3 Ultra | 80–115 | 45–70 | 70–105 | 显示为 Apple M3 Ultra。通常是 Mac Studio。 |
| M4 | 35–50 | 10–18 | 30–45 | 显示为 Apple M4. |
| M4 Pro | 55–70 | 22–35 | 45–65 | 显示为 Apple M4 Pro. |
| M4 Max,低规格版 | 70–95 | 32–48 | 60–85 | Apple M4 Max - 14 核 CPU / 32 核 GPU。 |
| M4 Max,高规格版 | 85–115 | 40–60 | 75–100 | Apple M4 Max - 16 核 CPU / 40 核 GPU。 |
| M5 | 45–60 | 14–24 | 35–55 | 显示为 Apple M5. |
| M5 Pro | 65–85 | 26–42 | 55–75 | 显示为 Apple M5 Pro. |
| M5 Max,低规格版 | 80–105 | 36–55 | 70–95 | Apple M5 Max - 18 核 CPU / 32 核 GPU。 |
| M5 Max,高规格版 | 95–125 | 45–70 | 85–115 | Apple M5 Max - 18 核 CPU / 40 核 GPU。 |
每个 Apple Silicon 芯片预估的每秒生成 token 数
用哪个模型,什么时候用
合理的默认值、应对棘手问题的应急出口,以及一条独立的自动补全通道。这就是 计划中的默认阵容 - 它与上述本地运行时集成一同发布。
Qwen3-4B - 默认选项
小巧、快速,足以胜任模式搜索和 SQL 草稿编写。在 M1 到 M5 上表现合理。这是计划中的开箱即用默认选项。
Qwen3-4B-Instruct-2507 Q4_K_M
gpt-oss-20b - 重量级选手
可选的“更好的本地推理”模型:用于更难的 SQL 生成、复杂模式推理、存储过程解释、多步调试、代码审查和查询重写。速度较慢,也更吃内存。
gpt-oss-20b
Gemma 4 E2B - 替代选项
适合你想要 Google 家族支持、多模态生态对齐,以及一个表现居中的更小推理选项的时候。
Gemma 4 E2B
FIM 不越界
绝对 不 用聊天/推理模型来草拟内联补全。自动补全走的是专用的 FIM/代码模型——延迟低得多。
Qwen2.5-Coder-1.5B Base Qwen2.5-Coder-3B Base
或者干脆凭感觉选一个
不想纠结模型名字?选一个模式,剩下的交给 SQLly:
Fast → Qwen3-4B Balanced → Gemma 4 E2B Advanced → gpt-oss-20b Cloud → GPT-5.5 or other hosted model
安装程序会显示下载大小、所需内存以及实时估算的 你的 标识,在任何内容写入磁盘之前。
来源与参考
这些估算结合了已发布的模型规格和软件包大小,以及实际的 Apple Silicon 内存带宽缩放假设。
有用的参考资料
- Ollama 上的 Qwen3-4B-Instruct-2507 Q4_K_M - ollama.com/library/qwen3:4b-instruct-2507-q4_K_M
- OpenAI gpt-oss 模型规格 - openai.com/index/introducing-gpt-oss
- Gemma 4 模型内存要求 - ai.google.dev/gemma/docs/core
- Gemma 4 Ollama 软件包列表 - ollama.com/library/gemma4
- GPT-5.5 OpenAI 发布公告 - openai.com/index/introducing-gpt-5-5
- GPT-5.5 非推理输出速度参考 - artificialanalysis.ai/models/gpt-5-5-non-reasoning