// 硅,而不是云

AI† 放在你想要的地方。
如果你想要的话。

SQLly 的每个模型都运行在 在你的机器上,按你的方式来 - 或者在云端,如果 你 由你决定。在你拨动开关之前,什么都不会运行。下面会确切说明什么在哪里运行,以及你这颗芯片用起来该有多快。坦率的状态说明:这套技术栈 现已推出 - 下面的每张卡都标注了它实际所在的位置。

所有功能默认关闭

默认情况下, 所有 AI† 功能都处于关闭状态。没有后台下载,没有悄悄进行的推理,也没有令牌离开你的笔记本。每个功能都由你逐个选择启用——用哪个引擎也由你挑。 来吧,扳一下开关。

// 控制

四个开关,零惊喜

每项功能都相互独立。值得用的就开启,其余保持关闭。

⌨️
默认关闭 FIM · 自动补全 ◐ 进行中

内联补全,设备端

完全在设备上运行的中间填充自动补全,背后是 Qwen。它能同时看到光标之前 和 光标之后的文本,因此补全能贴合上下文,而不是盲目地向前猜。

SELECT o.id, o.total▌
      ⟶ , o.created_at  FROM orders o WHERE …

为专用代码模型调优,延迟更低——而不是套着补全外壳的聊天模型。

Qwen2.5-Coder · 本地
💬
默认关闭 智能体聊天 ◐ 进行中

智能体聊天 - 由你决定

运行代理 完全在设备上 为了完全隐私,或将其指向 云 当你需要最大马力时。相同接口,每次请求可自行选择。

下表列出了每款 Apple Silicon 芯片的设备端性能估算——让你知道“本地”用起来是什么感觉 在此之前 做决定之前。

设备端或云端 · 由你决定
🧮
默认关闭 高级 · 设备端 ○ 计划中

本地向量数据库

本地向量数据库为 AI 提速† 操作——语义模式搜索、相似性查找和检索——完全不需要向任何人的服务器发送嵌入请求。

嵌入向量只保存在磁盘上,就在你自己的机器里
🗃️
默认关闭 高级 · 设备端 ◐ 进行中

实体卡片与智能缓存

SQLly 构建 所有 DDL 的本地实体卡片 这样你一发问,模型手上就有浓缩的、预先嚼碎的上下文。再配上 高级缓存失效 只刷新实际更改的部分。

  • 每个对象的实体卡片 - 表、视图、存储过程、函数。
  • 精准失效 - 过期条目即时失效,热点路径始终保持温热。
// Mac 上的测试数据

论速度, 你的 Mac 用起来有多流畅?

在 Apple Silicon 上运行本地模型的实际生成速度估算。数值为 生成 tokens/秒 - 不是提示词摄取速度。

为什么数据只有 Mac 的? SQLly 在 macOS、Windows 和 Linux 上共用同一个代码库——但这头猪日常用的是一台 配备 128GB 内存的 M4 Max MacBook Pro,所以他能诚实测量的只有 Apple Silicon。我们也在 Windows 和 Linux 上测试; 分享你真实场景中的令牌生成数据 我们会在这里直接发布。

实际性能取决于推理运行时、量化、上下文长度、设置、统一内存压力、散热和模型封装。这些数字只是实打实的估算,并非保证。

云端参考(“快速云感”): Artificial Analysis 将 GPT-5.5 非推理 API 输出约为 58 token/秒,其低/非推理区间大约为 58–100 令牌/秒。聊天界面里的体感速度取决于路由、流式传输、推理模式和负载——所以这里给的是体感参考,不是基准测试目标。

模型 实际内存需求 备注
Qwen3-4B-Instruct-2507 Q4_K_M 8GB 最小 / 16GB 推荐 默认的本地小型 SQL 助手模型。Ollama 包约 2.5GB。
gpt-oss-20b 最低 16GB / 建议 24GB 更强的推理模型。OpenAI 公布总参数量 21B,每 token 激活参数 3.6B,上下文 128K。
Gemma 4 E2B 8GB 最小 / 16GB 推荐 小型 Google 系列模型。Google 列出 Q4 推理内存约 2.9GB;Ollama 包可能更大。

模型 RAM 假设

芯片 Qwen3-4B Q4_K_M8GB 最小 / 16GB 推荐 gpt-oss-20b最低 16GB / 建议 24GB Gemma 4 E2B8GB 最小 / 16GB 推荐 如何识别芯片 / 分档
M118–285–1016–28显示为 Apple M1。基础版 M1 是低带宽档位。
M1 Pro38–5214–2432–48显示为 Apple M1 Pro.
M1 Max50–7024–3845–65显示为 Apple M1 Max.
M1 Ultra60–8532–5055–80显示为 Apple M1 Ultra。通常是 Mac Studio。
M225–358–1422–34显示为 Apple M2.
M2 Pro40–5516–2835–50显示为 Apple M2 Pro.
M2 Max55–7528–4450–70显示为 Apple M2 Max.
M2 Ultra70–10038–6060–90显示为 Apple M2 Ultra。通常是 Mac Studio / Mac Pro。
M328–409–1624–38显示为 Apple M3.
M3 Pro35–5014–2232–48显示为 Apple M3 Pro.
M3 Max,低规格版55–7524–3850–70Apple M3 Max - 14 核 CPU / 30 核 GPU。
M3 Max,高规格版65–9032–4860–85Apple M3 Max - 16 核 CPU / 40 核 GPU。
M3 Ultra80–11545–7070–105显示为 Apple M3 Ultra。通常是 Mac Studio。
M435–5010–1830–45显示为 Apple M4.
M4 Pro55–7022–3545–65显示为 Apple M4 Pro.
M4 Max,低规格版70–9532–4860–85Apple M4 Max - 14 核 CPU / 32 核 GPU。
M4 Max,高规格版85–11540–6075–100Apple M4 Max - 16 核 CPU / 40 核 GPU。
M545–6014–2435–55显示为 Apple M5.
M5 Pro65–8526–4255–75显示为 Apple M5 Pro.
M5 Max,低规格版80–10536–5570–95Apple M5 Max - 18 核 CPU / 32 核 GPU。
M5 Max,高规格版95–12545–7085–115Apple M5 Max - 18 核 CPU / 40 核 GPU。

每个 Apple Silicon 芯片预估的每秒生成 token 数

// 挑选你的选手

用哪个模型,什么时候用

合理的默认值、应对棘手问题的应急出口,以及一条独立的自动补全通道。这就是 计划中的默认阵容 - 它与上述本地运行时集成一同发布。

⚡
默认 · 快速

Qwen3-4B - 默认选项

小巧、快速,足以胜任模式搜索和 SQL 草稿编写。在 M1 到 M5 上表现合理。这是计划中的开箱即用默认选项。

Qwen3-4B-Instruct-2507 Q4_K_M
🧠
高级 · 本地推理

gpt-oss-20b - 重量级选手

可选的“更好的本地推理”模型:用于更难的 SQL 生成、复杂模式推理、存储过程解释、多步调试、代码审查和查询重写。速度较慢,也更吃内存。

gpt-oss-20b
🔷
均衡 · Google 系列

Gemma 4 E2B - 替代选项

适合你想要 Google 家族支持、多模态生态对齐,以及一个表现居中的更小推理选项的时候。

Gemma 4 E2B
⌨️
自动补全各自独立

FIM 不越界

绝对 不 用聊天/推理模型来草拟内联补全。自动补全走的是专用的 FIM/代码模型——延迟低得多。

Qwen2.5-Coder-1.5B Base
Qwen2.5-Coder-3B Base
🎚️
性能模式 ○ 计划中

或者干脆凭感觉选一个

不想纠结模型名字?选一个模式,剩下的交给 SQLly:

Fast      → Qwen3-4B
Balanced  → Gemma 4 E2B
Advanced  → gpt-oss-20b
Cloud     → GPT-5.5 or other hosted model

安装程序会显示下载大小、所需内存以及实时估算的 你的 标识,在任何内容写入磁盘之前。

// 展示工作过程

来源与参考

这些估算结合了已发布的模型规格和软件包大小,以及实际的 Apple Silicon 内存带宽缩放假设。

有用的参考资料

// 你的电脑,你说了算

把智能带回家给小猪

默认关闭。开启凭你选择。设备端是设计使然。唯一的 AI† 会先征求许可的人工智能。

⬇ 免费下载 SQLly
† “AI” 是那些懒得说机器学习的人的注册商标。