// Silizium, nicht die Cloud

KI† wo du sie willst.
Wenn du sie willst.

Jedes Modell in SQLly läuft auf deinem Rechner, zu deinen Bedingungen - oder in der Cloud, wenn das entscheidest. Nichts läuft, bis du den Schalter umlegst. Unten: genau, was wo läuft und wie schnell sich dein konkreter Chip anfühlen sollte. Ehrlicher Hinweis zum Stand: Dieser Stack ist jetzt ausgerollt - jede Karte unten trägt ein Badge, das ihren tatsächlichen Stand zeigt.

Alles wird im Aus-Zustand ausgeliefert

Standardmäßig, sind alle KI-† Funktionen ausgeschaltet. Keine Downloads im Hintergrund, keine stille Inferenz, keine Token, die deinen Laptop verlassen. Du aktivierst Funktion für Funktion - und bestimmst selbst, auf welcher Engine jede läuft. Na los, schalt sie ein.

// die Steuerelemente

Vier Schalter, null Überraschungen

Jede Funktion ist unabhängig. Schalt ein, was sich lohnt, und lass den Rest aus.

⌨️
standardmäßig deaktiviert FIM · Autovervollständigung ◐ in Bearbeitung

Inline-Vervollständigung, auf dem Gerät

Fill-in-the-Middle-Autovervollständigung, vollständig auf dem Gerät angetrieben von Qwen. Es sieht den Code vor und nach deinem Cursor, sodass Vervollständigungen im Kontext landen, statt blind nach vorne zu raten.

SELECT o.id, o.total▌
      ⟶ , o.created_at  FROM orders o WHERE …

Optimiert für niedrige Latenz auf einem dedizierten Code-Modell - kein Chat-Modell mit Vervollständigungs-Hut.

Qwen2.5-Coder · lokal
💬
standardmäßig deaktiviert Agenten-Chat ◐ in Bearbeitung

Agenten-Chat - deine Entscheidung

Führe den Agenten aus vollständig auf dem Gerät für totale Privatsphäre, oder richte ihn auf die Cloud wenn du maximale Leistung willst. Gleiche Schnittstelle, deine Wahl pro Anfrage.

Leistungsschätzungen pro Apple-Silicon-Chip direkt auf dem Gerät findest du in der Tabelle weiter unten – so weißt du, wie sich „lokal“ anfühlt vor du committest.

auf dem Gerät oder in der Cloud · Sie entscheiden
🧮
standardmäßig deaktiviert fortgeschritten · auf dem Gerät ○ geplant

Lokale Vektor-Datenbank

Eine lokale Vektordatenbank für schnelle KI† Operationen – semantische Schema-Suche, Ähnlichkeitssuchen und Abruf – ohne einen einzigen Embedding-Roundtrip zu irgendeinem Server.

Embeddings bleiben auf der Festplatte, auf deinem Rechner
🗃️
standardmäßig deaktiviert fortgeschritten · auf dem Gerät ◐ in Bearbeitung

Entity-Karten & intelligenter Cache

SQLly erstellt lokale Entity-Karten für alle DDL sodass das Modell im Moment der Frage dichten, vorgearbeiteten Kontext hat. Kombiniere das mit erweiterter Cache-Invalidierung die nur das aktualisiert, was sich tatsächlich geändert hat.

  • Entity-Karten für jedes Objekt - Tabellen, Views, Stored Procs, Funktionen.
  • Chirurgische Invalidierung - veraltete Einträge verschwinden, heiße Pfade bleiben warm.
// die Zahlen, auf dem Mac

Wie schnell wird dein Mac-Gefühl?

Praktische Schätzungen der Generierungsgeschwindigkeit für lokale Modelle, die auf Apple Silicon laufen. Zahlen sind Generierungs-Tokens/s - keine Prompt-Ingestion.

Warum nur Mac-Zahlen? SQLly läuft auf macOS, Windows und Linux aus einer Codebasis - aber das Schwein nutzt täglich ein M4 Max MacBook Pro mit 128GB RAM, daher kann er Apple Silicon ehrlich messen. Wir testen auch auf Windows und Linux; Teile deine realen Zahlen zur Token-Generierung und wir werden sie direkt hier veröffentlichen.

Die tatsächliche Leistung hängt von der Inferenzlaufzeit, der Quantisierung, der Kontextgröße, den Einstellungen, dem Unified-Memory-Druck, der Thermik und der Modellverpackung ab. Behandle diese Werte als ehrliche Richtwerte, nicht als Garantien.

Cloud-Referenz (das „schnelle Cloud-Gefühl“): Artificial Analysis bewertet GPT-5.5 Ausgabe der API ohne Reasoning bei etwa 58 Tokens/Sekunde, mit einem Bereich für niedriges bzw. kein Reasoning von ungefähr 58–100 T/s. Die wahrgenommene Geschwindigkeit in einer Chat-Oberfläche hängt von Routing, Streaming, Reasoning-Modus und Last ab - das ist also eine grobe Orientierung, kein Benchmark-Ziel.

Modell Praktischer RAM Notizen
Qwen3-4B-Instruct-2507 Q4_K_M 8GB min. / 16GB empfohlen Kleines lokales Standardmodell für den SQL-Assistenten. Ollama-Paket ~2,5 GB.
gpt-oss-20b 16GB min. / 24GB empfohlen Stärkeres Reasoning-Modell. OpenAI nennt 21B Gesamtparameter, 3,6B aktive Parameter pro Token, 128K Kontext.
Gemma 4 E2B 8GB min. / 16GB empfohlen Kleines Modell der Google-Familie. Google nennt ~2,9 GB Q4-Inferenzspeicher; das Ollama-Paket kann größer sein.

Modell-RAM-Annahmen

Chip Qwen3-4B Q4_K_M8GB min. / 16GB empfohlen gpt-oss-20b16GB min. / 24GB empfohlen Gemma 4 E2B8GB min. / 16GB empfohlen Wie du Chip / Bin identifizierst
M118–285–1016–28Wird angezeigt als Apple M1. Base M1 ist die Stufe mit niedriger Bandbreite.
M1 Pro38–5214–2432–48Wird angezeigt als Apple M1 Pro.
M1 Max50–7024–3845–65Wird angezeigt als Apple M1 Max.
M1 Ultra60–8532–5055–80Wird angezeigt als Apple M1 Ultra. Normalerweise Mac Studio.
M225–358–1422–34Wird angezeigt als Apple M2.
M2 Pro40–5516–2835–50Wird angezeigt als Apple M2 Pro.
M2 Max55–7528–4450–70Wird angezeigt als Apple M2 Max.
M2 Ultra70–10038–6060–90Wird angezeigt als Apple M2 Ultra. Normalerweise Mac Studio / Mac Pro.
M328–409–1624–38Wird angezeigt als Apple M3.
M3 Pro35–5014–2232–48Wird angezeigt als Apple M3 Pro.
M3 Max, niedrigeres Bin55–7524–3850–70Apple M3 Max - 14-Kern-CPU / 30-Kern-GPU.
M3 Max, höheres Bin65–9032–4860–85Apple M3 Max - 16-Kern-CPU / 40-Kern-GPU.
M3 Ultra80–11545–7070–105Wird angezeigt als Apple M3 Ultra. Normalerweise Mac Studio.
M435–5010–1830–45Wird angezeigt als Apple M4.
M4 Pro55–7022–3545–65Wird angezeigt als Apple M4 Pro.
M4 Max, niedrigeres Bin70–9532–4860–85Apple M4 Max - 14-Kern-CPU / 32-Kern-GPU.
M4 Max, höheres Bin85–11540–6075–100Apple M4 Max - 16-Kern-CPU / 40-Kern-GPU.
M545–6014–2435–55Wird angezeigt als Apple M5.
M5 Pro65–8526–4255–75Wird angezeigt als Apple M5 Pro.
M5 Max, niedrigeres Bin80–10536–5570–95Apple M5 Max - 18-Kern-CPU / 32-Kern-GPU.
M5 Max, höheres Bin95–12545–7085–115Apple M5 Max - 18-Kern-CPU / 40-Kern-GPU.

geschätzte Generierungstokens/Sekunde je Apple-Silicon-Chip

// wähl deinen Kämpfer

Welches Modell und wann

Sinnvolle Standardwerte, ein Ausweg für knifflige Probleme und eine eigene Spur für die Autovervollständigung. Das ist die geplante Standardaufstellung - es erscheint zusammen mit der oben genannten lokalen Laufzeitintegration.

⚡
Standard · schnell

Qwen3-4B - der Standard

Klein, schnell und gut genug für Schema-Suche und SQL-Entwurf. Auf M1 bis M5 ordentlich. Das ist der geplante Standard ab Werk.

Qwen3-4B-Instruct-2507 Q4_K_M
🧠
fortgeschritten · lokales Reasoning

gpt-oss-20b – das Schwergewicht

Das optionale Modell für „besseres lokales Schlussfolgern“: anspruchsvollere SQL-Generierung, komplexes Schema-Reasoning, Erklärung gespeicherter Prozeduren, mehrstufiges Debugging, Code-Review, Abfrage-Umschreibungen. Langsamer, hungriger nach RAM.

gpt-oss-20b
🔷
ausgewogen · Google-Familie

Gemma 4 E2B - die Alternative

Wenn du Unterstützung aus der Google-Familie willst, Anbindung an das multimodale Ökosystem und eine kleinere Reasoning-Option im Mittelfeld.

Gemma 4 E2B
⌨️
Autovervollständigung getrennt halten

FIM bleibt in seiner Spur

Tun nicht entwerfen Inline-Vervollständigungen mit einem Chat-/Reasoning-Modell. Die Autovervollständigung läuft mit einem dedizierten FIM/Code-Modell - deutlich geringere Latenz.

Qwen2.5-Coder-1.5B Base
Qwen2.5-Coder-3B Base
🎚️
Leistungsmodus ○ geplant

Oder such dir einfach einen Vibe aus

Du willst nicht über Modellnamen nachdenken? Wähle einen Modus, und SQLly erledigt den Rest:

Fast      → Qwen3-4B
Balanced  → Gemma 4 E2B
Advanced  → gpt-oss-20b
Cloud     → GPT-5.5 or other hosted model

Der Installer zeigt die Downloadgröße, den benötigten RAM und eine Live-Schätzung für dein Chip, bevor irgend etwas auf der Platte landet.

// zeig deine Arbeit

Quellen & Referenzen

Diese Schätzungen kombinieren veröffentlichte Modellspezifikationen und Paketgrößen mit praktischen Annahmen zur Skalierung der Speicherbandbreite auf Apple Silicon.

Nützliche Referenzen

// dein Laptop, deine Regeln

Bring die Intelligenz heim zum Schwein

Standardmäßig aus. Auf Wunsch an. Aus Prinzip auf dem Gerät. Die einzige KI† die zuerst um Erlaubnis fragt.

⬇ SQLly herunterladen - es ist kostenlos
† „KI“ ist ein eingetragenes Warenzeichen von Leuten, die sich nicht die Mühe machen, Maschinelles Lernen zu sagen.