Lokale KI-Modelle können Texte zusammenfassen, beim Strukturieren von Gedanken helfen, E-Mails vorformulieren und vieles mehr. Zwei offensichtliche Vorteile kommen dazu: Ein Abo braucht ihr für die Nutzung nicht. Und weil die Modelle komplett offline laufen, schickt ihr keine sensiblen Daten in die Clouds großer Unternehmen. Es gibt aber auch Nachteile: Wer ein lokales KI-Modell nutzen will, braucht je nach Umfang viel Speicherplatz und potente Hardware. Ein Mac mit M1-Prozessor oder einem neueren Chip kann aber schon ausreichen.

Denn mit den sogenannten Apple Foundation Models steht bereits ein LLM zur Verfügung, das Anfragen standardmäßig lokal beantwortet. Voraussetzung ist, dass auf dem Gerät Apple Intelligence eingerichtet wurde. Bei den Foundation Models handelt es sich im Prinzip um einen zentralen Unterbau von Apple Intelligence, also der KI-Lösung, die es etwa erlaubt, Pages-Dokumente oder E-Mails umzuformulieren oder zusammenzufassen. Mit macOS 27 (Golden Gate) lässt sich dieses lokale System-Modell jetzt ohne Drittanbieterlösung von Github direkt über das Terminal ansprechen. Alles, was ihr dafür braucht, ist ein Terminal-Fenster. Das öffnet ihr wahlweise über den App-Launcher im Dock, oder wenn ihr “Terminal” in die Spotlight-Suche eintippt.

Zum Start tippt ihr schlicht “fm” ins Terminal und bestätigt mit Enter. Bevor ihr wirklich loslegen könnt, müsst ihr eventuell noch den Nutzungsbedingungen zustimmen. Darauf werdet ihr in roter Schrift im Terminal hingewiesen. Um dem nachzukommen, tippt ihr

sudo fm license

ein. Zum Bestätigen müsst ihr dann noch euer Admin-Passwort für den Mac eingeben und zu guter Letzt das Wort “yes” eintippen. Die nötigen Informationen zum Durchlesen findet ihr direkt bei Apple.

Ist das erledigt, tippt wieder “fm” in die Kommandozeile. Jetzt seht ihr eine Auflistung möglicher Befehle. Zum Herumspielen ist vor allem Respond nützlich. Damit antwortet das Modell kurz und knapp auf einen Prompt. Damit es funktioniert, müsst ihr die Regeln kennen, denn anders als bei ChatGPT oder Claude könnt ihr eure Anfrage nicht einfach eintippen. Der Befehl im Terminal muss richtig aufgebaut sein. Tippt zunächst fm, dann Respond ein, und zum Schluss euren Prompt in Anführungszeichen – ohne sie kann der Befehl nicht gelesen werden. Ein fertiges Beispiel sieht so aus:

fm respond “Was ist Swift?”

Bestätigt danach die Eingabe mit Enter und das Modell liefert euch die Antwort. Allerdings kann es danach nicht mehr auf vorherige Anfragen zurückgreifen oder sich daran erinnern.

Top-Artikel

${content}

${custom_anzeige-badge} ${custom_tr-badge} ${section}

${title}

${custom_anzeige-badge} ${custom_tr-badge} ${section}

${title}

Natürlich ist es mühselig, jeden Prompt auf diese Art einzutippen. Ihr könnt alternativ einen Chat starten, in dem ihr fm chat eingebt. Dadurch verändert sich auch das Interface. Nun könnt ihr mit dem Modell kommunizieren wie mit einem Chatbot.

Mit dem Modell könnt ihr unter anderem Texte zusammenfassen, aber auch Fragen zu Texten stellen. Am einfachsten kopiert ihr sie dafür ins Terminal-Fenster. Mit dem richtigen Befehl ist es auch möglich, etwa Markdown-Dokumente an das LLM zu übergeben. Ein vollständiger Befehl dafür sieht zum Beispiel so aus:

cat ~/documents/test.md | fm respond “Fasse diesen Text zusammen.”

Wenn ihr euch mit dem Dateipfad nicht sicher seid, könnt ihr diesen aber auch einfach nach „cat“ aus dem Ordnerfenster ins Terminal ziehen.

Ähnlich funktioniert es auch mit Bildern.

In erster Linie ist wichtig zu wissen, dass Apple sich mit den Foundation Models vor allem an App-Entwickler richtet, die die Funktionen in ihre Apps einbauen wollen. Auf einer Übersichtsseite zeigt Apple, was innerhalb der jeweiligen App dann damit möglich gemacht wird. Neben der Zusammenfassung eines Textes können die Foundation Models etwa Daten daraus extrahieren, Texte bearbeiten oder eigene Texte erstellen. Das Unternehmen zeigt aber auch Grenzen auf. Bei Logikfragen, der Code-Generierung oder Mathe-Aufgaben kann das Modell ins Schwimmen kommen. Im üblichen Test gab das Modell an, dass das Wort „Erdbeere“ nur drei „E“ enthalte. In Wahrheit sind es aber natürlich vier.

Ebenfalls wichtig: Es handelt sich um ein kleines Modell. Auf einem Test-Macbook mit M1 Pro und 16 Gigabyte Arbeitsspeicher bietet es nur 4.096 Token, auf einem potenteren Gerät mit M5 Pro und 48 Gigabyte Speicher immerhin doppelt so viel. Der Umfang kann sich also unterscheiden. Aufs Limit wird auch euer Prompt angerechnet. Ist die Grenze erreicht, kann es zu Fehlermeldungen kommen. In unserem Test funktionierte es aber im Chat auch über die Grenze hinaus zuverlässig. Zudem halluziniert das Modell hin und wieder. Auf einem Screenshot der Notiz-App wollte es zum Beispiel eine Landschaft erkannt haben.

Und zum Schluss ist das Modell nicht zu verwechseln mit Siri AI. Apples neue Assistenz setzt neben den lokalen Modellen auf Cloud-Abfragen via Private Cloud Compute, ist also ungleich viel flexibler. Sie kann außerdem Anfragen direkt in Notizen oder Erinnerungen verwandeln. Das System-Model “lebt” dagegen zwar auf eurem Mac, kann eure Dateien aber nicht ohne Weiteres beeinflussen. Einmal den Download-Ordner aufräumen? Das ist ohne das passende Skript nicht möglich.

Für “normale” Nutzer ist das System-Model also vor allem eine Art kleines Easter-Egg, mit dem sich offline ein wenig herumspielen lässt. Grundsätzlich ist mit der KI im Terminal noch viel mehr möglich. Wer das Modell wirklich sinnvoll nutzen will, muss sich allerdings die Zeit nehmen und sich mit den Eigenheiten des Terminals, Shells, Python und JSON vertraut machen.

Startseite