ModellquantisierungPrismMLs Bonsai 27B nutzt 1-Bit- und ternäre Qwen3.6-Builds, um lokale KI auf kleinere Geräte zu bringenDer interessante Teil ist nicht eine Benchmark-Krone, sondern was aggressive Quantisierung auf Laptops und Smartphones praktisch möglich machen könnte.PrismMLQwen3.6ModellquantisierungOn-Device-KINyx·Jul 16, 2026·5 min readStory lesen
02Apple SiliconGerücht zur Verpackung des Apple A20 Pro zeigt: KI ist ein BandbreitenproblemApple A20 ProWMCM-PackagingInFO-PoPLPDDR5XTheo·Jul 14, 2026·5 min readStory lesen
03Apple-ChipApples gemeldeter Wechsel des A20 Pro von InFO-PoP zeigt: KI braucht kühlere Bandbreite, nicht nur RechenleistungA20 ProInFO-PoPWMCMTSMCTheo·Jul 7, 2026·5 min readStory lesen
04Künstliche Intelligenz auf dem Gerät ## Was ist KI auf dem Gerät? Künstliche Intelligenz auf dem Gerät (englisch: *on-device AI*) bedeutet, dass KI-Berechnungen direkt auf einem lokalen Gerät – wie einem Smartphone, Tablet oder Laptop – durchgeführt werden, anstatt Daten an einen entfernten Server in der Cloud zu senden. Stell dir vor, du fragst einen Sprachassistenten nach dem Wetter. Bei Cloud-KI reist deine Stimme als Datei über das Internet zu einem leistungsstarken Server, der sie verarbeitet und die Antwort zurückschickt. Bei KI auf dem Gerät geschieht alles direkt in deiner Hand – kein Umweg nötig. ## Wie funktioniert das? Moderne Geräte enthalten spezialisierte Chips, die für KI-Aufgaben optimiert sind: - **CPU (Central Processing Unit)** – der Hauptprozessor, der allgemeine Aufgaben übernimmt - **GPU (Graphics Processing Unit)** – ursprünglich für Grafik entwickelt, aber sehr gut geeignet für parallele KI-Berechnungen - **NPU (Neural Processing Unit)** – ein speziell für KI entwickelter Chip, der maschinelles Lernen besonders effizient ausführt Diese Chips arbeiten zusammen, um KI-Modelle lokal auszuführen. Die Modelle müssen jedoch oft verkleinert und optimiert werden, damit sie auf die begrenzte Rechenleistung und den Speicher eines Geräts passen – ein Prozess, der als *Modellkomprimierung* bezeichnet wird. ## Vorteile von KI auf dem Gerät - **Datenschutz** – Deine persönlichen Daten verlassen das Gerät nicht, was deine Privatsphäre schützt - **Geschwindigkeit** – Keine Verzögerung durch Internetübertragung; Antworten kommen in Echtzeit - **Offline-Nutzung** – Die KI funktioniert auch ohne Internetverbindung - **Geringerer Energieverbrauch** – Keine energieintensiven Rechenzentren erforderlich - **Zuverlässigkeit** – Kein Ausfall bei schlechter Netzverbindung ## Nachteile und Einschränkungen - **Begrenzte Rechenleistung** – Geräte sind weniger leistungsfähig als Cloud-Server, weshalb komplexe Modelle möglicherweise nicht vollständig ausgeführt werden können - **Speicherbeschränkungen** – KI-Modelle können sehr groß sein; auf Geräten ist der verfügbare Speicher begrenzt - **Akkuverbrauch** – Intensive KI-Berechnungen können den Akku schneller entleeren - **Aktualisierungen** – Modelle müssen regelmäßig aktualisiert werden, was Speicherplatz und Downloads erfordert ## Anwendungsbeispiele im Alltag 1. **Gesichtserkennung** – Dein Telefon erkennt dein Gesicht zum Entsperren, ohne ein Foto in die Cloud zu senden 2. **Tastaturvorhersage** – Dein Smartphone schlägt das nächste Wort vor, während du tippst 3. **Kamerafunktionen** – Echtzeit-Porträtmodus, Szenerkennung und Bildverbesserung 4. **Spracherkennung** – Diktierfunktionen, die ohne Internetverbindung funktionieren 5. **Übersetzung** – Offline-Sprachübersetzung direkt auf dem Gerät ## KI auf dem Gerät vs. Cloud-KI | Merkmal | KI auf dem Gerät | Cloud-KI | |---|---|---| | Datenschutz | Hoch | Geringer | | Geschwindigkeit | Sehr schnell | Abhängig vom Netz | | Modellgröße | Begrenzt | Unbegrenzt | | Offline-Nutzung | Ja | Nein | | Rechenleistung | Begrenzt | Sehr hoch | ## Die Zukunft von KI auf dem Gerät Die Technologie entwickelt sich rasant. Chip-Hersteller wie Apple, Qualcomm und Google investieren stark in leistungsfähigere NPUs. Gleichzeitig werden KI-Modelle durch neue Techniken wie *Quantisierung* und *Pruning* immer kompakter, ohne dabei deutlich an Leistung zu verlieren. In wenigen Jahren könnte KI auf dem Gerät so leistungsfähig sein, dass sie für die meisten Alltagsaufgaben vollständig ausreicht – und Cloud-KI nur noch für besonders anspruchsvolle Aufgaben benötigt wird.Pixi hält deinen Kamera-Feed aus der Cloud heraus. Das ist eine Designentscheidung, die es wert ist, hinterfragt zu werden.PixiAugmented-Reality-MessagingOn-Device-KIiMessageRiver·Jun 27, 2026·7 min readStory lesen
05On-device Sprachmodell-Inferenz ## Was ist On-device Sprachmodell-Inferenz? On-device Sprachmodell-Inferenz bedeutet, dass ein KI-Sprachmodell direkt auf einem lokalen Gerät – wie einem Smartphone, Laptop oder eingebetteten System – ausgeführt wird, anstatt Anfragen an einen entfernten Cloud-Server zu senden. Das Gerät selbst verarbeitet den Text (oder andere Eingaben), erzeugt Antworten und führt alle Berechnungen durch, ohne eine Internetverbindung zu benötigen. Stell dir vor, du hast einen persönlichen Assistenten, der vollständig in deinem Gerät lebt: Er schläft nie, braucht keine Verbindung nach Hause und teilt deine Gespräche mit niemandem. ## Warum ist das wichtig? Cloud-basierte Modelle sind leistungsstark, aber sie haben Nachteile: - Deine Eingaben verlassen dein Gerät und können protokolliert oder eingesehen werden - Eine zuverlässige Internetverbindung ist erforderlich - Jede Anfrage verursacht Latenz durch Netzwerkverzögerungen - Der Betrieb großer Server verbraucht erheblich Energie On-device Inferenz löst diese Probleme, indem die Verarbeitung lokal gehalten wird. ## Kernkonzepte ### Modellkomprimierung Große Sprachmodelle (LLMs) haben Milliarden von Parametern und passen normalerweise nicht auf Consumer-Hardware. Um sie auf Geräten einsetzbar zu machen, nutzen Forscher mehrere Techniken: - **Quantisierung** – Reduzierung der Präzision der Modellgewichte (z. B. von 32-Bit-Gleitkommazahlen auf 4-Bit-Ganzzahlen), wodurch Speicher gespart und Berechnungen beschleunigt werden - **Pruning** – Entfernung von Gewichten oder ganzen Neuronen, die wenig zum Output beitragen - **Destillation** – Training eines kleineren „Schüler"-Modells, das das Verhalten eines größeren „Lehrer"-Modells nachahmt ### Hardware-Beschleuniger Moderne Geräte besitzen spezialisierte Chips, die KI-Workloads effizient bewältigen: - **GPU (Graphics Processing Unit)** – Ursprünglich für Grafik entwickelt, aber hervorragend geeignet für die parallelen Matrixberechnungen, die neuronale Netze benötigen - **NPU / Neural Engine** – Dedizierte Prozessoren, die für Tensor-Operationen optimiert sind (z. B. Apple Neural Engine, Qualcomm Hexagon) - **CPU-SIMD-Erweiterungen** – Instruktionssätze wie ARM NEON oder x86 AVX, die mehrere Datenpunkte gleichzeitig verarbeiten ### Inferenz-Engines Eine Inferenz-Engine ist die Softwareschicht, die ein trainiertes Modell nimmt und es auf einem bestimmten Gerät ausführt. Gängige Beispiele: - **llama.cpp** – Hochoptimierte C/C++-Bibliothek für CPU- und GPU-Inferenz - **ONNX Runtime** – Plattformübergreifende Engine, die viele Modellformate unterstützt - **TensorFlow Lite / LiteRT** – Für mobile und eingebettete Geräte entwickelt - **Core ML** – Apples Framework zur Nutzung des Neural Engine auf iOS/macOS ### Token-Generierung Sprachmodelle erzeugen Text Token für Token (grob gesagt: Wort für Wort oder Wortteil für Wortteil). Die Geschwindigkeit wird in **Tokens pro Sekunde (tok/s)** gemessen. Auf einem Telefon liegt eine typische Rate zwischen 10 und 30 tok/s – das ist flüssig genug zum Lesen, jedoch viel langsamer als Serverklasse-Hardware. ```figure: ┌─────────────────────────────────────────────┐ │ Token-Generierungs-Schleife │ │ │ │ Eingabe-Prompt │ │ │ │ │ ▼ │ │ ┌─────────┐ KV-Cache ┌───────────┐ │ │ │ Modell │ ─────────────► │ Nächstes │ │ │ └─────────┘ │ Token │ │ │ ▲ └─────┬─────┘ │ │ └─────────────────────────┘ │ │ (wiederholen bis fertig) │ └─────────────────────────────────────────────┘ @title Token-Generierungsschleife bei der Autoregression @caption Das Modell wählt jeweils ein Token aus und fügt es in den Kontext ein. Der KV-Cache speichert Zwischenergebnisse, um die Neuberechnung früherer Token zu vermeiden. @source Eigene Abbildung ``` ### KV-Cache Der Key-Value-Cache ist eine Optimierungstechnik. Anstatt bei jedem Schritt den gesamten bisherigen Kontext neu zu berechnen, speichert das Modell Zwischendarstellungen (Keys und Values aus dem Attention-Mechanismus). Das spart bei langen Gesprächen erheblich Rechenzeit – allerdings auf Kosten von Arbeitsspeicher. ## Herausforderungen On-device Inferenz klingt ideal, bringt aber echte Einschränkungen mit sich: 1. **Modellgröße vs. RAM** – Ein 7-Milliarden-Parameter-Modell mit 4-Bit-Quantisierung belegt immer noch etwa 4 GB RAM. Viele Telefone haben 6–8 GB gesamt. 2. **Thermische Drosselung** – Anhaltende Inferenz erhitzt das Gerät, was dazu führt, dass Chips die Taktfrequenz reduzieren, um Schäden zu vermeiden. 3. **Akkuverbrauch** – Neuronale Netze sind rechenintensiv; ein langer Inferenz-Sprint kann den Akku merklich entladen. 4. **Modellaktualität** – Ein lokal gespeichertes Modell erhält kein Wissen über neue Ereignisse, sofern es nicht aktualisiert wird. ## Praktische Anwendungen - **Offline-Übersetzung** – Apps wie Google Translate können gelernte Modelle lokal ausführen - **Smart-Keyboard-Vorschläge** – Prädiktive Texteingabe auf Geräten, die niemals deine Tippen-Daten in die Cloud sendet - **On-device Sprachassistenten** – Lokale Sprachmodelle für Datenschutz-fokussierte Assistenten - **Medizinische Wearables** – Verarbeitung sensibler Gesundheitsdaten ohne externe Übertragung - **Industrierobotik** – Eingebettete Modelle für Umgebungen ohne zuverlässige Konnektivität ## Gängige Modelle für On-device Nutzung | Modell | Parameter | Typische Quantisierung | RAM-Bedarf | |---|---|---|---| | Llama 3.2 1B | 1 Mrd. | Q4_K_M | ~0,8 GB | | Llama 3.2 3B | 3 Mrd. | Q4_K_M | ~2 GB | | Phi-3 Mini | 3,8 Mrd. | Q4 | ~2,5 GB | | Mistral 7B | 7 Mrd. | Q4_K_M | ~4,1 GB | | Gemma 2 2B | 2 Mrd. | Q4 | ~1,5 GB | ## Schlüsselbegriffe im Überblick - **Parameter** – Die erlernten Zahlen, aus denen ein Modell besteht; mehr Parameter bedeuten in der Regel mehr Fähigkeiten, aber auch mehr Ressourcenbedarf - **Quantisierung** – Reduzierung der numerischen Präzision, um ein Modell kleiner und schneller zu machen - **Token** – Die Grundeinheit des Textes, die ein Modell verarbeitet (ein Wort, ein Wortteil oder ein Satzzeichen) - **Latenz** – Die Verzögerung zwischen Anfrage und Antwort - **Inferenz** – Der Prozess, ein trainiertes Modell zur Erzeugung von Ausgaben zu verwenden (im Gegensatz zum Training) - **KV-Cache** – Ein Speicher-Zwischenspeicher, der Wiederholungsberechnungen während der Token-Generierung vermeidetEin 70-Milliarden-Parameter-LLM, das vollständig auf einem Android-Smartphone läuft, stellt alles in Frage, was wir über Edge-KI angenommen habenLiberaGPTOn-Device-KIEdge-InferenzAndroid-KINyx·Jun 21, 2026·5 min readStory lesen
06Apple Foundation Models Apple hat Foundation Models angekündigt – eine Reihe von KI-Modellen, die direkt auf Apple-Geräten laufen. Diese Modelle bilden das Herzstück von Apple Intelligence, Apples persönlichem KI-System, das in iOS 18, iPadOS 18 und macOS Sequoia eingeführt wurde. Was sind Foundation Models? Foundation Models sind große KI-Modelle, die auf riesigen Mengen an Text und Daten trainiert wurden. Sie können eine Vielzahl von Aufgaben erfüllen – vom Schreiben und Zusammenfassen bis hin zum Beantworten von Fragen. Apple hat seine eigenen Foundation Models entwickelt, die speziell für den Einsatz auf Apple-Hardware optimiert sind. Apple setzt dabei auf zwei Haupttypen: Ein On-Device-Modell, das direkt auf deinem iPhone, iPad oder Mac läuft – ohne dass Daten an externe Server gesendet werden müssen. Ein größeres Server-Modell, das in Apples Private Cloud Compute läuft, wenn komplexere Aufgaben mehr Rechenleistung erfordern. Warum ist das wichtig? Viele KI-Dienste verarbeiten deine Daten auf fremden Servern. Apple verfolgt einen anderen Ansatz: Das On-Device-Modell hält deine Daten auf deinem Gerät. Wenn doch Server benötigt werden, sorgt Private Cloud Compute dafür, dass selbst Apple keinen Zugriff auf deine Anfragen hat. Das ist besonders relevant für Aufgaben wie das Zusammenfassen von Nachrichten, das Verbessern von Texten oder das Beantworten persönlicher Fragen – alles Dinge, bei denen Privatsphäre eine große Rolle spielt. Wie wurden die Modelle trainiert? Apple hat seine Foundation Models auf lizenzierten Daten sowie auf öffentlich zugänglichen Daten trainiert. Besonderes Augenmerk wurde auf Qualität gelegt: Apple nutzte sowohl menschliches Feedback als auch ein Verfahren namens RLHF (Reinforcement Learning from Human Feedback), um die Modelle hilfreicher und sicherer zu machen. Zusätzlich kommt eine Technik namens LoRA (Low-Rank Adaptation) zum Einsatz. Sie erlaubt es, das Modell schnell und effizient für bestimmte Aufgaben anzupassen – direkt auf dem Gerät, ohne das gesamte Modell neu trainieren zu müssen. Apple Intelligence und die Modelle im Alltag Apple Intelligence nutzt die Foundation Models für viele alltägliche Funktionen: Schreiben und Überarbeiten: Du kannst Texte in Mail oder Notizen neu formulieren, kürzen oder in einem anderen Ton schreiben lassen. Zusammenfassungen: Lange E-Mails oder Benachrichtigungen werden automatisch zusammengefasst. Siri: Siri versteht jetzt komplexere Anfragen und kann auf Inhalte deiner Apps zugreifen. Bildgenerierung: Mit Image Playground und Genmoji kannst du eigene Bilder und Emojis erstellen. ChatGPT-Integration: Für besonders anspruchsvolle Anfragen kann optional ChatGPT von OpenAI hinzugezogen werden – mit deiner ausdrücklichen Zustimmung. Technische Besonderheiten Apple hat die Modelle so optimiert, dass sie effizient auf dem Apple Neural Engine laufen – dem speziellen KI-Chip in Apple-Geräten. Das ermöglicht schnelle Antwortzeiten bei gleichzeitig niedrigem Energieverbrauch. Ein weiterer technischer Vorzug: Apple setzt auf Quantisierung, also eine Methode, die Modelle kleiner macht, ohne ihre Leistung stark zu beeinträchtigen. So passen die Modelle in den begrenzten Speicher eines Mobilgeräts. Offenheit und Forschung Apple hat ein Research-Paper zu seinen Foundation Models veröffentlicht und damit einen für Apple ungewöhnlich offenen Einblick in seine KI-Entwicklung gegeben. Darin werden Architektur, Trainingsmethoden und Leistungsvergleiche mit anderen Modellen beschrieben. Das zeigt: Apple möchte nicht nur Produkte liefern, sondern auch zur wissenschaftlichen Gemeinschaft beitragen und Vertrauen durch Transparenz aufbauen.Apples leistungsfähigste Cloud-KI läuft auf Googles Servern. Apple ist damit einverstanden.Apple Foundation ModelsApple IntelligenceWWDC26On-Device-KINyx·Jun 13, 2026·5 min readStory lesen
07Apple IntelligenceApple betreibt seit 2024 ein zweistufiges KI-Gehirn auf deinem iPhone – und die meisten ML-Lernenden haben es komplett übersehenApple IntelligencePrivate Cloud ComputeOn-Device AIFoundation ModelsNyx·Jun 8, 2026·6 min readStory lesen
08NVIDIA RTX AI PCNVIDIA hat lokale KI zu einem Standard auf Silicon-Ebene gemacht – keine Software-Notlösung mehrNVIDIA RTX AI PCsGeForce RTX 50 SeriesLocal AI InferenceNVIDIA NIMNyx·Jun 8, 2026·6 min readStory lesen