Lokal AI

Kör stödda lokala AI-modeller direkt på enheten och chatta med dem (tillgänglighet varierar).

iPhoneiPadMacApple Vision ProApple TVApple Watch

Lokal AI: chattvy med en kompakt kontrollpanel.

Översikt

Lokal AI erbjuder ett chattgränssnitt på enheten med tre backends:

• Apple Foundation (när tillgängligt på ditt OS/enhet)
• llama.cpp (använder lokalt lagrade GGUF-modellfiler; exponeras via backend-etiketten ”LLM.swift”)
• LiteRT-LM (använder lokalt lagrade .litertlm-modellfiler; stöder multimodala-/visionsmodeller)

Verktyget visar även aktuell CPU- och minnesanvändning så att du kan se resursåtgången för att ladda och köra en modell.

Innehållsförteckning

• Snabbstart
• Kontrollpanel
• Backends
• Modellbibliotek
• Ladda och avlasta
• Chatt
• Prestandaöversikt
• Exportera konversation
• Noteringar och begränsningar

Snabbstart

1. Öppna Verktyg -> Lokal AI.
2. Välj en backend (Apple Foundation eller LLM.swift).
3. Tryck på Ladda.
4. Skriv en prompt och skicka den.

Kontrollpanel

Högst upp i chattvyn finns kontrollpanelen med tre expansionslägen:

Kompakt (Standard)

Visar:

• Modellstatus (ej laddad/laddar/laddad/otillgänglig)
• Backend-valmeny
• Modellväljare (endast LLM.swift)
• Ladda / Avlasta-knapp

Mellanläge

Tryck på kontrollpanelen för att expandera och visa ytterligare indikatorer:

• Live CPU-användning-mätare
• Live Minnesanvändning-mätare

Fullt expanderad

Tryck igen för att öppna detaljvyn med tre kort:

• Modellstatuskort – visar backend-namn, modellnamn och filstorlek (för LLM.swift-modeller). Inkluderar backend- och modellväljare.
• Prestandakort – visar en jämförelse mellan “Baslinje” och “Nu” för CPU- och minnesanvändning. Tryck på Spara baslinje för att ta en ögonblicksbild av aktuella värden och se hur modellens laddning och körning påverkar resursförbrukningen.
• Åtgärdskort – innehåller Ladda modell / Avlasta modell, Ny konversation (rensar meddelanden och laddar om), Hantera modeller (öppnar Modellbiblioteket) och Exportera konversation.

Kontrollpanelen minns sitt expansionsläge mellan sessioner.

Tryck på Ladda för att ladda vald backend/modell.

När modellen är laddad visar kontrollpanelen laddat läge och exponerar Avlasta.

Backends

Apple Foundation

Apple Foundation använder Apples inbyggda FoundationModels-ramverk. Det kräver iOS 26.0+ eller visionOS 26.0+ samt kompatibel hårdvara. Om det inte är tillgängligt på din enhet visar Lirum ett otillgänglighetsmeddelande. Tillgängligheten kontrolleras på nytt varje gång appen hamnar i förgrunden.

LLM.swift

LLM.swift är backend-etiketten för llama.cpp-motorn, som kör GGUF-modellfiler lokalt på din enhet. Den strömmar svar token för token när de genereras. Chattmallen väljs per modell; ChatML är standardreserven, men vissa modeller (till exempel DeepSeek-R1-Distill-Qwen) använder en modellspecifik mall för bättre instruktionsföljning.

Tekniska detaljer:

• Konversationshistorik sparas med en 8-svängarsgräns – äldre meddelanden tas bort för att hålla kontexten hanterbar.
• Särskilda modelltokens (såsom <|...|>-markörer) tas automatiskt bort från svaren.
• Vid KV-cachefel visar Lirum ett specifikt diagnostikmeddelande.

LiteRT-LM

LiteRT-LM kör .litertlm-modellfiler (till exempel Gemma 4 E2B/E4B) på enheten. Det är den backend som används för multimodala-/visionsmodeller som accepterar bildindata, och dirigerar bilder via konversationens multimodala API.

Modellbibliotek

Öppna Modellbiblioteket från verktygsmenyn för att ladda ner, hantera och välja modeller. Biblioteket har tre sektioner:

Installerade modeller

Visar alla nedladdade modellmappar med namn, antal filer och total storlek. Du kan:

• Välja en modell för användning med LLM.swift.
• Importera en GGUF-fil från iOS Filer-appen.
• Gå in i markeringsläge för att batch-exportera eller batch-radera flera modeller samtidigt.

Katalog

En utvald lista med modeller som följer med appen. Varje post visar modellnamn, antal parametrar och färgade taggar som indikerar egenskaper:

Tagg	Betydelse
Chat	Allmän konversationsmodell
Instructions	Tränad för att följa instruktioner
Reasoning	Utformad för steg-för-steg-resonemang
Coding	Optimerad för kodgenerering
Recommended	Testad och fungerar bra på enheten
Fast	Genererar svar snabbt
Slow	Kan vara långsam på vissa enheter
Tested	Verifierad att fungera i Lirum
Experimental	Kan ge inkonsekventa resultat
Untested	Ej verifierad än

Sortera katalogen efter Standard, Alfabetisk, Datum (Nyast/Äldst först) eller Parametrar (Störst/Minst först).

Aktiva nedladdningar

Visar pågående modellnedladdningar med:

• Nedladdningsstatus (procent, hastighet i MB/s, uppskattad återstående tid)
• Avbryt och Återuppta-kontroller

Manuell modellinmatning

Du kan även lägga till modeller manuellt på två sätt:

• Importera från Filer – öppnar iOS filväljare för GGUF-filer och kopierar dem med en förloppsindikator.
• Manuell URL-nedladdning – ange en direkt nedladdningslänk samt modellnamn, kvantisering och antal parametrar. Fälten kan autofyllas från katalogen eller tolkas från filnamnet.

Modellbibliotek: hantera och välj lokala modeller för LLM.swift-backenden.

Modellinformation och åtgärder (varierar beroende på modell/backend).

Ladda och avlasta

• Ladda initierar vald backend/modell.
• Avlasta frigör modellen och rensar aktuell konversation.

Stora modeller kan ta tid att ladda och kan misslyckas om enheten inte har tillräckligt med ledigt minne.

Chatt

Huvudgränssnittet är en standard chattvy:

• Skriv en prompt och skicka den.
• Medan ett svar strömmas kan du stoppa genereringen.

Skriv in en prompt i chattkompositören.

Efter att du skickat börjar assistenten generera ett svar.

Exempelsvar visas i chatthistoriken.

Prestandaöversikt

Lokal AI övervakar CPU- och minnesanvändning medan du använder verktyget.

I de expanderade kontrollerna (AI-modellpanelen) kan du ta en baslinje och jämföra baslinje mot aktuell CPU/minne.

Exportera konversation

Använd Exportera konversation för att dela aktuell chatthistorik. Konversationen exporteras som en Markdown-fil: en övergripande titel och exporttidsstämpel, följt av en ### Användare - <tidsstämpel>- eller ### Assistent - <tidsstämpel>-rubrik per meddelande, där varje meddelandetext omsluts av ett ```markdown-avgränsat block (samt en rad med antal bilagor när ett meddelande innehåller bilder). Du kan sedan dela den via valfri standarddelningsmetod i iOS.

Noteringar och begränsningar

• Modeller på enheten kan använda betydande CPU och minne.
• Modelltillgänglighet, nedladdningsalternativ och prestanda varierar beroende på enhet och OS.
• Apple Foundation kräver iOS 26.0+ eller visionOS 26.0+ samt kompatibel hårdvara.
• LLM.swift är inte tillgänglig på macOS Catalyst-versioner.
• Stora modeller kan misslyckas att ladda om enheten inte har tillräckligt med ledigt minne.
• llama.cpp-backenden (GGUF) har ett 8-svängars fönster för konversationshistorik; LiteRT-LM hanterar sin egen konversationskontext.