Lokal AI
Kör stödda lokala AI-modeller direkt på enheten och chatta med dem (tillgänglighet varierar).
Översikt
Lokal AI erbjuder ett chattgränssnitt på enheten med två backend-alternativ:
- Apple Foundation (när tillgängligt på ditt OS/enhet)
- LLM.swift (använder lokalt lagrade modellfiler)
Verktyget visar även aktuell CPU- och minnesanvändning så att du kan se resursåtgången för att ladda och köra en modell.
Innehållsförteckning
- Snabbstart
- Kontrollpanel
- Backends
- Modellbibliotek
- Ladda och avlasta
- Chatt
- Prestandaöversikt
- Exportera konversation
- Noteringar och begränsningar
Snabbstart
- Öppna Verktyg -> Lokal AI.
- Välj en backend (Apple Foundation eller LLM.swift).
- Tryck på Ladda.
- Skriv en prompt och skicka den.
Kontrollpanel
Högst upp i chattvyn finns kontrollpanelen med tre expansionslägen:
Kompakt (Standard)
Visar:
- Modellstatus (ej laddad/laddar/laddad/otillgänglig)
- Backend-valmeny
- Modellväljare (endast LLM.swift)
- Ladda / Avlasta-knapp
Mellanläge
Tryck på kontrollpanelen för att expandera och visa ytterligare indikatorer:
- Live CPU-användning-mätare
- Live Minnesanvändning-mätare
Fullt expanderad
Tryck igen för att öppna detaljvyn med tre kort:
- Modellstatuskort – visar backend-namn, modellnamn och filstorlek (för LLM.swift-modeller). Inkluderar backend- och modellväljare.
- Prestandakort – visar en jämförelse mellan “Baslinje” och “Nu” för CPU- och minnesanvändning. Tryck på Spara baslinje för att ta en ögonblicksbild av aktuella värden och se hur modellens laddning och körning påverkar resursförbrukningen.
- Åtgärdskort – innehåller Ladda modell / Avlasta modell, Ny konversation (rensar meddelanden och laddar om), Hantera modeller (öppnar Modellbiblioteket) och Exportera konversation.
Kontrollpanelen minns sitt expansionsläge mellan sessioner.
Backends
Apple Foundation
Apple Foundation använder Apples inbyggda FoundationModels-ramverk. Det kräver iOS 26.0+ eller visionOS 26.0+ samt kompatibel hårdvara. Om det inte är tillgängligt på din enhet visar Lirum ett otillgänglighetsmeddelande. Tillgängligheten kontrolleras på nytt varje gång appen hamnar i förgrunden.
LLM.swift
LLM.swift kör GGUF-modellfiler lokalt på din enhet. Den använder ChatML-meddelandemall och strömmar svar token för token när de genereras.
Tekniska detaljer:
- Konversationshistorik sparas med en 8-svängarsgräns – äldre meddelanden tas bort för att hålla kontexten hanterbar.
- Svar har en 2-minuters timeout. Om en modell inte producerar utdata inom den tiden visas ett felmeddelande.
- Särskilda modelltokens (såsom
<|...|>-markörer) tas automatiskt bort från svaren. - Vid KV-cachefel visar Lirum ett specifikt diagnostikmeddelande.
Modellbibliotek
Öppna Modellbiblioteket från verktygsmenyn för att ladda ner, hantera och välja modeller. Biblioteket har tre sektioner:
Installerade modeller
Visar alla nedladdade modellmappar med namn, antal filer och total storlek. Du kan:
- Välja en modell för användning med LLM.swift.
- Importera en GGUF-fil från iOS Filer-appen.
- Gå in i markeringsläge för att batch-exportera eller batch-radera flera modeller samtidigt.
Katalog
En utvald lista med modeller som följer med appen. Varje post visar modellnamn, antal parametrar och färgade taggar som indikerar egenskaper:
| Tagg | Betydelse |
|---|---|
| Chat | Allmän konversationsmodell |
| Instructions | Tränad för att följa instruktioner |
| Reasoning | Utformad för steg-för-steg-resonemang |
| Coding | Optimerad för kodgenerering |
| Recommended | Testad och fungerar bra på enheten |
| Fast | Genererar svar snabbt |
| Slow | Kan vara långsam på vissa enheter |
| Tested | Verifierad att fungera i Lirum |
| Experimental | Kan ge inkonsekventa resultat |
| Untested | Ej verifierad än |
Sortera katalogen efter Standard, Alfabetisk, Datum (Nyast/Äldst först) eller Parametrar (Störst/Minst först).
Aktiva nedladdningar
Visar pågående modellnedladdningar med:
- Nedladdningsstatus (procent, hastighet i MB/s, uppskattad återstående tid)
- Avbryt och Återuppta-kontroller
Manuell modellinmatning
Du kan även lägga till modeller manuellt på två sätt:
- Importera från Filer – öppnar iOS filväljare för GGUF-filer och kopierar dem med en förloppsindikator.
- Manuell URL-nedladdning – ange en direkt nedladdningslänk samt modellnamn, kvantisering och antal parametrar. Fälten kan autofyllas från katalogen eller tolkas från filnamnet.
Ladda och avlasta
- Ladda initierar vald backend/modell.
- Avlasta frigör modellen och rensar aktuell konversation.
Stora modeller kan ta tid att ladda och kan misslyckas om enheten inte har tillräckligt med ledigt minne.
Chatt
Huvudgränssnittet är en standard chattvy:
- Skriv en prompt och skicka den.
- Medan ett svar strömmas kan du stoppa genereringen.
Prestandaöversikt
Lokal AI övervakar CPU- och minnesanvändning medan du använder verktyget.
I de expanderade kontrollerna (AI-modellpanelen) kan du ta en baslinje och jämföra baslinje mot aktuell CPU/minne.
Exportera konversation
Använd Exportera konversation för att dela aktuell chatthistorik. Konversationen exporteras som Markdown-text med rollprefix (User: och Assistant:) för varje meddelande. Du kan sedan dela den via valfri standarddelningsmetod i iOS.
Noteringar och begränsningar
- Modeller på enheten kan använda betydande CPU och minne.
- Modelltillgänglighet, nedladdningsalternativ och prestanda varierar beroende på enhet och OS.
- Apple Foundation kräver iOS 26.0+ eller visionOS 26.0+ samt kompatibel hårdvara.
- LLM.swift är inte tillgänglig på macOS Catalyst-versioner.
- Stora modeller kan misslyckas att ladda om enheten inte har tillräckligt med ledigt minne.
- LLM.swift-backenden har en 8-svängarsgräns för konversationshistorik och 2 minuters svarstimeout.