Lokal AI

Kør understøttede lokale AI-modeller direkte på enheden og chat med dem (tilgængelighed varierer).

Lokal AI: chatvisning med en kompakt kontrolbjælke.

Oversigt

Lokal AI giver en chatbrugerflade på enheden med to backends:

• Apple Foundation (når tilgængelig på dit OS/enhed)
• LLM.swift (bruger lokalt gemte modelfiler)

Den viser også live CPU- og hukommelsesforbrug, så du kan se ressourceforbruget ved indlæsning og kørsel af en model.

Indholdsfortegnelse

• Kom godt i gang
• Kontrolbjælke
• Backends
• Modellibrary
• Indlæsning og aflæsning
• Chat
• Ydelsessnapshot
• Eksportér samtale
• Noter og begrænsninger

Kom godt i gang

1. Åbn Værktøjer -> Lokal AI.
2. Vælg en backend (Apple Foundation eller LLM.swift).
3. Tryk på Indlæs.
4. Skriv en prompt og send den.

Kontrolbjælke

Øverst i chatvinduet har kontrolbjælken tre udvidelsestilstande:

Kompakt (standard)

Viser:

• Modelstatus (ikke indlæst/indlæses/indlæst/utilgængelig)
• Backend-valgmenu
• Modelvælger (kun LLM.swift)
• Indlæs / Aflæs-knap

Mellem udvidet

Tryk på kontrolbjælken for at udvide den og se yderligere indikatorer:

• Live CPU-forbrug-måler
• Live Hukommelsesforbrug-måler

Fuld udvidet

Tryk igen for at åbne den fulde detaljeskærm med tre kort:

• Modelstatuskort – viser backend-navn, modelnavn og filstørrelse (for LLM.swift-modeller). Indeholder backend- og modelvælgermenuer.
• Ydelseskort – viser en “Baseline” vs “Nu”-sammenligning for CPU- og hukommelsesforbrug. Tryk på Tag baseline for at tage et øjebliksbillede af de aktuelle værdier, og se derefter hvordan indlæsning og kørsel af en model ændrer ressourceforbruget.
• Handlingskort – indeholder Indlæs model / Aflæs model, Ny samtale (rydder beskeder og genindlæser), Administrer modeller (åbner Modellibrary) og Eksportér samtale.

Kontrolbjælken husker sin udvidelsestilstand mellem sessioner.

Tryk på Indlæs for at indlæse den valgte backend/model.

Når modellen er indlæst, viser kontrolbjælken indlæst tilstand og giver adgang til Aflæs.

Backends

Apple Foundation

Apple Foundation bruger Apples indbyggede FoundationModels-framework. Det kræver iOS 26.0+ eller visionOS 26.0+ og understøttet hardware. Hvis det ikke er tilgængeligt på din enhed, viser Lirum en utilgængelighedsmeddelelse. Tilgængeligheden kontrolleres igen, hver gang appen kommer i forgrunden.

LLM.swift

LLM.swift kører GGUF-modelfiler lokalt på din enhed. Den bruger ChatML-beskedskabelonen og streamer svar token for token, efterhånden som de genereres.

Tekniske detaljer:

• Samtalens historik opretholdes med en 8-omgangsgrænse – ældre beskeder fjernes for at holde konteksten håndterbar.
• Svar har en 2-minutters timeout. Hvis en model ikke producerer output inden for denne tid, vises en fejl.
• Særlige modeltokens (såsom <|...|>-markører) fjernes automatisk fra svar.
• Hvis der opstår en KV-cachefejl, viser Lirum en specifik diagnostisk besked.

Modellibrary

Åbn Modellibrary fra værktøjslinjemenuen for at downloade, administrere og vælge modeller. Biblioteket har tre sektioner:

Installerede modeller

Viser alle downloadede modelfoldere med navn, antal filer og samlet størrelse. Du kan:

• Vælge en model for at bruge den med LLM.swift.
• Importere en GGUF-fil fra iOS Filer-appen.
• Gå i markeringsmode for at eksportere eller slette flere modeller på én gang.

Katalog

En kurateret liste over modeller, der følger med appen. Hver post viser modelnavn, parameterantal og farvede tags, der angiver egenskaber:

Tag	Betydning
Chat	Generel samtalemodel
Instructions	Tunet til at følge instruktioner
Reasoning	Designet til trinvis ræsonnement
Coding	Optimeret til kodegenerering
Recommended	Testet og fungerer godt på enheden
Fast	Genererer svar hurtigt
Slow	Kan være langsom på nogle enheder
Tested	Verificeret til at virke i Lirum
Experimental	Kan give inkonsistente resultater
Untested	Endnu ikke verificeret

Sorter kataloget efter Standard, Alfabetisk, Dato (Nyeste/Ældste først) eller Parametre (Størst/Mindst først).

Aktive downloads

Viser eventuelle igangværende modeldownloads med:

• Downloadfremskridt (procent, hastighed i MB/s, estimeret tid tilbage)
• Afbryd og Genoptag-kontroller

Manuel modeltilføjelse

Du kan også tilføje modeller manuelt på to måder:

• Importer fra Filer – åbner iOS filvælgeren for GGUF-filer og kopierer dem med visning af fremskridt.
• Manuel URL-download – indtast en direkte download-URL sammen med modelnavn, kvantisering og parameterantal. Felter kan autoudfyldes fra kataloget eller udledes fra filnavnet.

Model Library: administrer og vælg lokale modeller til LLM.swift-backenden.

Modeldetaljer og handlinger (varierer efter model/backend).

Indlæsning og aflæsning

• Indlæs initialiserer den valgte backend/model.
• Aflæs frigiver modellen og rydder den aktuelle samtale.

Store modeller kan tage tid at indlæse og kan fejle, hvis enheden ikke har nok ledig hukommelse.

Chat

Hovedbrugerfladen er en standard chatvisning:

• Skriv en prompt og send den.
• Mens et svar streames, kan du stoppe genereringen.

Indtast en prompt i chatkomponisten.

Efter afsendelse begynder assistenten at generere et svar.

Eksempelsvar vist i chat-historikken.

Ydelsessnapshot

Lokal AI overvåger CPU- og hukommelsesforbrug, mens du bruger værktøjet.

I de udvidede kontroller (AI Model-panel) kan du tage et baseline-snapshot og sammenligne baseline med nuværende CPU/hukommelse.

Eksportér samtale

Brug Eksportér samtale for at dele den aktuelle chat-historik. Samtalen eksporteres som Markdown-tekst med rollepræfikser (User: og Assistant:) for hver besked. Du kan derefter dele den via enhver standard iOS-delingsmetode.

Noter og begrænsninger

• Lokale modeller kan bruge betydelige CPU- og hukommelsesressourcer.
• Modeltilgængelighed, downloadmuligheder og ydeevne varierer afhængigt af enhed og OS.
• Apple Foundation kræver iOS 26.0+ eller visionOS 26.0+ og understøttet hardware.
• LLM.swift er ikke tilgængelig på macOS Catalyst-versioner.
• Store modeller kan fejle ved indlæsning, hvis enheden ikke har nok ledig hukommelse.
• LLM.swift-backenden har en 8-omgangs samtalehistorikgrænse og en 2-minutters svartidstimeout.