Paikallinen AI
Suorita tuettuja paikallisia AI-malleja laitteellasi ja keskustele niiden kanssa (saatavuus vaihtelee).
Yleiskatsaus
Paikallinen AI tarjoaa laitteella toimivan keskustelukäyttöliittymän kahdella taustajärjestelmällä:
- Apple Foundation (kun saatavilla käyttöjärjestelmässä/laitteessa)
- LLM.swift (käyttää paikallisesti tallennettuja mallin tiedostoja)
Näet myös reaaliaikaisen CPU:n ja muistin käytön, joten voit seurata mallin lataamisen ja ajon resurssikustannuksia.
Sisällysluettelo
- Pika-aloitus
- Ohjauspalkki
- Taustajärjestelmät
- Mallikirjasto
- Lataus ja poisto
- Keskustelu
- Suorituskykykuva
- Keskustelun vienti
- Huomautukset ja rajoitukset
Pika-aloitus
- Avaa Työkalut -> Paikallinen AI.
- Valitse taustajärjestelmä (Apple Foundation tai LLM.swift).
- Napauta Lataa.
- Kirjoita kehotus ja lähetä se.
Ohjauspalkki
Keskustelunäkymän yläreunassa oleva ohjauspalkki sisältää kolme laajennustilaa:
Kompakti (Oletus)
Näyttää:
- Mallin tila (ei ladattu/latautuu/ladattu/ei saatavilla)
- Taustajärjestelmän valintavalikko
- Mallin valitsin (vain LLM.swift)
- Lataa / Poista -painike
Keskitaso laajennettu
Napauta ohjauspalkkia laajentaaksesi sen ja nähdäksesi lisäilmaisimet:
- Reaaliaikainen CPU-käytön mittari
- Reaaliaikainen muistin käytön mittari
Täysin laajennettu
Napauta uudelleen avataksesi koko yksityiskohtanäkymän, jossa on kolme korttia:
- Mallin tilakortti – näyttää taustajärjestelmän nimen, mallin nimen ja tiedostokoon (LLM.swift-malleille). Sisältää taustajärjestelmän ja mallin valintavalikot.
- Suorituskykykortti – näyttää "Vertailuarvo" vs "Nyt" -vertailun CPU- ja muistin käytölle. Napauta Tallenna vertailuarvo tallentaaksesi nykyiset arvot ja seuraa, miten mallin lataus ja ajo vaikuttavat resurssien kulutukseen.
- Toimintokortti – sisältää Lataa malli / Poista malli, Uusi keskustelu (tyhjentää viestit ja lataa uudelleen), Hallitse malleja (avaa Mallikirjaston) ja Vie keskustelu.
Ohjauspalkki muistaa laajennustilansa istuntojen välillä.
Taustajärjestelmät
Apple Foundation
Apple Foundation käyttää Applen sisäänrakennettua FoundationModels-kehystä. Se vaatii iOS 26.0+ tai visionOS 26.0+ sekä tuetun laitteiston. Jos se ei ole saatavilla laitteessasi, Lirum näyttää ilmoituksen saatavuudesta. Saatavuus tarkistetaan uudelleen aina, kun sovellus siirtyy etualalle.
LLM.swift
LLM.swift suorittaa GGUF-mallitiedostoja paikallisesti laitteellasi. Se käyttää ChatML-viestipohjaa ja tuottaa vastauksia token kerrallaan.
Tekniset tiedot:
- Keskusteluhistoria säilytetään 8 vuoron rajalla – vanhimmat viestit poistetaan, jotta konteksti pysyy hallittavana.
- Vastauksilla on 2 minuutin aikakatkaisu. Jos malli ei tuota vastausta tässä ajassa, näytetään virheilmoitus.
- Erikoismerkit (kuten
<|...|>-merkinnät) poistetaan automaattisesti vastauksista. - Jos ilmenee KV-välimuistivirhe, Lirum näyttää tarkemman diagnostiikkaviestin.
Mallikirjasto
Avaa Mallikirjasto työkalupalkin valikosta ladataksesi, hallitaksesi ja valitaksesi malleja. Kirjastossa on kolme osiota:
Asennetut mallit
Listaa kaikki ladatut mallikansiot nimellä, tiedostomäärällä ja kokonaiskoolla. Voit:
- Valita mallin käytettäväksi LLM.swiftin kanssa.
- Tuo GGUF-tiedosto iOS:n Tiedostot-sovelluksesta.
- Siirtyä valintatilaan viedäksesi tai poistaaksesi useita malleja kerralla.
Luettelo
Sovelluksen mukana toimitettu valikoitu mallilista. Jokaisessa merkinnässä näkyy mallin nimi, parametrien määrä ja värilliset tunnisteet, jotka kuvaavat ominaisuuksia:
| Tunniste | Merkitys |
|---|---|
| Chat | Yleiskäyttöinen keskustelumalli |
| Instructions | Viritetty ohjeiden seuraamiseen |
| Reasoning | Suunniteltu vaiheittaiseen päättelyyn |
| Coding | Optimoitu koodin tuottamiseen |
| Recommended | Testattu ja toimii hyvin laitteella |
| Fast | Tuottaa vastauksia nopeasti |
| Slow | Saattaa olla hidas joillakin laitteilla |
| Tested | Toimivuus varmistettu Lirumissa |
| Experimental | Saattaa tuottaa epäjohdonmukaisia tuloksia |
| Untested | Ei vielä varmistettu |
Lajittele luettelo Oletus, Aakkosjärjestys, Päivämäärä (uusin/vanhin ensin) tai Parametrit (suurin/pienin ensin) mukaan.
Aktiiviset lataukset
Näyttää kaikki parhaillaan ladattavat mallit:
- Latauksen eteneminen (prosentti, nopeus MB/s, arvioitu jäljellä oleva aika)
- Keskeytä ja Jatka -toiminnot
Manuaalinen mallin lisäys
Voit lisätä malleja myös manuaalisesti kahdella tavalla:
- Tuo Tiedostoista – avaa iOS:n tiedostovalitsimen GGUF-tiedostoille ja kopioi ne edistymisnäytöllä.
- Manuaalinen URL-lataus – syötä suora latauslinkki sekä mallin nimi, kvantisointi ja parametrien määrä. Kentät voidaan täyttää automaattisesti luettelosta tai tiedostonimestä.
Lataus ja poisto
- Lataa alustaa valitun taustajärjestelmän/mallin.
- Poista vapauttaa mallin ja tyhjentää nykyisen keskustelun.
Suurten mallien lataus voi kestää ja epäonnistua, jos laitteessa ei ole riittävästi vapaata muistia.
Keskustelu
Pääkäyttöliittymä on tavallinen keskustelunäkymä:
- Kirjoita kehotus ja lähetä se.
- Vastauksen generoituessa voit pysäyttää tuotannon.
Suorituskykykuva
Paikallinen AI seuraa CPU:n ja muistin käyttöä työkalun käytön aikana.
Laajennetuissa ohjaimissa (AI-mallipaneeli) voit tallentaa vertailuarvon ja verrata sitä nykyiseen CPU-/muistinkäyttöön.
Keskustelun vienti
Käytä Vie keskustelu -toimintoa jakaaksesi nykyisen keskusteluhistorian. Keskustelu viedään Markdown-tekstinä, jossa jokaisella viestillä on roolietuliite (Käyttäjä: ja Avustaja:). Voit jakaa sen millä tahansa iOS:n vakiotavalla.
Huomautukset ja rajoitukset
- Laitteella toimivat mallit voivat käyttää merkittävästi CPU:ta ja muistia.
- Mallien saatavuus, latausvaihtoehdot ja suorituskyky vaihtelevat laitteen ja käyttöjärjestelmän mukaan.
- Apple Foundation vaatii iOS 26.0+ tai visionOS 26.0+ sekä tuetun laitteiston.
- LLM.swift ei ole saatavilla macOS Catalyst -versioissa.
- Suuret mallit voivat epäonnistua latauksessa, jos laitteessa ei ole riittävästi vapaata muistia.
- LLM.swift-taustajärjestelmällä on 8 vuoron keskusteluhistoriaraja ja 2 minuutin vastausaikakatkaisu.