Локальний AI

Запускайте підтримувані локальні AI-моделі безпосередньо на пристрої та спілкуйтеся з ними (доступність залежить від пристрою).

iPhoneiPadMacApple Vision ProApple TVApple Watch

Local AI: вікно чату з компактною панеллю керування.

Огляд

Локальний AI надає інтерфейс чату на пристрої з трьома бекендами:

• Apple Foundation (коли доступний на вашій ОС/пристрої)
• LLM.swift (використовує локально збережені файли моделей)
• LiteRT-LM (використовує моделі у форматі LiteRT)

Також відображається поточне використання CPU та пам’яті, щоб ви могли бачити ресурси, які споживає завантаження та робота моделі.

Зміст

• Швидкий старт
• Панель керування
• Бекенди
• Бібліотека моделей
• Завантаження та вивантаження
• Чат
• Знімок продуктивності
• Експорт розмови
• Примітки та обмеження

Швидкий старт

1. Відкрийте Інструменти -> Local AI.
2. Виберіть бекенд (Apple Foundation або LLM.swift).
3. Натисніть Завантажити.
4. Введіть запит і надішліть його.

Панель керування

У верхній частині екрана чату панель керування має три стани розгортання:

Компактний (за замовчуванням)

Відображає:

• Статус моделі (не завантажено/завантажується/завантажено/недоступно)
• Меню вибору бекенду
• Вибір моделі (тільки для LLM.swift)
• Кнопки Завантажити / Вивантажити

Середній розгорнутий

Натисніть на панель керування, щоб розгорнути її та побачити додаткові індикатори:

• Поточний індикатор використання CPU
• Поточний індикатор використання пам’яті

Повністю розгорнутий

Натисніть ще раз, щоб відкрити повний екран деталей із трьома картками:

• Картка статусу моделі — показує назву бекенду, назву моделі та розмір файлу (для моделей LLM.swift). Містить меню вибору бекенду та моделі.
• Картка продуктивності — порівнює «Базовий рівень» і «Поточний» стан використання CPU та пам’яті. Натисніть Зберегти базовий рівень, щоб зафіксувати поточні значення, і спостерігайте, як змінюється споживання ресурсів під час завантаження та роботи моделі.
• Картка дій — містить Завантажити модель / Вивантажити модель, Нова розмова (очищає повідомлення та перезавантажує), Керування моделями (відкриває Бібліотеку моделей) та Експорт розмови.

Панель керування запам’ятовує свій стан розгортання між сесіями.

Натисніть Завантажити, щоб завантажити вибраний бекенд/модель.

Після завантаження панель керування показує стан «завантажено» та відкриває Вивантажити.

Бекенди

Apple Foundation

Apple Foundation використовує вбудований фреймворк Apple FoundationModels. Потрібна iOS 26.0+ або visionOS 26.0+ і сумісне обладнання. Якщо фреймворк недоступний на вашому пристрої, Lirum відобразить повідомлення про недоступність. Доступність перевіряється щоразу, коли додаток переходить у передній план.

LLM.swift

LLM.swift запускає файли моделей GGUF локально на вашому пристрої. Використовується шаблон повідомлень ChatML, а відповіді транслюються токен за токеном у міру генерації.

Технічні деталі:

• Історія розмови зберігається з лімітом у 8 реплік — старіші повідомлення видаляються для збереження контексту.
• Відповіді мають тайм-аут 2 хвилини. Якщо модель не видає результату за цей час, відображається помилка.
• Спеціальні токени моделі (наприклад, маркери <|...|>) автоматично видаляються з відповідей.
• У разі помилки кешу KV Lirum показує діагностичне повідомлення.

LiteRT-LM

LiteRT-LM запускає моделі у форматі LiteRT локально на вашому пристрої. Доступність залежить від пристрою та ОС.

Бібліотека моделей

Відкрийте Бібліотеку моделей через меню панелі інструментів, щоб завантажувати, керувати та вибирати моделі. Бібліотека має три розділи:

Встановлені моделі

Показує всі завантажені папки моделей із їхньою назвою, кількістю файлів і загальним розміром. Можна:

• Вибрати модель для використання з LLM.swift.
• Імпортувати файл GGUF із додатка Файли iOS.
• Увійти в режим вибору для пакетного експорту або видалення кількох моделей одночасно.

Каталог

Добірка моделей, що постачаються разом із додатком. Кожен запис містить назву моделі, кількість параметрів і кольорові теги, що позначають характеристики:

Тег	Значення
Chat	Модель для загального спілкування
Instructions	Налаштована для виконання інструкцій
Reasoning	Призначена для покрокового міркування
Coding	Оптимізована для генерації коду
Recommended	Перевірена та добре працює на пристрої
Fast	Швидко генерує відповіді
Slow	Може працювати повільно на деяких пристроях
Tested	Перевірена на працездатність у Lirum
Experimental	Може давати нестабільні результати
Untested	Ще не перевірена

Сортуйте каталог за Замовчуванням, Алфавітом, Датою (спочатку нові/старі) або Параметрами (спочатку найбільші/найменші).

Активні завантаження

Показує всі моделі, що зараз завантажуються, із:

• Прогресом завантаження (відсоток, швидкість у МБ/с, орієнтовний час до завершення)
• Кнопками Скасувати та Відновити

Додавання моделі вручну

Можна також додати моделі вручну двома способами:

• Імпорт із Файлів — відкриває файловий вибірник iOS для GGUF-файлів і копіює їх із відображенням прогресу.
• Завантаження за URL — введіть пряме посилання для завантаження разом із назвою моделі, квантизацією та кількістю параметрів. Поля можна автозаповнити з каталогу або розпізнати з імені файлу.

Бібліотека моделей: керування та вибір локальних моделей для бекенду LLM.swift.

Деталі моделі та дії (залежить від моделі/бекенду).

Завантаження та вивантаження

• Завантажити ініціалізує вибраний бекенд/модель.
• Вивантажити звільняє модель і очищає поточну розмову.

Великі моделі можуть завантажуватися довго та не завантажитися, якщо на пристрої недостатньо вільної пам’яті.

Чат

Основний інтерфейс — це стандартне вікно чату:

• Введіть запит і надішліть його.
• Поки відповідь генерується, можна зупинити генерацію.

Введіть запит у редакторі чату.

Після надсилання асистент починає генерувати відповідь.

Приклад відповіді, показаної в історії чату.

Знімок продуктивності

Local AI відстежує використання CPU та пам’яті під час роботи інструменту.

У розгорнутих елементах керування (панель AI-моделі) можна зафіксувати базовий рівень і порівняти його з поточними показниками CPU/пам’яті.

Експорт розмови

Використовуйте Експорт розмови, щоб поділитися поточною історією чату. Розмова експортується у форматі Markdown: файл починається із заголовка з назвою розмови та часовою міткою, після чого кожне повідомлення оформлюється як окремий заголовок — ### Користувач - <часова мітка> для повідомлень користувача та ### Помічник - <часова мітка> для відповідей асистента, причому вміст кожного повідомлення загорнуто у блок ```markdown. Також зазначається кількість вкладень. Далі файл можна надіслати через будь-який стандартний спосіб спільного доступу iOS.

Примітки та обмеження

• Локальні моделі можуть використовувати значні ресурси CPU та пам’яті.
• Доступність моделей, варіанти завантаження та продуктивність залежать від пристрою та ОС.
• Apple Foundation вимагає iOS 26.0+ або visionOS 26.0+ і сумісне обладнання.
• LLM.swift недоступний у збірках macOS Catalyst.
• Великі моделі можуть не завантажитися, якщо на пристрої недостатньо вільної пам’яті.
• Бекенд LLM.swift має обмеження історії розмови до 8 реплік і тайм-аут відповіді 2 хвилини.