RUРусский
Использование

ИИ на самом устройстве

Локальный движок ИИ с ускорением Vulkan на видеоядре BC-250 — Unsloth Studio и модели GGUF из Hugging Face.

SkillFishOS приносит с собой локальный ИИ: модели для общения и для кода работают целиком на видеоядре BC-250, без облака, ничего не уходит наружу. Один щелчок включает и выключает всё это, так что видеоядро и память снова свободны, когда хочется поиграть.

Панель SkillFishOS AI — включает и выключает локальный движок с ускорением Vulkan

Почему Vulkan, а не ROCm

«Официальный» вычислительный набор AMD — это ROCm, но он не поддерживает gfx1013 у BC-250. Поэтому SkillFishOS использует движок Vulkan с драйверами Mesa/RADV: он полностью задействует встроенное видеоядро и общую память (с расширенным GTT, см. GPU).

Насколько это важно. Измерено на плате с Qwen3-1.7B Q4_K_M:

только процессор видеоядро через Vulkan
Генерация 41,5 ток/с 210,7 ток/с в 5,1 раза
Обработка запроса 9,2 ток/с 157,2 ток/с в 17 раз

Движок: Unsloth Studio

С версии 26.08 движком служит Unsloth Studio, пришедший на смену прежней связке Ollama + OpenWebUI в Docker. Это одна родная служба, дающая и окно чата, и API, совместимый с OpenAI, слушающая на 127.0.0.1:8888.

Что меняется на деле:

  • Одна служба вместо стопки контейнеров Docker. Раньше требовались три контейнера (Ollama, OpenWebUI, Dockge) плюс свой образ примерно на 6,5 ГБ; теперь это просто skillfish-unsloth.service.
  • Модели берутся из Hugging Face. Unsloth тянет файлы GGUF прямо из полного каталога Hugging Face, а не из отобранного реестра, поэтому выбор моделей и квантований несравнимо шире — включая сборки, которые публикует сама команда Unsloth.
  • Слушает только петлевой интерфейс. Снаружи к нему попадают через панель управления, которая проверяет учётные данные через PAM: наружу не выставлен ни один порт ИИ.

С версии 26.06.3 панель управления и панель ИИ работают только с Unsloth: ветки, командовавшие Ollama через Docker, убраны, как и сам Docker, который больше не устанавливается. У того, кто ещё держит контейнеры Ollama с прежней установки, они продолжат работать, пока стоит Docker, но управлять ими отсюда уже нельзя. Настраивать ничего не нужно.

Модели

Модели загружаются внутри Unsloth Studio, из его собственного окна. Правило большого пальца для этой платы: 16 ГБ GDDR6 делятся между системой и видеоядром, поэтому, оставаясь ниже примерно 11 ГБ весов, вы оставляете место для всего остального.

Как включать и выключать

Отдельная панель ИИ (родное приложение, см. Родные приложения) запускает и останавливает движок одним щелчком; тот же выключатель есть в панели управления. Помните:

  • ИИ и игры не стоит запускать вместе: они делят одно видеоядро и одну память;
  • при выключенном движке видеоядро и память снова целиком доступны играм.

Источники