RUРусский
Использование

ИИ на самом устройстве

Локальный движок ИИ с ускорением Vulkan на видеоядре BC-250 — Unsloth Studio и модели GGUF из Hugging Face.

SkillFishOS приносит с собой локальный ИИ: модели для общения и для кода работают целиком на видеоядре BC-250, без облака, ничего не уходит наружу. Один щелчок включает и выключает всё это, так что видеоядро и память снова свободны, когда хочется поиграть.

Раздел ИИ в Control Center: движок, модели, память и проба чата

Почему Vulkan, а не ROCm

«Официальный» вычислительный набор AMD — это ROCm, но он не поддерживает gfx1013 у BC-250. Поэтому SkillFishOS использует движок Vulkan с драйверами Mesa/RADV: он полностью задействует встроенное видеоядро и общую память (с расширенным GTT, см. GPU).

Насколько это важно. Измерено на плате с Qwen3-1.7B Q4_K_M:

только процессор видеоядро через Vulkan
Генерация 41,5 ток/с 210,7 ток/с в 5,1 раза
Обработка запроса 9,2 ток/с 157,2 ток/с в 17 раз

Движок: Unsloth Studio

С версии 26.08 движком служит Unsloth Studio, пришедший на смену прежней связке Ollama + OpenWebUI в Docker. Это одна родная служба, дающая и окно чата, и API, совместимый с OpenAI, слушающая на 127.0.0.1:8888.

Что меняется на деле:

  • Одна служба вместо стопки контейнеров Docker. Раньше требовались три контейнера (Ollama, OpenWebUI, Dockge) плюс свой образ примерно на 6,5 ГБ; теперь это просто skillfish-unsloth.service.
  • Модели берутся из Hugging Face. Unsloth тянет файлы GGUF прямо из полного каталога Hugging Face, а не из отобранного реестра, поэтому выбор моделей и квантований несравнимо шире — включая сборки, которые публикует сама команда Unsloth.
  • Сам по себе он отвечает только этой машине. Снаружи к нему попадают через Remote Manager, который проверяет учётные данные через PAM. Если вы хотите, чтобы он отвечал и другим устройствам дома, в разделе ИИ есть переключатель, открывающий его локальной сети, со своим пользователем и паролем.

Модели

Модели это файлы GGUF из каталога Hugging Face, и берутся они из двух мест: из раздела ИИ в Control Center, где вы пишете имя репозитория (например unsloth/Qwen3-4B-GGUF) и выбираете вариант из списка с размерами; или из Hub внутри Unsloth Studio, где есть поиск и полные карточки моделей.

Практическое правило на этой плате: 16 ГБ GDDR6 делят система и GPU, поэтому лучше держаться ниже ~11 ГБ весов, чтобы остальному хватило места.

Включение, обновление и ключ

Раздел ИИ в Control Center включает и выключает движок, включает его при запуске и показывает версию с обновлением в один клик. То же самое есть в Remote Manager, из браузера.

Unsloth создаёт случайный пароль при установке и выключается сам через час, если пароль не сменить. Этот шаг делает раздел ИИ: вы выбираете пароль Studio, и ключ API создаётся вместе с ним. Через ключ окно и Remote Manager общаются с движком; модели на диске, память (VRAM, GTT, RAM, swap) и проба чата с измеренными токенами в секунду находятся рядом.

Учтите:

  • ИИ и игры вместе не работают: они делят один GPU и одну память;
  • при выключенном движке GPU и RAM снова полностью свободны для игр.

Больше памяти для модели

Рабочий стол занимает память, которую могла бы взять модель. В разделе ИИ его выключают, а также выбирают, сколько выключить: Studio включён, то есть только рабочий стол; только движок, со страницей; только движок, одно API, что оставляет llama-server одного на порту 8888, с тем же API и тем же ключом. Измерено на плате с загруженной моделью: 567 МБ системной памяти становятся 115.

Дальше машиной управляют из Remote Manager на другом компьютере или через ssh. Модель для голого движка выбирают заранее, в той же карточке.

Больше одной платы

Несколько плат BC-250 делят между собой модель, слишком большую для одной. Карточка Cluster перечисляет платы, сколько памяти у них вместе и сколько они потребляют, а также включает и выключает узлы. 27B на 22 ГБ на одной плате даже не загрузится; на двух работает со скоростью 7,57 токена в секунду.

Именно для этого он и нужен, и стоит сказать прямо: быстрее не станет. Модель, которая помещалась на одну плату, теряет около трети скорости при разделении, потому что каждая граница между слоями идёт по сети. Кластер для тех моделей, которые сами вообще не запускаются.

Источники