1. Для себя

1.1. Базовый стек

Что понадобится

Вариант из занятия — стационарный ПК с доработанной RTX 4090 на 48 ГБ видеопамяти и 48–64 ГБ оперативной памяти. Это специальная конфигурация: у обычной RTX 4090 — 24 ГБ видеопамяти ↗. Другой вариант — Mac mini с M4 Pro и 48 ГБ объединённой памяти ↗ или MacBook Pro с M5 Pro/M5 Max и 48 ГБ ↗. MacBook удобен, если модель нужна в поездках; Mac mini — для постоянного рабочего места.

Практический результат ведущего: на его RTX 4090, доработанной до 48 ГБ, Qwen3.8-27B обслуживала до 15 одновременных запросов. Исследование скорости работы Qwen3.8-27B ↗. Это результат конкретного стенда; в памятке не зафиксированы формат весов, длина запросов и время ожидания. При выборе другого оборудования и нагрузки эти параметры измеряют заново.

Как запустить

Для NVIDIA с 48 ГБ видеопамяти основной вариант — Qwen3.8-27B-FP8 ↗ через vLLM ↗. Для Mac mini / MacBook с 48 ГБ объединённой памяти начните с Q8 GGUF ↗ через llama.cpp ↗: это простой воспроизводимый маршрут для локального чата. Затем можно сравнить MLX 8-bit ↗, сборку под Apple Silicon. Q8 занимает около 29 ГБ, BF16 — около 54 ГБ ещё до расхода памяти на контекст и программу; на 48 ГБ BF16 целиком не помещается. Q4 оставьте для устройств с меньшим запасом памяти или когда важнее скорость, чем точность.

Что можно делать

Вести диалог, готовить черновики писем и документов, разбирать тексты, помогать себе с кодом. Для работы с папками и корпоративными материалами понадобится дополнительный интерфейс и настройка доступа. Модель сама по себе не получает доступ к вашим файлам и не запоминает их навсегда после разговора.

Границы

Локальная модель может уступать самым сильным облачным моделям в сложной инженерной работе. Она не знает свежие новости без подключённого источника данных. Большие документы и длинные рассуждения требуют больше памяти и времени. Поэтому сначала проверьте качество именно на своих типовых задачах.

Основной маршрут этой памятки

Mac 48 ГБ → Q8 GGUF + llama.cpp; NVIDIA 48 ГБ → FP8 + vLLM

MacBook и Mac mini используют одну инструкцию ниже. Для ПК с NVIDIA есть отдельная краткая инструкция. Начальный результат — текстовый чат; картинки, документы и агент подключаются после проверки базы.

Для первого запуска: переходите к сборке, затем к агенту. Каталоги выше нужны, если вы хотите сравнить альтернативы.

1.2. Модели и программы

Основной маршрут на Mac: Qwen3.8-27B Q8 GGUF + llama.cpp; на NVIDIA: Qwen3.8-27B FP8 + vLLM. Для уже имеющегося ноутбука с 16–24 ГБ можно отдельно попробовать Qwen3.5-9B через Ollama; покупать устройство из сметы для этой пробы не требуется.

Модель — это файл с обученными весами. Обвязка — программа, которая его запускает и даёт окно для работы. Открытые веса можно скачать, но правила использования зависят от лицензии. Наличие файла модели само по себе не даёт чат, поиск по документам или права доступа.

1. Выберите модель

Четыре понятных кандидата для старта. Это подборка для сравнения на ваших задачах, а не рейтинг всех существующих моделей. B означает миллиарды параметров, а не гигабайты памяти.

Лёгкий старт

Qwen3.5 · 9B

Текст, код и изображения. Кандидат для первых опытов на ноутбуке; проверьте на своих письмах, таблицах и сканах.

Планируйте 16–24 ГБ памяти устройства для пробного запуска с коротким контекстом. Это ориентир, а не минимальное требование.

Лицензия весов: Apache 2.0

Карточка разработчика и файлы ↗ · Взять в Ollama ↗

Какой файл или команду выбрать: ollama run qwen3.5:9b

Команда выполняется в терминале после установки Ollama. Первая загрузка требует интернета; затем модель можно запускать локально.

Основная модель памятки

Qwen3.8 · 27B

Текст, код, изображения и многошаговые задачи. Подходит как кандидат для домашней станции и корпоративного пилота.

Для Q8 на Mac и FP8 на NVIDIA ориентир памятки — 48 ГБ памяти соответствующего типа. Ограничивайте контекст по фактическому расходу памяти.

Лицензия весов: Apache 2.0

Исходная модель ↗ · FP8 для NVIDIA ↗ · Q8 GGUF для Mac ↗ · MLX 8-bit для Mac ↗

Что выбрать: на Mac — Qwen3.8-27B-Q8_0.gguf; на NVIDIA — vllm serve Qwen/Qwen3.8-27B-FP8 после установки vLLM.

Сборка GGUF опубликована командой ggml-org. Для картинок также нужен совместимый mmproj из этого репозитория; поддержка зависит от версии приложения. FP8 — тоже снижение точности весов до 8 бит, а не исходная BF16; по памяти и точности это другой класс, чем Q4.

Текст + картинки

Gemma 3 · 12B IT

Модель Google для диалога, кратких изложений и разбора изображений. Вариант для сравнения качества с Qwen на одной подборке задач.

Для старта в Q4 планируйте 16–24 ГБ памяти. Длинные документы и изображения увеличивают расход.

Лицензия весов: Gemma Terms

Карточка разработчика и файлы ↗ · Взять в Ollama ↗

Какой файл или команду выбрать: ollama run gemma3:12b

Команда выполняется в терминале после установки Ollama. Первая загрузка требует интернета; затем модель можно запускать локально.

Рассуждения и код

gpt-oss · 20B

Текстовая модель OpenAI для рассуждений, программирования и работы с инструментами. Изображения напрямую не принимает.

Разработчик указывает запуск в 16 ГБ памяти с MXFP4. Для компьютера с ОС и другими приложениями нужен запас.

Лицензия весов: Apache 2.0

Карточка разработчика и файлы ↗ · Взять в Ollama ↗

Какой файл или команду выбрать: ollama run gpt-oss:20b

Команда выполняется в терминале после установки Ollama. Первая загрузка требует интернета; затем модель можно запускать локально.

Как понимать память. Q4 — веса около 4 бит, FP8 и Q8 — около 8 бит, BF16 — 16 бит. Размер скачанного файла меньше общего расхода памяти: дополнительно нужны контекст, изображения и программа. У Apple используется объединённая память; у ПК важны отдельно RAM и видеопамять. Начните с короткого диалога. Если памяти не хватает, уменьшите контекст или выберите меньшую модель.

2. Выберите обвязку

В инструкции для Mac ниже используется llama.cpp. Если хотите приложение с кнопками, LM Studio — отдельная альтернатива со своей инструкцией в карточке. Для NVIDIA используется vLLM. При смене движка следуйте его инструкции, а не командам llama-server.

МОДЕЛЬ → LM Studio → ЧАТ

Приложение для себя

LM Studio

Поиск и загрузка моделей, обычный чат и работа с документами в одном окне. Удобный первый маршрут для Mac, Windows и Linux.

Установить → Discover → найти модель → Download → Chat → Load. На Mac с 48 ГБ выбирайте совместимую сборку Q8.

Готовое приложение; условия использования LM Studio.

Скачать приложение ↗ · Инструкция ↗

Запуск моделей и API

Ollama

Загружает модели из каталога и запускает их локально. К нему можно подключить общий веб-чат. Есть приложение и команды для терминала.

Установить → выбрать локальную модель → выполнить команду из карточки выше. Модели с суффиксом :cloud работают в облаке.

Исходный код Ollama — MIT; у каждой модели своя лицензия.

Скачать Ollama ↗ · Каталог моделей ↗

GGUF → llama.cpp → ЧАТ

Движок для GGUF

llama.cpp

Запускает GGUF на процессоре и совместимых GPU. Встроенный llama-server даёт API и веб-чат. Для тех, кому нужен контроль настроек.

Скачать сборку для своей ОС → выбрать GGUF → запустить llama-server. Для изображений может потребоваться отдельный файл mmproj.

Открытый код, MIT.

Скачать готовую сборку ↗ · Инструкция сервера ↗

3. Скачайте и проверьте

1Источник

Откройте карточку разработчика. В Hugging Face файлы находятся на вкладке Files and versions; в Ollama используйте точное имя и размер модели.

2Совместимый формат

Для llama.cpp — GGUF. Для LM Studio — поддерживаемая сборка из поиска приложения. Для vLLM — веса и рецепт запуска из карточки модели; GGUF не универсален.

3Пробный результат

Задайте одинаковые вопросы двум моделям. Проверьте русский язык, ответы по документу и скорость. Затем отключите интернет и повторите локальный запрос.

Лицензии и источники. У Qwen и gpt-oss в этой подборке — Apache 2.0; у Gemma — собственные условия ↗. LM Studio распространяется по · условиям приложения ↗. Для Open WebUI проверьте · условия брендинга ↗. Ссылки на первоисточники приведены рядом с описаниями.

1.3. Агентские оболочки

Добавьте агентскую оболочку, когда ИИ должен выполнять задачу в несколько шагов: читать файлы, пользоваться программами и проверять результат.

Харнес (harness) — среда работы агента. Он передаёт задачу модели, хранит ход работы, вызывает инструменты и возвращает модели результат каждого действия. Модель выбирает следующий шаг; харнес организует его выполнение в пределах заданных прав.

МодельQwen, Gemma, gpt-ossПредлагает ответы и следующие действия

ДвижокOllama, LM Studio, vLLMЗапускает модель и принимает запросы

ХарнесOpenClaw, Hermes, OpenCode…Управляет шагами и вызовами инструментов

ИнструментыФайлы, браузер, терминал, MCPЧитают данные и выполняют действия

С чего начать

В учебной сборке ниже используем OpenCode для чтения и создания файлов. Если нужен помощник в мессенджере или другая среда работы, отдельно рассмотрите OpenClaw или Hermes. Для сайтов, скриптов и работы с кодом — OpenCode; если уже пользуетесь VS Code, рассмотрите Cline. Для небольших правок через терминал — Aider.

OpenClaw

Помощник в привычных каналах

OpenClaw

Агент на вашем компьютере или сервере. Принимает задачи через чат и мессенджеры, использует инструменты, навыки и автоматизации.

Пример задачи. Собрать сводку из разрешённой папки и подготовить черновик ответа.

С локальной моделью. Подключается к локальному Ollama через его родной API. В настройках OpenClaw нужен адрес без /v1.

С чего начать

Установка → первоначальная настройка → выбор модели → подключение одного канала.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Hermes Agent

Помощник с памятью и навыками

Hermes Agent

Агент Nous Research с памятью между сессиями, повторно используемыми навыками, расписанием и подключением мессенджеров. Есть приложение и терминал.

Пример задачи. Запомнить формат сводки и использовать его при следующей подготовке отчёта.

С локальной моделью. Можно подключить LM Studio или собственный сервер Ollama / vLLM через совместимый endpoint. Hermes Agent — программа; модель выбирается отдельно.

С чего начать

Установить → выбрать провайдера командой hermes model → указать модель → открыть рабочую папку.

Установка ↗ · Исходники ↗ · Подключение модели ↗

OpenCode

Агент для проектов и кода

OpenCode

Читает проект, предлагает изменения, редактирует файлы и запускает команды. Доступен в терминале, приложении и интеграциях с редактором.

Пример задачи. Добавить кнопку в сайт, изменить код и проверить результат.

С локальной моделью. Поддерживает локальный Ollama и совместимые API. Для Ollama в документации OpenCode используется адрес с /v1; выбирайте модель, умеющую вызывать инструменты.

С чего начать

Установить → открыть папку проекта → подключить провайдера → выбрать модель → дать небольшую задачу.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Cline

Агент внутри редактора

Cline

Работает в VS Code: исследует файлы, предлагает правки и выполняет действия через инструменты. Удобен, если проект уже открыт в редакторе.

Пример задачи. Найти ошибку, показать правку и запустить проверку после подтверждения.

С локальной моделью. В настройках можно выбрать Ollama или LM Studio, указать локальный сервер и модель.

С чего начать

Установить расширение → открыть настройки провайдера → выбрать локальную модель → поставить задачу.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Aider

Редактирование кода через терминал

Aider

Помощник для работы с файлами проекта и Git. Подходит для небольших, чётко сформулированных изменений и совместного написания кода.

Пример задачи. Исправить функцию в выбранных файлах и проверить изменения в Git.

С локальной моделью. Может работать с моделями Ollama. Качество редактирования зависит от модели и доступного ей контекста.

С чего начать

Установить → перейти в папку проекта → выбрать модель → добавить нужные файлы в диалог.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Как соединить с вашим стеком

В учебном маршруте начните с OpenCode через совместимый API: подробности в необязательном шаге 8 сборки. Для OpenClaw и остальных агентов используйте инструкцию конкретного провайдера; наличие поддержки Ollama не означает одинаковую настройку llama.cpp.

Основной стек: выбранный харнес → API llama-server → Qwen3.8-27B

Базовый чат llama-server остаётся доступен. Open WebUI нужен только для дополнительного интерфейса и поиска по документам. Харнес подключается к серверу модели отдельно и получает свои инструменты. Работающий чат ещё не доказывает, что модель надёжно выполняет многошаговые задания и вызовы инструментов.

1Подключите модель

Выберите локальный или внутренний сервер в настройках провайдера. Название модели должно совпадать с установленным. Адрес и формат API берите из инструкции конкретного харнеса.

2Дайте одну задачу

Создайте пробную папку с копиями двух-трёх документов. Попросите составить обзор и сохранить его в новый файл. Проверьте результат и список действий перед подключением остальных папок.

3Проверьте итог

Откройте созданный файл, сравните с исходниками и посмотрите выполненные действия. Для отправки сообщений, удаления и изменений во внешних системах настройте подтверждение.

Что учитывать в бюджете и настройке. Открытый код оболочки не включает стоимость облачных моделей и внешних инструментов. При локальной модели остаются расходы на оборудование и обслуживание. Для полностью внутреннего сценария проверьте также вспомогательные модели, поиск, мессенджеры и интеграции: Telegram или внешний веб-поиск обращаются во внешние сервисы. Поддержку вашей модели и нужных инструментов проверяйте в небольшом пилоте.

Официальные источники указаны рядом с описаниями. Проверено 11 октября 2026 года.

1.4. Бюджет

Для первого личного запуска я бы выбрал Mac mini M4 Pro с 48 ГБ и Q8 GGUF, если мобильность не нужна. Вариант с 64 ГБ даст запас для длинного контекста и многозадачности; его цену рассчитывают отдельно. Для поездок — MacBook Pro. ПК с модифицированной RTX 4090 имеет смысл при конкретной потребности в NVIDIA/CUDA и работе через FP8 + vLLM. Ниже — цены на страницах продавцов и отдельно расчётные резервы. Наличие не подтверждено заказом; доставка и условия оплаты согласуются с магазином.

СТАЦИОНАРНОЕ РАБОЧЕЕ МЕСТО

Mac mini M4 Pro

48 ГБ объединённой памяти · SSD 512 ГБ

≈ 260–350 тыс. ₽

Полный старт: компьютер, периферия и резерв на настройку

• Компьютер: ориентир 220–300 тыс. ₽.
• Монитор, клавиатура и мышь: резерв 25–40 тыс. ₽.
• Настройка: резерв 10–20 тыс. ₽; самостоятельно — 0 ₽ за услуги.

Apple Pro Store ↗ · 219 990 ₽ · нет в наличии · i-Lite ↗ · 259 990 ₽ по поисковому индексу. Страница i-Lite не подтвердилась при повторном открытии; цену и наличие нужно уточнить. Проверяйте точную конфигурацию и наличие у продавца.

ДЛЯ ПОЕЗДОК И РАБОТЫ ВЕЗДЕ

MacBook Pro M5 Pro

48 ГБ памяти · разные диагонали и SSD

≈ 330–530 тыс. ₽

Полный старт; диапазон включает разные конфигурации

• 16″ / 1 ТБ: 311 490 ₽ по индексу Nistone.
• 14″ / 2 ТБ: 488 600 ₽ наличными в AppMiStore.
• Периферия: 0–15 тыс. ₽; настройка: резерв 10–20 тыс. ₽.

Nistone ↗ · 16″ / 1 ТБ · цену уточнить · AppMiStore ↗ · 14″ / 2 ТБ · указано «в наличии». Nistone закрывает прямое чтение страницы кодом 403; цена взята из поискового индекса. Это разные товары, а не разброс цен на один артикул.

СПЕЦИАЛЬНЫЙ ПК ДЛЯ NVIDIA / CUDA

RTX 4090 · 48 ГБ

Модифицированная карта + системный блок

≈ 585–705 тыс. ₽

Полный старт при оплате GPU наличными

• Только карта: 438 230 ₽ наличными или 486 922 ₽ безналично.
• Остальной ПК: расчётный резерв 100–180 тыс. ₽.
• Периферия: 25–40 тыс. ₽; сборка и настройка: 20–40 тыс. ₽.

G.Race ↗ · поставка из Китая 21–28 дней. При безналичной оплате итог увеличится примерно на 49 тыс. ₽. Цена: G.Race. Нужны условия гарантии именно на модификацию и тест под вашей моделью. Цена системного блока — моя оценка, предложения на сборку пока нет.

Программная часть и дальнейшие расходы

Для стартового стека Mac: локальная модель → llama.cpp ↗ → браузерный интерфейс. Этот состав соответствует шагам 1–6 сборки. На ПК с NVIDIA вместо llama.cpp используйте FP8 и vLLM. Поиск по документам и агент — необязательные шаги 7–8; стоимость их настройки оценивается отдельно. В этой оценке на стартовое ПО заложено 0 ₽; платные приложения и облачные API не включены.

Настройка 10–20 тыс. ₽ для Mac и 20–40 тыс. ₽ для ПК — мой бюджетный резерв, не найденный прайс подрядчика. В него предполагаются установка, тест на небольших текстах, которые вы вставляете в чат, и проверка локальности. Сложные интеграции с корпоративными системами сюда не входят.

Электричество считайте по формуле: мощность в кВт × часы работы × ваш тариф. Пример допущений: при 4 часах в день и 8 ₽/кВт·ч, 60 Вт дают около 58 ₽/месяц, 500 Вт — около 480 ₽/месяц. Это сценарный расчёт, не измерение указанных устройств. Необязательное сопровождение: резерв 0–5 тыс. ₽/месяц.

1.5. Пошаговая сборка

Mac с 48 ГБ → Qwen3.8-27B Q8 GGUF → llama.cpp / llama-server → локальный чат. Шаги 1–6 дают рабочий текстовый чат. Шаги 7–8 — дополнительные возможности. Для MacBook и Mac mini приведены отдельные маршруты сборки; маршрут NVIDIA с FP8 указан после них.

Один шаг — одно действие и проверяемый результат.

Перед командами: как открыть Терминал на Mac

Нажмите ⌘ Пробел, напечатайте Терминал (или Terminal), нажмите Return / Enter. В его окне вставляйте команды из зелёных блоков и нажимайте Return. Кнопка «Копировать» берёт только команду. Текст задания для модели вводится в чат — место ввода всегда подписано.

После обычной команды дождитесь новой строки приглашения (обычно заканчивается % или $). После запуска сервера приглашение не возвращается: окно занято работающей моделью. Для следующих команд откройте Shell → New Tab / Новая вкладка или нажмите ⌘ T. Не вводите команды в окно, где ещё работает сервер.

Маршрут проверяется по частям: установка → файл → чат → агент → файл результата. Если проверка шага не прошла, сначала откройте таблицу ошибок.

Ноутбук

Перед шагом 3 прочитайте как открыть Терминал.

Положите перед собой

Ноутбук + зарядка

Также нужны: интернет для загрузки, 60 ГБ свободного места на SSD. Учебные задания уже даны ниже; затем добавьте свои примеры.

brew --version

brew install llama.cpp

llama-server --version

brew --version

brew install llama.cpp

llama-server --version

mkdir -p "$HOME/Models"

mkdir -p "$HOME/Models"

llama-server -m "$HOME/Models/Qwen3.8-27B-Q8_0.gguf" --alias local-qwen --host 127.0.0.1 --port 8080 --jinja -c 8192

llama-server -m "$HOME/Models/Qwen3.8-27B-Q8_0.gguf" --alias local-qwen --host 127.0.0.1 --port 8080 --jinja -c 8192

Встреча «Маяк» назначена на 15 октября в 11:00. Анна готовит смету. Борис бронирует зал. Число участников пока не определено.
Перечисли дату, время, поручения и число участников. Если сведений нет, так и напиши.

Встреча «Маяк» назначена на 15 октября в 11:00. Анна готовит смету. Борис бронирует зал. Число участников пока не определено.
Перечисли дату, время, поручения и число участников. Если сведений нет, так и напиши.

Стационарный компьютер · Mac mini

Перед шагом 3 прочитайте как открыть Терминал.

Положите перед собой

Mac mini + монитор + кабель + клавиатура + мышь

Также нужны: интернет для загрузки, 60 ГБ свободного места на SSD. Учебные задания уже даны ниже; затем добавьте свои примеры.

brew --version

brew install llama.cpp

llama-server --version

brew --version

brew install llama.cpp

llama-server --version

mkdir -p "$HOME/Models"

mkdir -p "$HOME/Models"

llama-server -m "$HOME/Models/Qwen3.8-27B-Q8_0.gguf" --alias local-qwen --host 127.0.0.1 --port 8080 --jinja -c 8192

llama-server -m "$HOME/Models/Qwen3.8-27B-Q8_0.gguf" --alias local-qwen --host 127.0.0.1 --port 8080 --jinja -c 8192

Встреча «Маяк» назначена на 15 октября в 11:00. Анна готовит смету. Борис бронирует зал. Число участников пока не определено.
Перечисли дату, время, поручения и число участников. Если сведений нет, так и напиши.

Встреча «Маяк» назначена на 15 октября в 11:00. Анна готовит смету. Борис бронирует зал. Число участников пока не определено.
Перечисли дату, время, поручения и число участников. Если сведений нет, так и напиши.

Если у вас ПК с NVIDIA 48 ГБ

Это отдельный маршрут с настройщиком. Открытие /v1 в браузере не создаёт чат. Передайте настройщику такое задание:

Подготовьте на совместимой NVIDIA 48 ГБ Linux, драйвер и vLLM с моделью Qwen/Qwen3.8-27B-FP8. Установите Open WebUI и соедините его с моделью. Передайте мне адрес чата, способ входа, адрес API для агента, точное Model ID, способ запуска после перезагрузки и ваш контакт. Проверьте текстовый запрос и один вызов файлового инструмента из выбранного харнеса.

Что получаете: две разные строки — «открыть чат в браузере» и «вставить API в настройки агента». Адреса заполняет настройщик после установки. Без них переходить к агенту рано.

Что проверяете сами: войдите по адресу чата, вставьте пример про встречу «Маяк» из шага 6 выше, сверьте пять фактов. Для офлайн-проверки ПК с моделью и экраном на одной машине отключите внешнюю сеть после установки. Если модель на другом сервере, оставьте локальную сеть включённой, а доступ в интернет отключает администратор.

vllm serve Qwen/Qwen3.8-27B-FP8 --host 127.0.0.1 --port 8000

Если хотите сравнить MLX на Mac

MLX Community публикует Qwen3.8-27B-8bit ↗ размером около 29,5 ГБ. Это нативный для Apple Silicon вариант, который имеет смысл сравнить с Q8 GGUF на одних и тех же 10 задачах: качество, скорость и расход памяти. Для текста и изображений смотрите инструкцию mlx-vlm в карточке модели. Стандартный CUDA-маршрут vLLM для Mac не подходит; существует отдельный vLLM Metal ↗ на базе MLX. Для первого личного запуска он усложняет настройку без необходимости.

Продолжение: документы и действия

Эти шаги можно пропустить, если достаточно чата. Они не включены автоматически в базовую стоимость настройки.

1.6. Подключите харнес и инструменты

Что появится: отдельная программа-агент, подключение к вашей модели и инструменты для работы с данными. На этом сайте вы читаете инструкцию; установка выполняется на выбранном компьютере.

Три подключения: API модели — адрес, куда харнес отправляет запрос; инструмент — программа, выполняющая действие; MCP — способ подключить к харнесу дополнительные инструменты. Ключ доступа подтверждает право обращения к сервису.

Учебный маршрут ниже: Mac + llama-server + OpenCode. Он использует уже запущенную модель и готовые файлы настройки. OpenCode выбран для одного повторяемого примера; Hermes и OpenClaw остаются альтернативами в каталоге. Не устанавливайте три оболочки одновременно. На NVIDIA или в компании настройщик заменяет адрес и имя модели в конфигурации.

Сначала пройдите А1 → А2 → А3 → А4: агент прочитает два файла и создаст третий. А5 (браузер) и А6 (навык) добавляются по желанию после успешного результата.

brew install anomalyco/tap/opencode

opencode --version

brew install anomalyco/tap/opencode

opencode --version

cd "$HOME/AI-pilot"

opencode

cd "$HOME/AI-pilot"

opencode

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "local": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Мой сервер модели",
      "options": {"baseURL": "http://127.0.0.1:8080/v1"},
      "models": {"local-qwen": {"name": "Мой Qwen", "limit": {"context": 8192, "output": 2048}}}
    }
  },
  "model": "local/local-qwen",
  "permission": {"*": "ask"}
}

Прочитай инструментом файлы brief.txt и tasks.txt из текущей папки. Напиши имена файлов и первую строку каждого. Ничего не изменяй.

Прочитай инструментом файлы brief.txt и tasks.txt из текущей папки. Напиши имена файлов и первую строку каждого. Ничего не изменяй.

Прочитай brief.txt и tasks.txt. Создай в текущей папке summary.md: дата и время встречи, участники, поручения и незакрытые вопросы. У каждого факта укажи имя исходного файла. Не изменяй исходники, ничего не отправляй.

Прочитай brief.txt и tasks.txt. Создай в текущей папке summary.md: дата и время встречи, участники, поручения и незакрытые вопросы. У каждого факта укажи имя исходного файла. Не изменяй исходники, ничего не отправляй.

brew install node

Через Playwright открой https://example.com и сообщи заголовок страницы. Если браузер не установлен, предложи его установку и запроси разрешение. Больше никуда не переходи.

brew install node

Через Playwright открой https://example.com и сообщи заголовок страницы. Если браузер не установлен, предложи его установку и запроси разрешение. Больше никуда не переходи.

mkdir -p "$HOME/AI-pilot/.opencode/skills/meeting-summary"

mkdir -p "$HOME/AI-pilot/.opencode/skills/meeting-summary"

Если выбран OpenClaw

Установите OpenClaw, выберите провайдера модели, затем подключите инструменты и выполните пробу А4. Для vLLM используйте отдельную инструкцию провайдера; для Ollama — родной API Ollama, обычно http://127.0.0.1:11434 без /v1. Это два разных маршрута: добавлять Ollama к работающему vLLM автоматически не требуется. Браузер настраивается отдельно. Подключение Telegram — канал общения с агентом; доступ к рабочим файлам оно само по себе не создаёт.

1.7. Видео к инструкции

Начните с русскоязычного примера OpenCode, если хотите увидеть работу агента. Для запуска модели на Mac используйте первый ролик.

Смотрите нужный эпизод, возвращайтесь к карточке шага и выполняйте её проверку. Модель, адреса и команды берите из нашей инструкции; отличия каждого ролика подписаны ниже. Видео открываются на сайте автора в новой вкладке.

▶

Английский · Joe Maddalone

llama.cpp на Mac: от установки до своего чата

К инструкции: Сборка · шаги 3–5

Что смотреть. Как выглядит запуск сервера модели на Mac и переход к браузерному интерфейсу.

Как применить у нас. В ролике llama.cpp собирают из исходников. В нашей памятке устанавливаем через Homebrew; файл Q8 и полную команду запуска берите из шагов 3–5.

Смотреть видео ↗

Название у автора

Build llama.cpp From Source (llama-server) on Mac

▶

Русский · 14:17 · Мастерская Кода · Евгений Носенко

Агент работает с файлами: пример OpenCode

К инструкции: Харнес · А1–А4

Что смотреть. Как задача в чате превращается в HTML, CSS и JavaScript в рабочей папке. Смотрите отличие ответа модели от созданных файлов.

Как применить у нас. У автора Ollama и Gemma 3 27B. В учебной сборке используем llama-server, Qwen и папку AI-pilot; подключение и разрешения — по А2–А4.

Смотреть видео ↗ Версия автора на VK Видео ↗Страница автора / источник подборки ↗

Название у автора

OpenCode + Ollama: локальный AI-агент, который пишет код без облака

▶

Испанский · Nichonauta

Соединение llama.cpp → OpenCode

К инструкции: Харнес · А2, затем А4

Что смотреть. С 23:17 — подключение OpenCode к запущенному llama.cpp; с 26:01 — пример задачи по созданию страницы.

Как применить у нас. Ролик ориентирован на NVIDIA/CUDA, другой вариант Qwen и дополнительные настройки. Для Mac сохраняйте параметры нашей инструкции. Сложные настройки ускорения для первого запуска не нужны.

Смотреть с 23:17 ↗

Название у автора

IA Local para Programar: Configura Qwen con llama.cpp y OpenCode

Подборка проверена 11.10.2026 по описаниям, главам и страницам авторов; названия подтверждены метаданными YouTube. Для перевода используйте субтитры и автоперевод, если они доступны в плеере.

2. Для компании

2.1. Базовый стек

Что понадобится

Сервер или рабочая станция с RTX PRO 6000 Blackwell на 96 ГБ видеопамяти ↗, системной памятью, быстрым SSD и сетью. Одна карта подходит как старт для пилота. Если требуется до 30 одновременных ответов, сравните в пилоте одну и две GPU или два сервера. Число карт определяют измерения и допустимое время ожидания. На личном стенде ведущего RTX 4090 с 48 ГБ обслуживала до 15 одновременных запросов к Qwen3.8-27B (исследование скорости ↗). В обсуждении на занятии прозвучала оценка до 32 параллельных потоков на двух RTX PRO 6000. Для корпоративной конфигурации её нужно проверить отдельно: число потоков само по себе не гарантирует комфортной скорости.

Что входит в «обвязку»

Сервер модели с API, привычный сотрудникам интерфейс, учётные записи и права доступа, подключение внутренних документов и систем, мониторинг нагрузки и резервное копирование. Нужен ответственный за инфраструктуру и доступы, а для рабочих сценариев — владелец со стороны бизнеса. Полезность решения появляется, когда модель встроена в конкретную задачу: например, поиск по документам, переписку с поставщиками или поддержку клиентов.

Сколько закладывать

Рабочий ориентир ведущего: 1,7–2,2 млн ₽ за одну RTX PRO 6000 + около 1 млн ₽ на общую обвязку. Тогда две карты дают 4,4–5,4 млн ₽ на запуск при одном общем комплекте обвязки. Это предварительный бюджет: состав оборудования, работы, налоги и гарантию уточняют в КП.

Как проверить до закупки

Возьмите 10–20 настоящих задач команды, измерьте качество ответов и время ожидания. Затем проверьте нагрузку при 30 одновременных запросах: время до начала ответа, скорость выдачи и очередь. Число сотрудников с доступом и число одновременно работающих людей — разные показатели. Для такой проверки подходит, например, нагрузочный тест vLLM ↗.

Маршрут внедрения:

личный пробный запуск → пилот для небольшой группы → тест на реальных документах и параллельных запросах → окончательная конфигурация компании.

Основной маршрут этой памятки

Сервер с GPU → Qwen3.8-27B-FP8 → vLLM → Open WebUI → поиск по документам и персональные права

Корпоративная инструкция использует официальные FP8-веса и vLLM. На RTX PRO 6000 с 96 ГБ поместится и BF16, но FP8 оставляет больше памяти под контекст и одновременные запросы. Одна GPU — конфигурация пилота с очередью. Две GPU — вариант для сравнения под нагрузкой.

Для первого запуска: переходите к сборке, затем к агенту. Каталоги выше нужны, если вы хотите сравнить альтернативы.

2.2. Модели и программы

Для команды из 20–30 человек разделите интерфейс и сервер моделей. Сначала проверьте одну модель на своих задачах и измерьте параллельную нагрузку.

Модель — это файл с обученными весами. Обвязка — программа, которая его запускает и даёт окно для работы. Открытые веса можно скачать, но правила использования зависят от лицензии. Наличие файла модели само по себе не даёт чат, поиск по документам или права доступа.

1. Выберите модель

Четыре понятных кандидата для старта. Это подборка для сравнения на ваших задачах, а не рейтинг всех существующих моделей. B означает миллиарды параметров, а не гигабайты памяти.

Основная модель памятки

Qwen3.8 · 27B

Текст, код, изображения и многошаговые задачи. Подходит как кандидат для домашней станции и корпоративного пилота.

Для корпоративного сервера выбран FP8. Число GPU подбирайте по одновременной нагрузке и времени ожидания.

Лицензия весов: Apache 2.0

Исходная модель ↗ · Официальные FP8-веса ↗

Какую команду выбрать: vllm serve Qwen/Qwen3.8-27B-FP8

Репозиторий FP8 выпущен разработчиком модели и содержит пример запуска через vLLM. Зафиксируйте версии модели и движка в пилоте.

Лёгкий старт

Qwen3.5 · 9B

Текст, код и изображения. Кандидат для первых опытов на ноутбуке; проверьте на своих письмах, таблицах и сканах.

Планируйте 16–24 ГБ памяти устройства для пробного запуска с коротким контекстом. Это ориентир, а не минимальное требование.

Лицензия весов: Apache 2.0

Карточка разработчика и файлы ↗ · Взять в Ollama ↗

Какой файл или команду выбрать: ollama run qwen3.5:9b

Команда выполняется в терминале после установки Ollama. Первая загрузка требует интернета; затем модель можно запускать локально.

Текст + картинки

Gemma 3 · 12B IT

Модель Google для диалога, кратких изложений и разбора изображений. Вариант для сравнения качества с Qwen на одной подборке задач.

Для старта в Q4 планируйте 16–24 ГБ памяти. Длинные документы и изображения увеличивают расход.

Лицензия весов: Gemma Terms

Карточка разработчика и файлы ↗ · Взять в Ollama ↗

Какой файл или команду выбрать: ollama run gemma3:12b

Команда выполняется в терминале после установки Ollama. Первая загрузка требует интернета; затем модель можно запускать локально.

Рассуждения и код

gpt-oss · 20B

Текстовая модель OpenAI для рассуждений, программирования и работы с инструментами. Изображения напрямую не принимает.

Разработчик указывает запуск в 16 ГБ памяти с MXFP4. Для компьютера с ОС и другими приложениями нужен запас.

Лицензия весов: Apache 2.0

Карточка разработчика и файлы ↗ · Взять в Ollama ↗

Какой файл или команду выбрать: ollama run gpt-oss:20b

Команда выполняется в терминале после установки Ollama. Первая загрузка требует интернета; затем модель можно запускать локально.

Как понимать память. FP8 снижает точность весов до 8 бит; модель в памяти занимает больше места, чем Q4, но оставляет на 96 ГБ GPU запас под контекст и несколько запросов. Размер скачанного файла меньше общего расхода памяти: дополнительно нужны контекст, изображения и программа. Для 20–30 пользователей число одновременно работающих сессий важнее числа учётных записей; окончательную конфигурацию определяет пилот.

2. Выберите обвязку

Основной маршрут инструкции: Open WebUI + vLLM + Qwen3.8-27B-FP8. Ollama — альтернативный движок для пилота; при его выборе меняются настройки подключения и способ нагрузочного теста. Одновременно оба движка не требуются.

Общий чат и документы

Open WebUI

Веб-интерфейс для сотрудников: чаты, учётные записи, документы и поиск по ним. Подключается к Ollama или совместимому API сервера моделей.

Администратор устанавливает Open WebUI → подключает модель → создаёт пользователей → проверяет права на документы.

Своя лицензия с условиями по брендингу: см. ссылку ниже.

Установка / Docker ↗ · Исходники и релизы ↗

Сервер для команды

vLLM

Обслуживает запросы к модели на GPU и предоставляет API. Кандидат для корпоративной нагрузки; отдельный пользовательский чат подключается сверху.

Администратор выбирает совместимую версию → ставит сервер → загружает модель → подключает Open WebUI → измеряет нагрузку.

Открытый код, Apache 2.0.

Установка vLLM ↗ · Исходники ↗

Запуск моделей и API

Ollama

Загружает модели из каталога и запускает их локально. К нему можно подключить общий веб-чат. Есть приложение и команды для терминала.

Установить → выбрать локальную модель → выполнить команду из карточки выше. Модели с суффиксом :cloud работают в облаке.

Исходный код Ollama — MIT; у каждой модели своя лицензия.

Скачать Ollama ↗ · Каталог моделей ↗

3. Скачайте и проверьте

1Источник

Откройте карточку разработчика. В Hugging Face файлы находятся на вкладке Files and versions; в Ollama используйте точное имя и размер модели.

2Совместимый формат

Для llama.cpp — GGUF. Для LM Studio — поддерживаемая сборка из поиска приложения. Для vLLM — веса и рецепт запуска из карточки модели; GGUF не универсален.

3Пробный результат

Задайте одинаковые вопросы двум моделям. Проверьте русский язык, ответы по документу и скорость. Затем отключите интернет и повторите локальный запрос.

Лицензии и источники. У Qwen и gpt-oss в этой подборке — Apache 2.0; у Gemma — собственные условия ↗. LM Studio распространяется по · условиям приложения ↗. Для Open WebUI проверьте · условия брендинга ↗. Ссылки на первоисточники приведены рядом с описаниями.

Для поиска по документам нужен отдельный компонент. Qwen3.8 пишет ответ, а embedding-модель помогает находить нужные фрагменты. Кандидат для внутреннего поиска — Qwen3-Embedding-0.6B ↗ (Apache 2.0). Настройщик запускает её внутри контура через совместимый сервис, подключает к Open WebUI и проверяет поиск на русском языке. Также нужны извлечение текста и индекс; для сканов — OCR. · Как устроен поиск в Open WebUI ↗.

2.3. Агентские оболочки

Общий сервер моделей можно использовать для разных агентов сотрудников. Рабочие папки, память и права каждого агента настраиваются отдельно.

Харнес (harness) — среда работы агента. Он передаёт задачу модели, хранит ход работы, вызывает инструменты и возвращает модели результат каждого действия. Модель выбирает следующий шаг; харнес организует его выполнение в пределах заданных прав.

МодельQwen, Gemma, gpt-ossПредлагает ответы и следующие действия

ДвижокOllama, LM Studio, vLLMЗапускает модель и принимает запросы

ХарнесOpenClaw, Hermes, OpenCode…Управляет шагами и вызовами инструментов

ИнструментыФайлы, браузер, терминал, MCPЧитают данные и выполняют действия

С чего начать

Для сотрудников с офисными задачами начните пилот с OpenClaw или Hermes. Для разработки выберите OpenCode, Cline или Aider. Выбор по задаче — рекомендация этой памятки; устанавливать всё сразу не требуется.

OpenClaw

Помощник в привычных каналах

OpenClaw

Агент на вашем компьютере или сервере. Принимает задачи через чат и мессенджеры, использует инструменты, навыки и автоматизации.

Пример задачи. Собрать сводку из разрешённой папки и подготовить черновик ответа.

С локальной моделью. Подключается к локальному Ollama через его родной API. В настройках OpenClaw нужен адрес без /v1.

С чего начать

Установка → первоначальная настройка → выбор модели → подключение одного канала.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Hermes Agent

Помощник с памятью и навыками

Hermes Agent

Агент Nous Research с памятью между сессиями, повторно используемыми навыками, расписанием и подключением мессенджеров. Есть приложение и терминал.

Пример задачи. Запомнить формат сводки и использовать его при следующей подготовке отчёта.

С локальной моделью. Можно подключить LM Studio или собственный сервер Ollama / vLLM через совместимый endpoint. Hermes Agent — программа; модель выбирается отдельно.

С чего начать

Установить → выбрать провайдера командой hermes model → указать модель → открыть рабочую папку.

Установка ↗ · Исходники ↗ · Подключение модели ↗

OpenCode

Агент для проектов и кода

OpenCode

Читает проект, предлагает изменения, редактирует файлы и запускает команды. Доступен в терминале, приложении и интеграциях с редактором.

Пример задачи. Добавить кнопку в сайт, изменить код и проверить результат.

С локальной моделью. Поддерживает локальный Ollama и совместимые API. Для Ollama в документации OpenCode используется адрес с /v1; выбирайте модель, умеющую вызывать инструменты.

С чего начать

Установить → открыть папку проекта → подключить провайдера → выбрать модель → дать небольшую задачу.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Cline

Агент внутри редактора

Cline

Работает в VS Code: исследует файлы, предлагает правки и выполняет действия через инструменты. Удобен, если проект уже открыт в редакторе.

Пример задачи. Найти ошибку, показать правку и запустить проверку после подтверждения.

С локальной моделью. В настройках можно выбрать Ollama или LM Studio, указать локальный сервер и модель.

С чего начать

Установить расширение → открыть настройки провайдера → выбрать локальную модель → поставить задачу.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Aider

Редактирование кода через терминал

Aider

Помощник для работы с файлами проекта и Git. Подходит для небольших, чётко сформулированных изменений и совместного написания кода.

Пример задачи. Исправить функцию в выбранных файлах и проверить изменения в Git.

С локальной моделью. Может работать с моделями Ollama. Качество редактирования зависит от модели и доступного ей контекста.

С чего начать

Установить → перейти в папку проекта → выбрать модель → добавить нужные файлы в диалог.

Установка ↗ · Исходники ↗ · Подключение модели ↗

Как соединить с вашим стеком

Агент сотрудника → внутренний API → vLLM + модель на сервере компании

Обычный чат Open WebUI можно сохранить для вопросов и документов. Харнес подключается к серверу модели отдельно и получает свои инструменты. Работающий чат ещё не доказывает, что модель надёжно выполняет многошаговые задания и вызовы инструментов.

1Подключите модель

Выберите локальный или внутренний сервер в настройках провайдера. Название модели должно совпадать с установленным. Адрес и формат API берите из инструкции конкретного харнеса.

2Дайте одну задачу

Создайте отдельную рабочую область для пилотной группы, подключите внутренний сервер моделей и задайте доступ к нужным источникам. Общий сервер модели не означает общую память агентов. Проверьте разделение данных двумя тестовыми пользователями.

3Проверьте итог

Откройте созданный файл, сравните с исходниками и посмотрите выполненные действия. Для отправки сообщений, удаления и изменений во внешних системах настройте подтверждение.

Что учитывать в бюджете и настройке. Открытый код оболочки не включает стоимость облачных моделей и внешних инструментов. При локальной модели остаются расходы на оборудование и обслуживание. Для полностью внутреннего сценария проверьте также вспомогательные модели, поиск, мессенджеры и интеграции: Telegram или внешний веб-поиск обращаются во внешние сервисы. Поддержку вашей модели и нужных инструментов проверяйте в небольшом пилоте.

Официальные источники указаны рядом с описаниями. Проверено 11 октября 2026 года.

2.4. Бюджет и поставщики

Начните с измерения нагрузки. 30 учётных записей не означают 30 одновременных генераций. Один GPU — кандидат для пилота с очередью; два GPU — кандидат для более высокой нагрузки. Ни один из вариантов не имеет подтверждённой в этой оценке производительности на 30 параллельных запросах. Рабочие ноутбуки сотрудников считаем уже имеющимися.

Одна RTX PRO 6000 · пилот

2,7–3,2 млн ₽ на запуск = одна карта за 1,7–2,2 млн ₽ + 1 млн ₽ общей обвязки.

Две RTX PRO 6000 · проверка нагрузки 30 человек

4,4–5,4 млн ₽ на запуск = две карты по 1,7–2,2 млн ₽ + тот же 1 млн ₽ общей обвязки. Расчёт предполагает одну совместимую платформу, а не отдельный сервер под каждую карту. Два GPU в одном сервере не дают отказоустойчивость самого сервера.

Где запросить оборудование

MDM Electronics — RTX PRO 6000 · Сервис 2010 / Abgreyd — сервер с двумя GPU · ITELON — Server Edition · ServerMall.

Фото карты — из карточки MDM, сервера — из карточки Сервис 2010. Ссылки сохранены для запроса спецификации; бюджет выше — ориентир ведущего, а не текущий прайс этих магазинов. Наличие, версия карты, гарантия и налоги требуют подтверждения поставщика.

Что входит в «обвязку»

В запросе КП перечислите серверное шасси, CPU, RAM, NVMe, питание и охлаждение, сеть, ИБП, резервное копирование, установку vLLM и интерфейса, права доступа, мониторинг и нагрузочный тест. Миллион рублей — бюджетный ориентир ведущего, а не подтверждённая цена этого полного перечня. Поставщик должен показать состав и стоимость каждой позиции. Отдельно уточните версию GPU (Server или Workstation Edition), налоги, гарантию, доставку и совместимость двух карт в одном шасси. Интеграции с 1С/CRM, OCR сложных сканов, лицензии и круглосуточный SLA оцениваются отдельно.

Эксплуатация и стоимость первого года

Техническое сопровождение: резерв 30–80 тыс. ₽/месяц. Это 360–960 тыс. ₽/год на обновления, мониторинг, резервные копии и устранение сбоев. Внутренний администратор может выполнять эту работу, но его время тоже имеет стоимость. Развитие бизнес-сценариев и 24/7 SLA оцениваются отдельно.

Пример электричества: при средней нагрузке 0,8–1,5 кВт, круглосуточной работе и условном тарифе 8 ₽/кВт·ч получаем 4 608–8 640 ₽ за 30 дней. Это допущения, не измерение сервера. Охлаждение и размещение в ЦОД сюда не входят.

Для двух GPU первый год ≈ 4,82–6,46 млн ₽ = запуск 4,4–5,4 млн ₽ + сопровождение 0,36–0,96 млн ₽ + электричество 0,055–0,104 млн ₽. Налоговые поправки, охлаждение, аренда и работы вне состава «обвязки» увеличат сумму.

Что проверить в пилоте: 10–20 реальных задач → нагрузка 1 / 5 / 10 / 20 / 30 одновременных запросов → время до первого токена, скорость ответа, очередь и качество. Используйте одну и ту же модель, контекст и длину ответа. Пример инструмента — vLLM bench serve ↗. Для модели, помещающейся на одном GPU, можно проверить две реплики с распределением запросов. Объём памяти двух GPU не становится автоматически единой памятью для одного запроса.

Состав корпоративного стека

Qwen3.8-27B-FP8 + vLLM → Open WebUI → персональные учётные записи → локальная embedding-модель, извлечение текста и индекс → мониторинг и резервное копирование. Это состав шагов 1–9 инструкции. Отдельно нужны владелец инфраструктуры и владелец бизнес-сценария. Выбор ПО и проверка лицензий входят в проектирование; платные лицензии в этой оценке не заложены. OCR сложных сканов, интеграции и настройка агентов из шага 10 требуют отдельной оценки.

Для запроса поставщику: точная версия GPU и артикул, CPU/RAM/SSD, охлаждение и питание, цена с налогами и доставкой, гарантия на весь сервер, срок поставки, сборка и тест. Запросите тест вашей модели на 30 параллельных запросах с согласованным временем ожидания. Ориентир 1 млн ₽ на обвязку нужно подтвердить спецификацией и предложением на работы.

2.5. Пилот и внедрение

Сервер с GPU → Qwen3.8-27B-FP8 → vLLM → Open WebUI → поиск по документам и персональные права. Шаги 1–8 выполняются на пилотном стенде, шаг 9 — закупка или принятие окончательной конфигурации и передача команде. Агент добавляется отдельно в шаге 10.

Если вы руководитель или сотрудник: не вводите серверные команды на своём ноутбуке. В карточках ниже вы передаёте конкретное задание администратору, получаете адрес / файл / протокол и сами проверяете результат. Если администратора пока нет, начните с выбора исполнителя; готовый сервер не настраивает себя.

Если вы администратор: используйте официальные инструкции vLLM и Open WebUI для выбранной ОС, сети и способа установки. Эта памятка задаёт последовательность и приёмку; конкретные команды вашей инфраструктуры фиксируются в паспорте системы. Сотрудник должен получить уже заполненные адреса, а не шаблоны.

9 основных шагов и один дополнительный шаг с агентом для 20–30 человек.

Подготовьте комплект

Сервер в сборе + ИБП + место с охлаждением + внутренняя сеть

Также нужны: рабочие компьютеры сотрудников, модель и интерфейс, разрешённые документы, администратор и владелец задачи.

Продолжение: агент выполняет действия

2.6. Подключите агентов сотрудников

Это продолжение шага 10: шесть конкретных операций для администратора и владельца задачи. Для пилота выберите один харнес и двух тестовых пользователей. Здесь показан вариант с отдельными рабочими средами агентов внутри компании.

2.7. Видео к инструкции

Сотруднику — первый ролик про окно чата. Администратору — видео про vLLM и API.

Смотрите нужный эпизод, возвращайтесь к карточке шага и выполняйте её проверку. Модель, адреса и команды берите из нашей инструкции; отличия каждого ролика подписаны ниже. Видео открываются на сайте автора в новой вкладке.

▶

Русский · Java coding interview

Первый вход и первое сообщение в Open WebUI

К инструкции: Корпоративная сборка · шаг 5

Что смотреть. С 06:00 — интерфейс и первый вход; с 07:10 — проба модели. Администратору может пригодиться установка с 02:05.

Как применить у нас. В ролике Open WebUI соединён с Ollama. В нашей компании движок — vLLM: адрес, авторизацию и модель выдаёт администратор.

Смотреть с 06:00 ↗

Название у автора

Open WebUI для локальных AI моделей

▶

Английский · AI DevBytes

Ориентируемся в возможностях Open WebUI

К инструкции: Документы и чат · шаги 5–6

Что смотреть. Обзор интерфейса как дополнительная ориентация перед работой с документами. Ролик включён в видеогалерею документации Open WebUI.

Как применить у нас. Показаны Llama 3 и Ollama, интерфейс может отличаться. Коллекцию, права отделов и проверку источников настраивайте по шагу 6. Поиск внутри чата подключается к агенту отдельно, по Б3.

Смотреть видео ↗ Страница автора / источник подборки ↗

Название у автора

ULTIMATE Llama 3 UI: Dive into Open WebUI & Ollama!

▶

Английский · Probably Private

Администратору: модель на GPU и доступ через API

К инструкции: Корпоративная сборка · шаг 5; харнес · Б2

Что смотреть. С 06:23 — запуск vLLM Serve; с 07:54 — обращение через совместимый API; с 08:54 — тестовый запрос.

Как применить у нас. Это демонстрация запуска и соединения машин. Для компании отдельно нужны персональный доступ, изоляция, резервная копия и замер нагрузки по нашей инструкции. Модель здесь выбирает администратор: Qwen3.8-27B-FP8.

Смотреть с 06:23 ↗

Название у автора

Building Local AI: Getting Started with vLLM

Подборка проверена 11.10.2026 по описаниям, главам и страницам авторов; названия подтверждены метаданными YouTube. Для перевода используйте субтитры и автоперевод, если они доступны в плеере.