Заказать ИИ-автоматизацию

Технологии простыми словами3 мин чтения

Локальная нейросеть для компании: какие модели поставить на свой сервер

Локальная нейросеть для компании — открытая языковая модель вроде Qwen, Llama, Gemma или DeepSeek, запущенная на вашем сервере. Модели на 7–8 млрд параметров работают на видеокарте с 8 ГБ памяти, на 30 млрд нужны примерно 24 ГБ, на 70 млрд около 48 ГБ. Для нескольких пользователей используют vLLM, для пробы Ollama.

Красная клавиша с сервером среди клавиш с процессором, диском и замком

Своя нейросеть нужна не всем. Облачные модели сильнее, проще и часто дешевле. Но есть случаи, когда данные не должны уходить из компании: биометрия, данные абонентов связи (их в Узбекистане по закону нельзя обрабатывать за рубежом), медицинские карты, договоры с запретом передачи третьим лицам, требования службы безопасности. Тогда ставят открытую модель на свой сервер или в дата-центр в стране.

Какие модели есть

Открытые модели, которые чаще всего ставят в компаниях
СемействоЧем сильноЛицензия
Qwen (Alibaba)хорошо с русским и многими языками, есть модели от 1 до десятков млрд параметровнебольшие и средние модели обычно Apache 2.0; флагманские версии Alibaba сделала закрытыми
Llama (Meta)большое сообщество, много готовых сбороксвоя лицензия Meta с условиями для очень крупных компаний
Gemma (Google)компактные модели с хорошим качествомсвоя лицензия Google
DeepSeekсильные модели для рассужденийсвежие версии по сообщениям под MIT; у старых весов отдельная лицензия
Mistralбыстрые модели среднего размерачасть моделей Apache 2.0

Лицензии меняются от версии к версии; проверяйте конкретные веса перед запуском ·

Узбекский язык у открытых моделей пока слабее, чем у крупных облачных. Если бот будет отвечать клиентам на узбекском, качество надо проверить на ваших примерах до покупки железа.

Сколько нужно видеопамяти

Главный параметр — видеопамять (VRAM), потому что модель целиком должна в неё поместиться. Модели обычно сжимают до 4 бит на параметр (квантизация), почти без потери качества на прикладных задачах.

Ориентиры по видеопамяти при 4-битном сжатии
Размер моделиVRAMПример железаДля чего
7–8 млрд6–8 ГБигровая видеокарта среднего классаклассификация заявок, извлечение полей
14 млрдоколо 10–16 ГБвидеокарта на 16 ГБответы по документам для небольшой команды
30–32 млрд20–24 ГБRTX 4090 (24 ГБ)база знаний, черновики, ответы клиентам
70 млрд40–48 ГБдве карты по 24–32 ГБ или серверная картасложные ответы, несколько отделов

По открытым руководствам 2026 года; длинный контекст и много одновременных пользователей добавляют память

Чем запускать

Ollama ставится за минуты и подходит для пробы и небольшой команды. Red Hat в сравнении двух инструментов прямо пишет, что Ollama не рассчитана на высокую нагрузку, а vLLM создан для промышленной работы с множеством одновременных запросов. Наш обычный путь: пробуем модели на Ollama, в рабочую систему ставим vLLM.

Сколько это стоит

Железо: от нескольких тысяч долларов за сервер с одной видеокартой до десятков тысяч за сервер под модель на 70 млрд параметров. Альтернатива покупке — аренда сервера с GPU в дата-центре в Узбекистане. Плюс работа по развёртыванию, подключению базы знаний и агентов, правам доступа и журналу. Наш проект частного ИИ стоит от $15 000 без оборудования.

Гибрид

Часто разумнее всего гибрид: чувствительные данные обрабатывает локальная модель, остальное облачная. Например, бот для клиентов отвечает о товарах через облачную модель, а разбор паспортных данных и договоров идёт внутри. Какие данные куда можно отправлять, описано в статье «ИИ и персональные данные в Узбекистане».

Локальная модель хуже ChatGPT?

На узких задачах, например извлечении полей из документов, разница часто небольшая. На сложных рассуждениях облачные модели сильнее.

Можно ли начать без покупки сервера?

Да, арендовать сервер с GPU и проверить модели на ваших задачах, прежде чем покупать.

Кто будет обновлять модель?

Подрядчик в рамках сопровождения или ваш администратор после обучения.

  1. Red Hat: Ollama или vLLM — как выбрать ·
  2. Spheron: требования Qwen3 к GPU (2026) ·
  3. Spot.uz: поправки о персональных данных (27.03.2026) ·
  • локальный ИИ
  • модели
  • безопасность

Все статьи блога