Локальная нейросеть для компании: какие модели поставить на свой сервер
Локальная нейросеть для компании — открытая языковая модель вроде Qwen, Llama, Gemma или DeepSeek, запущенная на вашем сервере. Модели на 7–8 млрд параметров работают на видеокарте с 8 ГБ памяти, на 30 млрд нужны примерно 24 ГБ, на 70 млрд около 48 ГБ. Для нескольких пользователей используют vLLM, для пробы Ollama.

Своя нейросеть нужна не всем. Облачные модели сильнее, проще и часто дешевле. Но есть случаи, когда данные не должны уходить из компании: биометрия, данные абонентов связи (их в Узбекистане по закону нельзя обрабатывать за рубежом), медицинские карты, договоры с запретом передачи третьим лицам, требования службы безопасности. Тогда ставят открытую модель на свой сервер или в дата-центр в стране.
Какие модели есть
| Семейство | Чем сильно | Лицензия |
|---|---|---|
| Qwen (Alibaba) | хорошо с русским и многими языками, есть модели от 1 до десятков млрд параметров | небольшие и средние модели обычно Apache 2.0; флагманские версии Alibaba сделала закрытыми |
| Llama (Meta) | большое сообщество, много готовых сборок | своя лицензия Meta с условиями для очень крупных компаний |
| Gemma (Google) | компактные модели с хорошим качеством | своя лицензия Google |
| DeepSeek | сильные модели для рассуждений | свежие версии по сообщениям под MIT; у старых весов отдельная лицензия |
| Mistral | быстрые модели среднего размера | часть моделей Apache 2.0 |
Лицензии меняются от версии к версии; проверяйте конкретные веса перед запуском ·
Узбекский язык у открытых моделей пока слабее, чем у крупных облачных. Если бот будет отвечать клиентам на узбекском, качество надо проверить на ваших примерах до покупки железа.
Сколько нужно видеопамяти
Главный параметр — видеопамять (VRAM), потому что модель целиком должна в неё поместиться. Модели обычно сжимают до 4 бит на параметр (квантизация), почти без потери качества на прикладных задачах.
| Размер модели | VRAM | Пример железа | Для чего |
|---|---|---|---|
| 7–8 млрд | 6–8 ГБ | игровая видеокарта среднего класса | классификация заявок, извлечение полей |
| 14 млрд | около 10–16 ГБ | видеокарта на 16 ГБ | ответы по документам для небольшой команды |
| 30–32 млрд | 20–24 ГБ | RTX 4090 (24 ГБ) | база знаний, черновики, ответы клиентам |
| 70 млрд | 40–48 ГБ | две карты по 24–32 ГБ или серверная карта | сложные ответы, несколько отделов |
По открытым руководствам 2026 года; длинный контекст и много одновременных пользователей добавляют память
Чем запускать
Ollama ставится за минуты и подходит для пробы и небольшой команды. Red Hat в сравнении двух инструментов прямо пишет, что Ollama не рассчитана на высокую нагрузку, а vLLM создан для промышленной работы с множеством одновременных запросов. Наш обычный путь: пробуем модели на Ollama, в рабочую систему ставим vLLM.
Сколько это стоит
Железо: от нескольких тысяч долларов за сервер с одной видеокартой до десятков тысяч за сервер под модель на 70 млрд параметров. Альтернатива покупке — аренда сервера с GPU в дата-центре в Узбекистане. Плюс работа по развёртыванию, подключению базы знаний и агентов, правам доступа и журналу. Наш проект частного ИИ стоит от $15 000 без оборудования.
Гибрид
Часто разумнее всего гибрид: чувствительные данные обрабатывает локальная модель, остальное облачная. Например, бот для клиентов отвечает о товарах через облачную модель, а разбор паспортных данных и договоров идёт внутри. Какие данные куда можно отправлять, описано в статье «ИИ и персональные данные в Узбекистане».
Локальная модель хуже ChatGPT?
На узких задачах, например извлечении полей из документов, разница часто небольшая. На сложных рассуждениях облачные модели сильнее.
Можно ли начать без покупки сервера?
Да, арендовать сервер с GPU и проверить модели на ваших задачах, прежде чем покупать.
Кто будет обновлять модель?
Подрядчик в рамках сопровождения или ваш администратор после обучения.


