Выберите удобный способ связи
GPU сервер для инференса LLM подбирают не по «мощности» в общем смысле, а по трём измеримым параметрам: объёму видеопамяти, пропускной способности этой памяти и задержке доступа к серверу. Инференс — это не обучение: здесь не нужны недели полной загрузки восьми карт, но нужна стабильная и предсказуемая скорость ответа на каждый запрос пользователя.
Первое ограничение — память. Веса модели в формате FP16 занимают примерно два байта на параметр, то есть модель на 13 миллиардов параметров требует около 26 ГБ только под веса. Сверх этого нужен запас под KV-кэш, который растёт с длиной контекста и числом одновременных запросов. Именно поэтому карта с 80 ГБ видеопамяти — практический ориентир для серьёзного продакшена, а не 24 ГБ потребительских решений.
Второе — пропускная способность памяти. Генерация токенов упирается не в вычислительные ядра, а в скорость чтения весов из HBM. Здесь память типа HBM3 у современных ускорителей даёт кратный прирост к скорости отклика по сравнению со старыми картами, и это напрямую влияет на то, сколько токенов в секунду увидит ваш пользователь.
Для моделей до 13B параметров в квантованном или FP16-виде достаточно одной NVIDIA A100 на 80 ГБ — это рабочая лошадка для инференса, у которой хорошее соотношение цены и памяти. Такой конфигурации хватает для чат-ассистентов, классификации и извлечения данных при умеренной нагрузке.
Когда речь идёт о моделях на 70B и выше или о высокой конкурентной нагрузке, оптимальна NVIDIA H100: выше пропускная способность памяти и поддержка FP8, что заметно ускоряет генерацию. Для длинных контекстов и больших KV-кэшей есть H200 со 141 ГБ HBM3e — она позволяет держать в памяти то, что на H100 пришлось бы разбивать между картами.
Топовые нагрузки — модели-гиганты и агрегированный поток запросов — закрывает Blackwell B200 с архитектурой нового поколения и ещё большей плотностью памяти. Если вы не уверены, какая карта соответствует вашей модели, ориентируйтесь на профиль задачи: под универсальные LLM-сценарии подойдёт готовая конфигурация сервер для LLM, а под смешанную ИИ-нагрузку — сервер для ИИ-моделей.
Для модели уровня 7-8B параметров рабочая конфигурация — одна A100 80 ГБ, 16-32 vCPU и 128 ГБ оперативной памяти. Этого хватает для десятков одновременных сессий инференса при среднем контексте и стабильной скорости генерации.
Для 34-70B параметров стоит брать одну H100 80 ГБ, а при длинных контекстах — H200. Если модель не помещается в одну карту, применяют тензорный параллелизм на двух-четырёх H100, соединённых через NVLink: межкартовая шина здесь критична, потому что при инференсе большой модели карты постоянно обмениваются активациями.
Отдельная история — совмещённые задачи, когда рядом с LLM крутится генерация изображений или обработка видео. Для таких сценариев к инференс-серверу часто добавляют или выделяют отдельный сервер для рендеринга, чтобы тяжёлая графика не конкурировала за память с языковой моделью.
Для инференса задержка сети имеет прямое влияние на ощущение скорости. Если сервер физически стоит в Казахстане, а не в Европе или США, отклик для казахстанских и центральноазиатских пользователей сокращается на десятки миллисекунд на каждом запросе. Для интерактивных чат-сценариев это разница между «мгновенно» и «подтормаживает».
Есть и практический финансовый момент: аренда в местном дата-центре оплачивается в тенге, без валютных скачков и без привязки к курсу зарубежных облаков. Плюс данные остаются внутри страны, что важно для компаний, работающих с персональными данными клиентов и требованиями по их локализации.
Наконец, локальная поддержка и физический доступ к оборудованию означают быстрое реагирование: замену карты или наращивание памяти можно согласовать напрямую, а не через тикет-систему на другом континенте.
Покупка сервера с H100 или B200 — это единовременные затраты в десятки тысяч долларов плюс расходы на размещение, охлаждение и обслуживание. Для инференса, где нагрузка может расти постепенно, аренда часто оказывается разумнее: вы платите за реально нужную конфигурацию и меняете её по мере роста модели или трафика.
Мы подробно разбираем экономику в материалах аренда против покупки и облако против своего сервера — там есть расчёты окупаемости под разные профили нагрузки. Если задача — быстро вывести LLM в продакшен без капитальных вложений, начните с готового хаба аренда GPU-сервера: там можно подобрать карту и объём памяти под конкретную модель и масштабировать конфигурацию, когда вырастет поток запросов.