Выберите удобный способ связи
Сколько видеопамяти нужно для обучения модели — первый вопрос, который встаёт перед командой ещё до аренды или покупки GPU. Ответ зависит не от «мощности» карты в целом, а от того, помещаются ли в память все данные одного шага обучения: сами веса модели, состояния оптимизатора, промежуточные активации и обучающий батч. Если объёма VRAM не хватает хотя бы на несколько гигабайт, тренировка либо не стартует с ошибкой out of memory, либо приходится резать батч и терять в скорости. Поэтому расчёт видеопамяти — это инженерная задача, а не выбор по маркетинговой табличке.
Важно различать обучение и инференс. Для запуска уже готовой модели памяти нужно заметно меньше — по сути только веса плюс небольшой запас на контекст. Для обучения тот же набор весов требует в разы больше: к нему добавляются градиенты и состояния оптимизатора Adam, которые сами по себе занимают в два-три раза больше, чем веса модели.
Грубую оценку в режиме fp16/bf16 удобно считать так. Веса модели занимают примерно два байта на параметр: модель на семь миллиардов параметров — около четырнадцати гигабайт только под веса. Оптимизатор Adam хранит для каждого параметра момент и дисперсию, плюс копию весов в fp32 — это ещё порядка двенадцати байт на параметр. Градиенты добавляют свои два байта. В сумме на обучение семимиллиардной модели «в лоб» уходит порядка ста гигабайт, и это ещё без учёта активаций.
Активации — самая непредсказуемая часть. Их объём растёт с длиной контекста и размером батча, и на длинных последовательностях они легко превышают память под сами веса. Здесь помогают приёмы вроде gradient checkpointing, который экономит память ценой пересчёта, и уменьшение батча с накоплением градиента. Поэтому реальную цифру всегда стоит проверять на конкретной конфигурации, а не только по формуле — разброс между «теорией» и живой тренировкой бывает существенным.
Если говорить ориентирами, для инференса компактной модели на семь-тринадцать миллиардов параметров в квантованном виде хватает одной карты на двадцать четыре-сорок восемь гигабайт. Fine-tuning той же модели методами LoRA и QLoRA, когда обучается лишь небольшая доля параметров, реально уложить в сорок восемь-восемьдесят гигабайт VRAM. Полное обучение или дообучение крупных моделей на десятки и сотни миллиардов параметров — это уже несколько карт по восемьдесят гигабайт, объединённых быстрым интерконнектом, а часто и несколько узлов.
Под типовые сценарии удобно подбирать конфигурацию сразу под задачу: сервер для LLM под обучение и инференс языковых моделей и сервер для ИИ-моделей под смешанные ML-нагрузки. Отдельная история — 3D-рендеринг и симуляции: там критичны и объём памяти под сцену, и пропускная способность, поэтому требования к серверу для рендеринга считаются отдельно от чисто ML-задач.
Под разные бюджеты видеопамяти подходят разные карты. NVIDIA A100 с восемьюдесятью гигабайтами HBM2e остаётся рабочей лошадкой для обучения и инференса средних моделей и хорошо доступна по цене аренды. NVIDIA H100 с теми же восемьюдесятью гигабайтами, но заметно более быстрой памятью и поддержкой FP8 ускоряет обучение LLM в разы при том же объёме VRAM.
H200 поднимает объём до ста сорока одного гигабайта HBM3e, что снимает ограничение по памяти на длинных контекстах и крупных батчах — там, где H100 упирается в потолок. Флагман Blackwell B200 идёт дальше и по объёму памяти, и по пропускной способности, и оправдан на самых тяжёлых тренировках, где каждая карта считает часть большой модели.
Когда объём видеопамяти посчитан, встаёт вопрос, где брать железо. Покупка сервера с несколькими H100 — это десятки миллионов тенге капитальных затрат плюс размещение, питание и охлаждение, тогда как аренда GPU-сервера переводит это в понятный ежемесячный платёж и позволяет менять конфигурацию под конкретную задачу — от одной A100 под fine-tuning до узла из нескольких B200 под полное обучение. Развёрнутую экономику мы разбираем в материалах про аренду против покупки и облако против своего сервера.
Для команд из Казахстана важен и локальный дата-центр: сервер в РК означает низкую сетевую задержку до Алматы и Астаны, оплату в тенге без валютных скачков и хранение данных внутри страны, что упрощает работу с требованиями по локализации. Это заметно и при обучении, где идёт постоянная выгрузка чекпоинтов, и на инференсе, где важен быстрый отклик для конечных пользователей.