M3 Ultra или RTX 4090 в облаке: на чем лучше запускать нейросети

Вопрос всплывает в комментариях с завидной регулярностью: собрать нейросеть на Mac или арендовать машину с видеокартой? Одни уверяют, что Apple Silicon давно обошел игровые карты. Другие советуют не выдумывать и просто взять RTX 4090 в облаке. По-своему правы обе стороны, а вся разница в том, какую задачу вы реально решаете. Весной все ждали Mac Studio на M4 Ultra, но Apple предпочла поставить в старшую версию чип M3 Ultra. Именно его сегодня и стоит сравнивать с топовой картой NVIDIA. И если раньше вторая означала шумную башню под столом, то сегодня достаточно арендовать GPU-сервер в облаке.

Разбираемся, что лучше

Характеристики M3 Ultra для работы с нейросетями

M3 Ultra — это два чипа M3 Max, склеенных в один. На выходе получаем до 32 ядер процессора, до 80 ядер графики и главное — до 512 ГБ единой памяти с пропускной способностью около 800 ГБ/с. По совокупности это самый мощный Mac, который Apple вообще выпускала, и он спокойно тянет тяжелые задачи, включая локальные нейросети.

M3 Ultra может предложить реально топовую производительность

На маленьких моделях по чистой скорости он все же уступает свежей игровой карте. Зато у Apple есть козырь, которого нет ни у одной RTX, — это единая память. Именно она превращает Mac Studio из просто быстрого компьютера в машину, способную удержать целиком то, что на видеокарте не помещается физически.

Преимущества Apple Silicon для локальных нейросетей

Процессор, видеоядро и нейродвижок работают с одним общим пулом памяти, и этот пул можно раздуть до 512 ГБ. Для нейросетей это решает почти все: модель на 70 миллиардов параметров грузится целиком и просто работает. На RTX 4090 такая модель не влезет — у нее всего 24 ГБ видеопамяти, и все лишнее приходится скидывать в оперативку через медленную шину.

Второй плюс — экономичность. MacBook Air M2, на котором я пишу этот текст, при работе с локальной моделью греется меньше, чем игровой ноутбук от одного взгляда на нейросеть. Mac Studio с его тихим корпусом можно держать включенным сутками, и счет за электричество вас не удивит. Для круглосуточного инференса это весомый аргумент.

Вот такой Mac Studio может работать сутками без перерывов

Но есть и обратная сторона. По количеству токенов в секунду Apple Silicon проигрывает: на небольших моделях RTX 4090 выдает в два-три раза больше. А для обучения и тонкой настройки моделей экосистема CUDA от NVIDIA пока вне конкуренции — под нее заточены почти все инструменты, а под Metal у Apple их заметно меньше.

Когда стоит арендовать GPU-сервер с RTX 4090

Игровая RTX 4090 создана для скорости: пропускная способность памяти около 1000 ГБ/с против примерно 800 ГБ/с у M3 Ultra. Пока модель помещается в 24 ГБ, а это все, что легче 30 миллиардов параметров, карта отвечает почти мгновенно. Первый токен появляется в несколько раз быстрее, чем на Mac.

Но иногда имеет смысл арендовать вот такого монстра и сделать всё без лишних затрат

Второй момент — гибкость оплаты. Сервер не нужно покупать за полмиллиона рублей и ставить дома. У того же hostkey GPU-сервер выдают за 15 минут, платить можно почасово или помесячно, а при годовой предоплате действует скидка до 12%. Взяли карту на вечер, обучили модель, выключили — и заплатили только за реальное время работы.

И самое важное про память. В облаке вы не заперты в тех же 24 ГБ: если модель не влезает, просто берете карту побольше. Для средних задач это RTX 3090 и 4090, а под тяжелые модели — профессиональные A100 на 80 ГБ и RTX 6000 PRO на 96 ГБ. Чем больше параметров и длиннее контекст, тем больше видеопамяти стоит закладывать.

Что лучше для локального ИИ: Mac или облачный сервер

Если коротко, все решает сценарий. Нужен локальный запуск огромных моделей, приватность данных и тишина в комнате — берите Mac с большим объемом памяти. Он окупится там, где важна не голая скорость, а способность держать модель целиком и не гонять данные в облако.

Нужно обучать или дообучать модели, считать тяжелые расчеты пачками или просто получить максимум токенов в секунду — облачная RTX 4090 выйдет и быстрее, и гибче. Платите только за реальное время работы и не привязываетесь к одной конфигурации на годы вперед. Чтобы не держать все в голове, вот короткая шпаргалка:

1. Локальный инференс больших моделей — Mac Studio с 128-512 ГБ памяти.
2. Обучение и тонкая настройка — облачный сервер с RTX 4090 или картой посерьезнее.
3. Максимум токенов в секунду на моделях до 30 миллиардов параметров — снова облачная RTX 4090.
4. Тишина, приватность и работа сутками — однозначно Apple Silicon.

Идеального ответа на все случаи нет. Я бы сформулировал так: Mac — это ваш личный сервер под рукой, а облако с RTX 4090 — это мощность по требованию, за которую платишь ровно столько, сколько отработал. Понимание этой разницы избавит вас от лишних трат и разочарований.