📰 H200 подешевела в vast.ai до $1.8/час — можно жить
Год назад H100 стоил $4-5, я откладывал прогоны на выходные. Сейчас H200 — младший брат H100 с 141 ГБ памяти — идёт по $1.8 в спот-режиме.
Что это даёт для fine-tuning:
🔸 Llama 3.3 70B в LoRA — 3-4 часа, $7 итого
🔸 Mixtral 8×22B в QLoRA — 6-8 часов, $15
🔸 полный прогон 7B под SFT — час, $2
Год назад мы обсуждали, вложиться ли в свой сервер за $30к. Теперь я даже не вспоминаю про такую покупку.
Аренда рулит.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
📰 H200 подешевела в vast.ai до $1.8/час — можно жить
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠. Подписаться можно по ссылке: @xomenok_llmft.