🛠 Как хранить спарсенные данные — 3 схемы под разные задачи

Многие спрашивают, куда лить результат. Разложу три схемы:

🔸 CSV/JSON на диск — для разовых задач до 10к строк. Дёшево, но потом больно чистить и делать аналитику.

🔸 PostgreSQL — золотой стандарт для проектов среднего размера. До 10М строк работает без танцев, индексы есть, SQL знают все. Мой дефолт.

🔸 ClickHouse — для потоков от 1М строк/день. Дельты, аналитика, время-ряды. Компрессия сжирает 10 ГБ до 1 ГБ. У меня на нём 3 проекта, самый большой — 400М записей.

Ошибка новичка — сразу лить в MongoDB. Она удобна для документов, но с аналитикой у неё грустно, а джойны в неё не завезли по-нормальному.

Ещё лайфхак: не храни всё. Считай, что 60% спарсенного — мусор. Фильтруй на этапе загрузки в БД.

По деньгам: PG на VPS $10/мес держит проект на 5М строк. ClickHouse на том же железе — 40М.

#Ворк #СтатФакт
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷