Раньше по старинке держал всё в Postgres или вообще в CSV. Но когда объемы перевалили за сотни миллионов строк, запросы стали занимать вечность. Плюс я решил попробовать колоночное хранение, и это изменило всё.
Плюсы для скрейпера:
🔸 скорость выборки данных выше в 10-20 раз
🔸 сжатие данных экономит кучу места на диске
🔸 удобный SQL-интерфейс для быстрой аналитики
Для парсинга цен и каталогов — просто идеальный вариант. Жёстко экономит время на выгрузках.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🔂 Почему я перешел на ClickHouse для хранения данных
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.