Правило кажется расточительным ровно до первого случая, когда выясняется, что поле разбирали неправильно две недели. Если сырые ответы лежат на диске, вы просто пересчитываете их заново. Если нет — идёте собирать всё сначала, и то если источник вообще ещё отдаёт эти данные.
Что даёт хранение сырья:
— возможность добавить новое поле задним числом, не трогая источник;
— разбор ошибок: видно, что именно пришло, а не что вы предположили;
— защита от изменений на стороне сайта: старые ответы остаются свидетельством, каким источник был раньше;
— повторяемость: расчёт воспроизводится без обращения к сети.
Хранить разумно в сжатом виде, пачками, с датой и адресом запроса рядом. Место стоит дёшево, повторный обход — дорого и не всегда возможен.
Отдельная оговорка: у сырых ответов должен быть срок жизни и правило удаления, особенно если внутри могут оказаться персональные данные. Хранить вечно всё подряд — это не запасливость, а риск.
Парсеры и Скрейперы
@parsers_mkt_n1k_n1k
Сохраняйте сырой ответ, а не только то, что из него разобрали.
Этот пост опубликован в Telegram-канале Парсеры и Скрейперы. Подписаться можно по ссылке: @parsers_mkt_n1k_n1k.