Сохраняйте сырой ответ, а не только то, что из него разобрали.

Сохраняйте сырой ответ, а не только то, что из него разобрали.

Правило кажется расточительным ровно до первого случая, когда выясняется, что поле разбирали неправильно две недели. Если сырые ответы лежат на диске, вы просто пересчитываете их заново. Если нет — идёте собирать всё сначала, и то если источник вообще ещё отдаёт эти данные.

Что даёт хранение сырья:

— возможность добавить новое поле задним числом, не трогая источник;
— разбор ошибок: видно, что именно пришло, а не что вы предположили;
— защита от изменений на стороне сайта: старые ответы остаются свидетельством, каким источник был раньше;
— повторяемость: расчёт воспроизводится без обращения к сети.

Хранить разумно в сжатом виде, пачками, с датой и адресом запроса рядом. Место стоит дёшево, повторный обход — дорого и не всегда возможен.

Отдельная оговорка: у сырых ответов должен быть срок жизни и правило удаления, особенно если внутри могут оказаться персональные данные. Хранить вечно всё подряд — это не запасливость, а риск.