Часто вижу, как новички фигачат в LLM всё подряд: от конфигов с проксями до сырого HTML с куками. Уверен, всем будет полезно пересмотреть эту стратегию, пока не слили что-то критичное.
Короче, мой сетап для очистки данных перед передачей в AI:
🔸 обрезаю всё лишнее: скрипты, стили, SVG
🔸 удаляю токены авторизации и User-Agent
🔸 прогоняю через простой регулярки, чтобы скрыть email-адреса и телефоны
Что думаете, стоит ли вообще доверять свои «сырые» логи облачным AI или лучше крутить всё локально на Llama?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про веб-скрейпинг 🕷
Хоменок: web-скрейпинг 🕷
@xomenok_scraping
🧩 Как я перестал отдавать все данные нейронкам
Этот пост опубликован в Telegram-канале Хоменок: web-скрейпинг 🕷. Подписаться можно по ссылке: @xomenok_scraping.