При проверке доступности страниц для разных ботов я заметил, что ответы отличаются без видимой причины. Это сбивало с толку и мешало анализу. Я решил проверить прокси онлайн https://proxyline.net/proxy-checker/ чтобы исключить человеческий фактор. Инструмент помог быстро найти нестабильные прокси. После их замены данные стали логичными. Аудит сразу пошёл быстрее.