О краулере

SupplierDogBot читает только явно разрешённые открытые страницы. Контроля домена недостаточно. Соблюдаются robots.txt, noindex/noarchive и ограничения Content-Signal. Отзыв прекращает новые сканирования.