¿Qué es Claude-Web?
User-agent viejo, ya no está en uso activo. Si tu robots.txt lo bloquea creyendo que frena a Anthropic, no está haciendo nada: el set activo hoy es ClaudeBot, Claude-SearchBot y Claude-User.
Reemplazado en la práctica por: ClaudeBot, Claude-SearchBot, Claude-User.
El cumplimiento de robots.txt para este bot no está garantizado por su operador.
¿Debería bloquear Claude-Web?
Depende de tu prioridad: si querés que tu contenido no alimente el entrenamiento de modelos futuros, bloquearlo es razonable y no tiene costo de visibilidad. Si priorizás aparecer en todos lados, dejalo permitido.
Regla de robots.txt
Para bloquearlo:
User-agent: Claude-Web Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.