¿Qué es Meta-WebIndexer?
Analiza contenido para mejorar la relevancia de las respuestas de Meta AI. Bloquearlo reduce tu presencia en esas respuestas, sin afectar el entrenamiento de modelos.
¿Debería bloquear Meta-WebIndexer?
Probablemente no, salvo que tengas una razón puntual — es un bot de búsqueda/retrieval, y bloquearlo tiene el costo directo de sacarte de esas respuestas.
Regla de robots.txt
Para bloquearlo:
User-agent: Meta-WebIndexer Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.