¿Qué es Bytespider?
ByteDance dice que respeta robots.txt, pero hay reportes de 2023 de que siguió crawleando rutas bloqueadas. Una regla acá es un primer intento razonable; si te importa en serio, sumá un bloqueo a nivel servidor o CDN.
El cumplimiento de robots.txt para este bot no está garantizado por su operador.
¿Debería bloquear Bytespider?
Depende de tu prioridad: si querés que tu contenido no alimente el entrenamiento de modelos futuros, bloquearlo es razonable y no tiene costo de visibilidad. Si priorizás aparecer en todos lados, dejalo permitido.
Regla de robots.txt
Para bloquearlo:
User-agent: Bytespider Disallow: /
Generá tu robots.txt completo, con todos los bots a la vez, en el generador, o auditá el que ya tenés en el checker.