My Board

Столкнулся с тем, что сайт начали активно посещать разные автоматические боты. Нужно ли специально настраивать доступ таким роботам или лучше оставить всё как есть?

Полностью запрещать доступ всем ботам не советую, поскольку некоторые из них могут быть важны для видимости сайта в ИИ-сервисах. Мне помог разобраться в вопросе материал про ИИ-краулеры от SEO Reach. Там рассматриваются особенности таких ботов и нюансы их взаимодействия с сайтами. Надо разобраться, кто именно обращается к ресурсу и какие задачи выполняет каждый робот.