O que é robots.txt?

Na prática, o robots.txt traz regras simples, como pedir que um robô não visite uma pasta específica ou que espere alguns segundos entre um acesso e outro. Os buscadores leem esse arquivo antes de rastrear o site e, em geral, seguem as instruções, mas nada impede um programa mal-intencionado de simplesmente ignorá-las.

Uma analogia simples é pensar em uma placa de "entrada proibida" pendurada na porta de um escritório. A maioria das pessoas respeita a placa, mas ela não tranca a porta, então quem quiser entrar à força consegue.

Por isso, o robots.txt não deve ser usado para esconder informações sensíveis, já que o próprio arquivo é público e pode até indicar onde estão as partes que o dono preferiria manter fora de alcance. Para proteger dados de verdade, o correto é usar autenticação e controles de acesso no servidor.