← Todos os artigos

Inteligência artificial · caderno de investigação

Por que sites bloqueiam robôs e IAs, e onde estão os limites?

Como sites reconhecem visitas automatizadas, por que bloqueiam e onde entram termos de uso e leis. Uma resposta técnica não resolve, sozinha, a questão da permissão.

Por Gabriel Vidoretto16 min de leitura
  • Robôs na web
  • Bloqueio de bots
  • Termos de uso
  • Proteção de dados
Por que sites bloqueiam robôs e IAs, e onde estão os limites?
Neste artigo

Você abre uma página e precisa provar que não é um robô. Em outro momento, uma consulta funciona no computador de casa, mas falha quando é enviada de um servidor na nuvem. A página pode ser a mesma; o caminho até ela, não.

Os bloqueios envolvem segurança, custos e regras de acesso. Uma resposta técnica não resolve, sozinha, a questão da permissão.

O que faz um robô na web?

Um robô da web é um programa que acessa páginas ou serviços automaticamente. Um rastreador é um tipo de robô que percorre endereços e coleta informações. Ele pode ajudar a localizar páginas para uma busca, verificar se um serviço funciona ou reunir material para outros usos.

Alguns robôs cumprem tarefas esperadas; outros podem sobrecarregar serviços ou acessar conteúdo sem autorização.

Segundo a empresa de segurança Imperva, mais de 53% do tráfego web observado por ela em 2025 era automatizado. É uma medição de fornecedor, não um censo de toda a internet. Ela inclui robôs de vários tipos e não corresponde à parcela de tráfego de IA.

Como um site pode reconhecer uma visita automatizada?

Uma VPS é um servidor virtual privado alugado em um provedor. Uma consulta enviada dali pode ter sinais diferentes da mesma consulta no computador pessoal.

Uma primeira camada olha para a origem da conexão. O endereço IP identifica uma origem de rede na comunicação; algumas bases também classificam endereços associados a hospedagem ou VPN. Uma VPN é um serviço que encaminha a conexão por outra rede. Essas classificações dão contexto, mas não identificam uma pessoa nem provam intenção maliciosa.

Outra camada observa como a conexão é estabelecida e como as solicitações são feitas. Uma impressão digital da conexão, ou fingerprint, é um conjunto de características que ajuda a distinguir padrões de comunicação. A Cloudflare descreve sinais desse tipo e informações agregadas de solicitações; isso não revela a regra usada por cada site.

Uma sessão é um conjunto de interações relacionadas reconhecidas pelo serviço. A proteção pode analisar sinais da sessão e do navegador.

Há ainda o comportamento: quantas solicitações chegam, em que sequência e em quanto tempo. Um limite de uso, ou cota, restringe a quantidade ou a frequência de pedidos. Ele pode proteger a capacidade do serviço mesmo quando a atividade não tem intenção de causar dano.

Por fim, o site pode apresentar um desafio ou aplicar uma regra de bloqueio. CAPTCHA é um desafio criado para ajudar a distinguir interação humana de automação. Um firewall de aplicação, por sua vez, é uma proteção que aplica regras ao tráfego de um site.

Sinais podem ser combinados. Nenhum deles sozinho prova que uma pessoa é um robô ou revela a causa de um bloqueio.

Seis cartões numerados mostram as camadas de avaliação: origem da conexão, jeito da conexão, navegador, sessão, comportamento e desafios, todos levando a um bloco de sinais combinados.
As camadas que um site pode combinar. Nenhum sinal sozinho prova que a visita é de um robô.Ampliar imagem ↗

Quando a proteção também atrapalha pessoas

Segundo a W3C WAI, desafios CAPTCHA podem criar barreiras para pessoas cegas, surdas ou com determinadas deficiências cognitivas.

Uma VPN ou características do navegador podem ser sinais usados na avaliação e, em alguns casos, afetar a classificação de uma visita. Não localizamos uma taxa confiável de falsos bloqueios nesses casos. Por isso, a mensagem de erro deve ser tratada como um ponto de partida para investigar, não como prova de abuso.

Três trajetos de visitas chegam a uma barreira: uma visita automatizada é parada, o trajeto de uma pessoa com VPN termina em um ponto de interrogação, indicando que pode ser barrada, e uma pessoa sem sinais atípicos passa. Um quadro lista quem também pode ser barrado.
A proteção também pode barrar pessoas legítimas. A mensagem de erro é um ponto de partida para investigar.Ampliar imagem ↗

Por que bloquear?

Bloqueios podem proteger recursos e reduzir o custo de processar solicitações automatizadas indesejadas.

Publicações também podem querer controlar a coleta e o uso de suas páginas no treinamento de IA.

Segundo dados da Cloudflare, na rede analisada pela empresa, a média de janeiro a julho de 2025 foi de 1.437,8 páginas rastreadas por visita de referência para a OpenAI. Na comparação apresentada para o Google, a média foi de 11,8. Trata-se de uma razão agregada entre páginas rastreadas e visitas de referência, não do percentual de pessoas nem de uma medida universal da web.

Dois lados da mesma questão

Do ponto de vista de quem publica conteúdo

Quem publica pode se preocupar com custos e controle sobre o uso de conteúdo para treinar IA. A razão apresentada pela Cloudflare ilustra a discussão, dentro dos limites da medição.

Termos de uso, licenças e cobrança por rastreamento são maneiras de estabelecer condições para o acesso e o uso. Cada alternativa depende das regras e dos acordos aplicáveis.

Do ponto de vista de quem coleta ou usa dados

Nas discussões públicas que examinamos, pessoas que coletam dados mencionam custos e dificuldade para diagnosticar bloqueios. Algumas também procuram uma API oficial; acordos de licença são outro caminho possível. São relatos de uma amostra pequena, não uma descrição de todas as pessoas que coletam dados.

Dois painéis lado a lado, quem publica e quem coleta, com suas preocupações (custos, controle sobre o uso, diagnóstico de bloqueios), ligados por um bloco central chamado condições de acesso.
Quem publica e quem coleta olham para as condições de acesso a partir de pontos de vista diferentes.Ampliar imagem ↗

E dá para contornar?

Existem categorias de soluções que tentam mudar a forma como uma solicitação chega ao destino. Algumas alteram a origem da conexão; outras procuram reproduzir características de um navegador. Há também navegadores alterados e serviços gerenciados que reúnem diferentes recursos para acesso automatizado.

Cada categoria atua sobre parte dos sinais, sem garantir acesso. Uma resposta recebida não demonstra autorização nem direito de reutilizar conteúdo. Proteções e tentativas de contorno mudam continuamente.

Este artigo descreve categorias em termos gerais. Não traz instruções passo a passo, configurações, código nem indicações de qual técnica funciona contra um serviço específico.

Pode? O que dizem os termos e a lei

Há três perguntas diferentes. Primeiro: o contrato ou os termos de uso permitem a atividade? Segundo: o acesso é autorizado segundo as regras jurídicas aplicáveis? Terceiro: o que pode ser feito com as informações obtidas? A resposta depende dos fatos, da jurisdição e dos direitos envolvidos.

Três cartões numerados com as perguntas sobre contrato, acesso e uso das informações, ao lado de um bloco dizendo que a resposta técnica não resolve a permissão.
Contrato, acesso e uso são perguntas diferentes. Informação geral, não aconselhamento jurídico.Ampliar imagem ↗

Descumprir termos pode gerar consequências contratuais, dependendo de sua validade e aplicação. Isso não transforma automaticamente toda violação em crime. Da mesma forma, uma página aparecer publicamente não resolve, por si, todas as questões sobre coleta e reutilização.

O arquivo chamado robots.txt informa regras para rastreadores que as seguem. A RFC 9309, que descreve esse padrão, esclarece que ele não é um mecanismo de autorização. O arquivo não é uma lei por si; ignorá-lo pode fazer parte de uma análise mais ampla, mas a norma técnica não decide sozinha o contrato ou a lei aplicável.

O que alguns serviços dizem

Os textos abaixo foram consultados em 16/11/2026 e podem mudar. Os termos do Reddit permitem rastreamento sob condições ligadas ao robots.txt e restringem a extração de dados sem consentimento prévio por escrito. Já os termos do Google (versão dos Estados Unidos, vigente desde 30/07/2026) proíbem acesso automatizado que viole instruções legíveis por máquina. Em ambos os casos, outras condições aplicáveis ao serviço devem ser examinadas.

O contrato de serviços da OpenAI restringe extração fora do permitido e o contorno de limites e proteções (versão atualizada em 01/12/2025). Esse documento é um acordo de serviços; não devemos presumir que a mesma cláusula descreva automaticamente todos os termos de consumidor.

As condições do Amazon Freight excluem da licença mineração de dados, robôs e ferramentas semelhantes (texto atualizado em 2020). Esse exemplo se refere ao serviço Freight, não a todos os sites da Amazon. Não verificamos os termos do comércio da empresa.

Já a política de uso aceitável do GitHub distingue coleta por páginas e uso da API, uma interface oficial para programas conversarem com o serviço. Ela também restringe usos de dados para spam e venda de dados pessoais. As regras específicas dependem do que se pretende acessar e fazer com o resultado.

Brasil: acesso, dados e obras

O artigo 154-A do Código Penal trata de invasão de dispositivo informático, em redação dada pela Lei 14.155/2021, e contém elementos que precisam ser analisados no caso concreto. Não se deve presumir que toda coleta automatizada ou desrespeito a robots.txt preencha esse tipo penal.

A Lei Geral de Proteção de Dados, ou LGPD, pode incidir quando há tratamento de dados pessoais. Tratar dados significa realizar operações como coletar, usar ou armazenar informações. As condições e exceções da lei precisam ser avaliadas conforme a finalidade e o contexto.

Em tramitação, o projeto de lei 2338/2023, sobre inteligência artificial, ainda não é lei: em 16/11/2026, a Câmara o registrava aguardando parecer em comissão especial, e o Senado informava o envio após a aprovação de um substitutivo. O andamento muda com frequência.

O Marco Civil da Internet estabelece princípios e direitos relacionados à internet e à privacidade. A Lei de Direitos Autorais também pode importar quando há uso de obras protegidas. A aplicação à coleta ou ao treinamento de IA depende do conteúdo, da finalidade e dos fatos; não há resposta única para todos os casos.

O caso da Meta mostra por que olhar para as condições importa. Em julho de 2024, a Autoridade Nacional de Proteção de Dados suspendeu cautelarmente determinado tratamento de dados para treinamento. Em agosto, a ANPD suspendeu essa medida, após aprovar um plano com restrições e mecanismos de oposição. Não verificamos atualizações posteriores a 2024; o episódio não equivale a uma proibição geral de todo treinamento.

Estados Unidos: decisões com alcance próprio

Em Van Buren v. United States, de 2021, a Suprema Corte discutiu o alcance de exceder acesso autorizado na lei federal sobre fraudes e abuso informático. A decisão tratou dos fatos e da expressão examinada naquele processo. Não declarou permitida toda coleta automatizada.

Em hiQ v. LinkedIn, o tribunal analisou, em 2022, uma medida preliminar envolvendo páginas públicas. Mais tarde, o litígio teve julgamento por consentimento, em dezembro de 2022. O acordo fixou o pagamento de US$ 500 mil pela hiQ e uma ordem permanente que a proíbe de acessar a plataforma em violação dos termos de uso, inclusive por meios automatizados. Os fundamentos relativos à lei de acesso e ao contrato não são a mesma pergunta; não verificamos movimentos posteriores aos documentos consultados, até 16/11/2026.

Em Meta v. Bright Data, em 23/01/2024 o tribunal federal decidiu que os termos da Meta não se aplicavam à coleta feita sem login, de dados visíveis ao público, e deu razão à Bright Data nas alegações de quebra de contrato examinadas. A conclusão se limita a esse tipo de coleta e aos fatos daquele processo. O andamento posterior e eventuais recursos não foram verificados até 16/11/2026.

União Europeia: conteúdo e dados pessoais

A Diretiva 2019/790 prevê uma exceção para mineração de texto e dados de obras acessíveis legalmente, sujeita à reserva adequada de direitos. Se um arquivo robots.txt vale como essa reserva em cada situação é uma questão que depende do caso. A diretiva também trata separadamente de pesquisa científica sob condições próprias. Mineração, nesse contexto, é a análise automatizada de textos e dados para encontrar informações ou padrões.

O GDPR é o regulamento europeu de proteção de dados pessoais e pode impor condições ao tratamento desses dados. O AI Act, regulamento europeu sobre IA, prevê obrigações de conformidade autoral para provedores de modelos de uso geral, em vigor desde 02/08/2025, com regras de transição para modelos anteriores, segundo a Comissão Europeia. Sobre dados pessoais em modelos de IA, o Comitê Europeu de Proteção de Dados publicou o parecer 28/2024, que examina caso a caso questões como anonimização e interesse legítimo. A aplicação concreta e as regras nacionais dependem do caso.

Caminhos para um acesso combinado

Uma API é uma forma documentada de programas solicitarem dados ou funções a um serviço. Quando existe uma API oficial adequada, ela pode esclarecer quais dados estão disponíveis e quais limites se aplicam. Isso não dispensa verificar custos, termos e direitos sobre o conteúdo.

Três cartões com os caminhos que podem esclarecer as condições de acesso: API, licença e identificação, cada um com uma observação sobre seus limites.
Caminhos que podem esclarecer as condições de acesso. Cada um tem custos, limites e termos próprios.Ampliar imagem ↗

Licenças e parcerias são outro caminho. A OpenAI anunciou acordos de conteúdo com o Guardian, em fevereiro de 2025, e com o Financial Times, em abril de 2024. Não verificamos se esses acordos continuam vigentes. Cada acordo tem seu próprio alcance; uma licença negociada entre duas partes não autoriza automaticamente outras pessoas a usar o mesmo material.

Um robô também pode se identificar e passar por verificação. O Web Bot Auth usa assinaturas digitais para ajudar a verificar a identidade de robôs. Uma assinatura digital é uma forma de verificar a origem de uma mensagem. Identificar um robô não dá a ele direito de acesso: o site continua decidindo sua política.

A Cloudflare também descreveu mecanismos de cobrança por rastreamento. A ideia é permitir condições comerciais para determinados acessos, conforme a implementação. Não verificamos a disponibilidade nem o estágio atual desse recurso, e o anúncio não significa que todos os sites o adotem.

O que aparece nas conversas da comunidade

Em dez discussões públicas examinadas, pessoas que coletam dados comentam custos, diagnóstico e acesso oficial. Os relatos não são verificados nem representam toda a comunidade.

Do outro lado, participantes que administram sites ou discutem o tráfego recebido relatam preocupação com consumo de recursos e desempenho. Duas discussões também mencionam o risco de barrar usuários legítimos ao restringir o tráfego. Parte dos relatos trata de robôs em geral, sem comprovar que sejam rastreadores usados para treinar IA.

A skill que criei: o que faz, pontos positivos e limites

Criei a skill grilling-para-contornar-bloqueios-antibot-em-vps para ajudar quem usa agentes de IA a lidar com esses problemas com sabedoria e responsabilidade. Uma skill é um conjunto de instruções reutilizáveis que orienta o trabalho de agentes de IA.

O nome fala em contornar bloqueios; “grilling” se refere a uma técnica de perguntas em árvore.

Pontos positivos:

  • Conduz uma entrevista em árvore de decisões e separa fatos de hipóteses.

  • Organiza possíveis causas por camadas: origem e jeito da conexão, navegador, sessão e política do site.

  • Propõe testar uma família de variáveis por vez, respeitar limites informados pelo serviço e considerar uma API ou acesso identificado.

  • Prevê um plano com critérios de sucesso e falha e uma forma de desfazer a mudança.

  • Organiza perguntas e decisões sem ampliar permissões nem prometer acesso.

Limites:

  • Não decide se o acesso é autorizado nem analisa termos de uso, contratos ou lei. A verificação dessas questões continua com quem usa a skill e, quando necessário, com um profissional.

  • O nome menciona contornar bloqueios, mas a skill não garante acesso nem aceitação pelo site.

  • O material técnico que a acompanha é uma pesquisa documental de 15/11/2026; versões e produtos podem mudar.

  • As alternativas citadas não foram testadas no ambiente de quem usa. Comparações de testes podem envolver fatores que não são controlados.

Resumo dos pontos positivos e negativos

TemaPontos positivosPontos negativos ou riscos
Bloqueios de robôsAjudam a proteger serviços e limitar solicitações.Podem barrar visitantes legítimos e criar barreiras de acessibilidade.
Coleta automatizada de dadosAjuda a localizar páginas e reunir informações.Pode aumentar custos de infraestrutura e envolver conteúdo ou dados sujeitos a regras.
Caminhos autorizados: APIs, licenças, robôs identificados e cobrança por rastreamentoPodem esclarecer condições de acesso ou permitir identificação.Há limites, custos e disponibilidade variável; identificação não concede acesso.
A skill descrita no artigoOrganiza perguntas, hipóteses e planos de teste.Não decide autorização nem garante acesso; alternativas não foram testadas no ambiente de quem usa.

Três perguntas para pensar

  1. Que acesso foi autorizado, e para qual finalidade?

  2. Como proteger um serviço sem impedir que pessoas legítimas o utilizem?

  3. Quem deve poder decidir como um conteúdo é coletado e reutilizado?

Fontes e situação das afirmações

“Verificada” identifica o conteúdo da fonte ou a alegação atribuída, conforme a pesquisa; não garante aplicação a outro caso. Os pontos que não foram verificados, ou que dependem do caso concreto, estão indicados na tabela.

AfirmaçãoOrigem com o linkSituação
Mais de 53% do tráfego observado em 2025 era automatizadoImpervaverificada como medição de fornecedor
Origem, impressões da conexão, sessão, sinais e limitesCloudflare; Cloudflare sobre sinais; MaxMind; RFC 6585verificada como descrição das fontes; a aplicação a um site específico depende do caso
CAPTCHA pode criar barreiras de acessibilidadeW3C WAIverificada
VPN e navegadores podem afetar classificações; frequência de falsos positivosnenhuma fonte específica localizada sobre a frequêncianão verificada; o texto afirma apenas que não localizamos uma taxa confiável
Razões entre páginas rastreadas e visitas de referênciaCloudflareverificada como medição de fornecedor, não universal
Robots.txt não é mecanismo de autorizaçãoRFC 9309verificada
Termos de Reddit, Google, OpenAI, Amazon Freight e GitHubReddit; Google; OpenAI; Amazon Freight; GitHubverificada no escopo dos documentos, consultados em 16/11/2026; a aplicação a um caso concreto depende do caso
Art. 154-A, LGPD, Marco Civil e direitos autoraisCódigo Penal; LGPD; Marco Civil; Lei de Direitos Autoraisverificada quanto às normas; a aplicação concreta depende do caso
Decisões da ANPD sobre Meta em 2024Medida inicial; decisão posteriorverificada quanto aos atos de 2024; atualizações posteriores não verificadas
Projeto de lei 2338/2023 em tramitaçãoCâmara; Senadoverificada em 16/11/2026; revalidar no dia da publicação
Van Buren, hiQ e Meta v. Bright DataVan Buren; hiQ; acordo hiQ; Meta v. Bright Dataverificada nos textos das decisões (Meta v. Bright Data de 23/01/2024; acordo hiQ de 08/12/2022, US$ 500 mil); desdobramentos posteriores não verificados; recurso e desistência em Meta v. Bright Data aparecem apenas em fonte secundária, não citada no texto
Exceções europeias, GDPR e AI ActDiretiva 2019/790; AI Act; Comissão Europeia, perguntas e respostas; EDPB, parecer 28/2024verificada quanto aos textos; a aplicação concreta depende do caso
Acordos, identidade e cobrança por rastreamentoGuardian; Financial Times; Web Bot Auth; Cloudflareverificada como anúncios e documentação; vigência e disponibilidade atuais não verificadas
Padrões em dez discussões públicas (custo e diagnóstico de quem coleta; consumo, desempenho e risco de falsos bloqueios para quem administra sites)Coleta; administração de site; demais links no relatório interno de verificação, anexoverificada: as dez páginas sustentam os padrões; relatos individuais, amostra não representativa
Método, finalidade e limites da skill de Gabrielrepositório privado de Gabriel, sem link público; análise e verificação em relatórios internos, anexosverificada quanto ao material lido; sem teste executado; a skill não verifica termos de uso nem autorização
Resultados de categorias de contorno em serviços específicosCloudflare, mecanismosnão verificada em serviços específicos; nenhum teste foi executado e não há garantia de eficácia
GV

Sobre o autor

Gabriel Vidoretto

Desenvolvedor full-stack e explorador de tecnologia. Escrevo para organizar perguntas, voltar às fontes e compartilhar o que encontro no percurso.

Continuar a conversa ↗