Blog Central para Webmasters
Informação Oficial sobre classificação e indexação dos sites no índice do Google
Testar os arquivos robots.txt ficou mais fácil
quarta-feira, 16 de julho de 2014
Rastrear, ou não rastrear, eis a pergunta.
Às vezes, criar e manter os arquivos robots.txt corretos pode ser difícil. Embora muitos sites não tenham problemas com isso (dica: eles geralmente nem precisam de um arquivo robots.txt!), encontrar as diretivas em um grande arquivo robots.txt que estão ou estavam bloqueando URLs individuais, pode ser um pouco complicado. Para facilitar esse processo, anunciamos uma atualização na
ferramenta de teste de arquivos robots.txt
nas Ferramentas do Google para webmasters.
A ferramenta de teste atualizada está na seção Rastreamento das
Ferramentas do Google para webmasters
:
Aqui você encontrará o arquivo robots.txt e poderá testar os novos URLs para verificar se eles estarão desautorizados para rastrear. A fim de guiá-lo através das diretivas complexas, a ferramenta destacará a diretiva específica que levou à decisão final. É possível realizar alterações no arquivo e testá-las também. Para tal, basta fazer o upload da nova versão do arquivo com as alterações para o servidor para que elas entrem em vigor. Nosso site para desenvolvedores tem
mais informações sobre as diretivas do robots.txt e como os arquivos são processados
.
Além disso, será possível revisar as versões mais antigas do seu arquivo robots.txt e saber quando problemas de acesso nos impedem de fazer o rastreamento. Por exemplo, se o Googlebot verificar um erro de servidor 500 para o arquivo robots.txt, normalmento faremos uma pausa do rastreamento do site.
Já que é possível haver alguns erros ou alertas exibidos para seus sites existentes, recomendamos voltar a verificar seus arquivos robots.txt. Também é possível combinar esta nova funcionalidade com outras partes das Ferramentas do Google para webmasters. Por exemplo, é possível usar a
ferramenta Buscar como Google
, recentemente atualizada, para processar páginas importantes no seu website. Se for informado que qualquer URL foi bloqueado, use a ferramenta de teste de robots.txt para encontrar a diretiva que o está a bloquear e melhore o seu arquivo robots.txt. Um problema comum já visto ocorre a partir de arquivos robots.txt antigos que bloqueiam CSS, JavaScript ou conteúdo para celular. Corrigir esse problema é fácil após identificá-lo.
Esperamos que essa ferramenta atualizada facilite o teste e a manutenção do arquivo robots.txt. Em caso de dúvidas ou se precisar de ajuda para criar um bom conjunto de diretivas, passe no
fórum de ajuda para webmasters
.
Escrito por Asaph Arnon, Equipe de Webmaster Tools
Publicado por
Diogo Botelho
, Equipe de Search Quality e Webmaster Outreach
Marcadores
Academia para Webmasters
Accelerated Mobile Pages
ações manuais
AMP
Anúncios
API
aplicativos
avançado
botnet
bots
Buscar como o Google
Chrome
Chromium
cms
comunicação
comunidade webmaster
conteúdo duplicado
Contribuidores Principais
css
dados estruturados
desenvolvedores
design responsivo
diretrizes para webmasters
Discover
dispositivos móveis
engenharia social
erros de rastreamento
estrutura do website
experts em produtos
ferramentas e dispositivos
ferramentas para webmasters
Google Assistente
Google Home
Google notícias
Google+
Googlebot
guia SEO
hreflang
HTTPS
imagens
Imagens do Google
indexação de aplicativos móveis
iniciante
intersticiais
invasão de sites
javascript
Lighthouse
links
localização
malware
mudança de site
navegação segura
NoHacked3.0
pagespeed insights
phishing
preenchimento automático
prevenção
rastreio e indexação
reCaptcha
recomendações
reconsiderações
resultados de busca
resultados de pesquisa
rich cards
rich snippets
robots.txt
safe browsing
Search Console
segurança
SEO
sitemaps
TC Summit
url canônico
UX
velocidade
verificação
verificação em duas etapas
webspam
Arquivo do blog
2020
novembro
setembro
agosto
julho
junho
maio
abril
março
fevereiro
janeiro
2019
novembro
outubro
setembro
junho
maio
abril
março
fevereiro
janeiro
2018
dezembro
novembro
outubro
julho
junho
maio
abril
março
fevereiro
2017
dezembro
novembro
julho
junho
abril
março
2016
novembro
outubro
setembro
agosto
julho
junho
maio
abril
março
janeiro
2015
dezembro
novembro
outubro
setembro
agosto
julho
junho
maio
abril
março
janeiro
2014
novembro
outubro
setembro
agosto
julho
Testar os arquivos robots.txt ficou mais fácil
Solução de problemas com anotações hreflang nas Fe...
junho
maio
abril
março
Feed
Recursos disponíveis para Webmasters:
Ferramentas do Google para Webmasters
Fórum de Ajuda para Webmasters
Central de Ajuda
Outros Artigos Publicados
Guia de Otimização para Webmasters Iniciantes
Perguntas Frequentes de Webmasters
