Pedro Dias » Webdevelopment

Como prevenir a indexação de páginas seguras (https)

Pedro Dias — Sun, 27 Jun 2010 09:49:54 +0000

Muitos dos sites na Internet—maioritariamente e-commerce e online banking—utilizam a tecnologia SSL para segurança de secções específicas que normalmente lidam com informação pessoal dos visitantes ou dados sensíveis. Esta tecnologia faz com que várias páginas ou secções específicas de um website sejam servidas sob o protocolo HTTPS assegurando a transmissão de dados dentro de uma sessão encriptada. Isto quer dizer que páginas, ou secções de um site podem existir repetidamente sob ambos os protocolos HTTP e HTTPS. No entanto, se o servidor não estiver corretamente configurado, isto pode resultar na indexação de conteúdo duplicado, criando problemas de canonicalização e diluindo um pouco a força do site. Existem várias maneiras de lidar com este problema, mas neste artigo vou escrever sobre as 2 maneiras mais comuns caso tenha um servidor Apache.

A primeira solução é para aqueles que não utilizam ou não necessitam de SSL, mas para a qual o site existe sob ambos os protocolos. É comum nos dias de hoje que os servidores funcionem por defeito para ambos os protocolos.

Se não utiliza ou não necessita desta tecnologia, a maneira mais fácil é implementar um redireccionamento 301 de HTTPS para HTTP para todo o site, isto consegue-se através da adição das seguintes linhas ao ficheiro .htaccess que reside na raíz do seu site (obviamente substituindo o meu dominio pelo seu):

<IfModule mod_rewrite.c>
  RewriteEngine On
  # Redirect requests from https to http
  RewriteCond %{SERVER_PORT} ^443$
  RewriteRule ^(.*)$ http://www.pedrodias.net/$1 [R=301,L]
IfModule>

Os comandos acima dizem que, para cada pedido de qualquer ficheiro ao servidor através da porta 443 (porta para SSL/protocolo HTTPS), o servidor deve servir o domínio sob HTTP aplicando um redireccionamento tipo 301.

A segunda solução é para aqueles que utilizam ou necessitam desta tecnologia, mas não querem que os motores de busca indexem as páginas sob o protocolo HTTPS. Para isso crie um segundo ficheiro de robots.txt e dê-lhe o nome de robots_ssl.txt por exemplo. Dentro desse ficheiro negue acesso total ao site para todos os motores de busca através do seguinte:

1 2	User-agent: * Disallow: /

Este ficheiro deve ser colocado na raíz do site, onde provavelmente já existe também um ficheiro robots.txt. Em suma o site vai ter 2 ficheiros robots.txt, um para servir sob HTTP e outro que será servido sob HTTPS. Agora basta criar ou editar o ficheiro .htaccess na raíz do site e inserir as seguintes linhas:

<IfModule mod_rewrite.c>
  RewriteEngine On
  # Prevent indexing https
  RewriteCond %{SERVER_PORT} ^443$
  RewriteRule ^robots.txt$ robots_ssl.txt
IfModule>

Os comandos acima dizem que, para cada pedido do ficheiro robots.txt ao servidor através da porta 443 (porta para SSL/protocolo HTTPS), o servidor deve servir o ficheiro robots_ssl.txt.

Podemos testar o resultado final acedendo ao site através de HTTP e HTTPS, por exemplo http://www.pedrodias.net/robots.txt e https://www.pedrodias.net/robots.txt apresentam diferentes versões do ficheiro robots.txt.

Para complementar este artigo, recomendo que leia também o meu post sobre domínios com e sem www.

UPDATE: Para colocar meta noindex,follow nas suas páginas sob HTTPS, basta colocar o seguinte código PHP dentro das tags do seu site:


if (isset($_SERVER['HTTPS']) && strtolower($_SERVER['HTTPS']) == 'on') {
echo ''. "\n";
}
?>

Como prevenir a indexação de páginas seguras (https) is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Não há posts relacionados.

Domínios com e sem www

Pedro Dias — Fri, 19 Feb 2010 21:19:18 +0000

É inacreditável a quantidade de sites de instituições portuguesas importantes que não funcionam quando o domínio não é precedido por www. Embora não seja crucial para o simples funcionamento de um site, este mishap acarreta uma má experiência em termos de usabilidade e acessibilidade, para não falar nos links que perdem cada vez que alguém liga para o site com um link sem www (como por exemplo os meus neste post).

De entre os browsers que testei (Chrome, Firefox, Internet Explorer e Opera) apenas o Firefox redirecciona automaticamente para a versão www quando não consegue resolver o DNS, a maioria dos motores de pesquisa utilizadores, e utilizadores de outros browsers como o Internet Explorer deparar-se-ão com um erro nada amigável.

Erro no IE quando tento aceder a http://bpinet.pt/:

Erro no Chrome para http://mbnet.pt/:

No entanto isto é muito simples de resolver e normalmente significa que dominio.com não foi adicionado como A record e o subdomínio www não foi adicionado como CNAME (Canonical Name record) na configuração do domínio no servidor e talvez tenha sido adicionado como A record erroneamente. A configuração simples de DNS de um dominio no servidor pode parecer-se com o seguinte:

dominio.com. — NS — NS1.DOMINIO.COM.
dominio.com. — NS — NS2.DOMINIO.COM.
dominio.com. — A — 123.456.789.012
ftp.dominio.com. — A — 123.456.789.012
www.dominio.com. — CNAME — dominio.com.

Podem haver mais elementos pelo meio, mas estes são os básicos por defeito, para corrigir o problema basta adicionar o subdomínio www como CNAME (a verde no exemplo) apontando para o A record dominio.com (a vermelho). Após termos corrigido o problema devemos ainda proceder a um passo seguinte, porém não menos importante, que passa por definir apenas uma versão canónica para browsers e motores de busca. Isto evita que o domínio seja indexado com e sem www. evitando por conseguinte problemas de conteúdo duplicado e dispersão do valor dos links recebidos. Para efectuar essa configuração basta fazer o seguinte:

Em servidores Apache, edite ou crie o ficheiro .htaccess e insira as seguintes linhas:

Options +FollowSymlinks
RewriteEngine on
RewriteCond %{http_host} ^dominio.com [NC]
RewriteRule ^(.*)$ http://www.dominio.com/$1 [R=301,L]

Para fazer o inverso e redireccionar www. para a versão sem www:

1 2	RewriteCond %{http_host} ^www.dominio.com [NC] RewriteRule ^(.*)$ http://dominio.com/$1 [R=301,L]

Em PHP:


if (substr($_SERVER['HTTP_HOST'],0,3) != 'www') {
header('HTTP/1.1 301 Moved Permanently');
header('Location: http://www.'.$_SERVER['HTTP_HOST']
.$_SERVER['REQUEST_URI']);
}
?>

E finalmente em ASP (yuck…):

<%
If InStr(Request.ServerVariables("SERVER_NAME"),"www") = 0 Then
Response.Status="301 Moved Permanently"
Response.AddHeader "Location","http://www."
& Request.ServerVariables("HTTP_HOST")
& Request.ServerVariables("SCRIPT_NAME")
End if
%>

Agora toca a consertar os sites, vá! Já não há a desculpa que ninguém explicou…

Nota: Para quem faz a gestão do Dominio fora do servidor, exemplo Godaddy.

Outras referências:

Domínios com e sem www is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Não há posts relacionados.

Google Webmaster Tools API

Pedro Dias — Sat, 21 Jun 2008 09:30:51 +0000

Já está, foi anunciado ontem no Blog da Central do Webmaster. A partir de agora podemos aceder através de um API (Application Programming Interface) à maioria das funcionalidades das Webmaster Tools.

As funcionalidades da primeira versāo deste API suportam:

Supervisionando Sites na consola de Ferramentas para Webmasters:
- Obter uma lista de sites;
- Adicionar sites;
- Fazer a verificaçāo de sites;
- Remover sites;
Trabalhando com Sitemaps:
- Obter uma lista de Sitemaps submetidos;
- Adicionar Sitemaps;
- Remover Sitemap.

Para uma documentaçāo mais aprofundada visitem a página Google Webmaster API Developers Guide.

Google Webmaster Tools API is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Posts possivelmente relacionados:

Google Webmaster Central Blog Foi recentemente anunciado o Blog do Google da Cetral do Webmaster. Este visa acompanhar o lado mais técnico e fornecer informação aos webmasters acerca do...
Update à consola do Webmaster Foram hoje implementadas novas funcionalidades na Consola do Webmaster do Google. Embora sejam melhoramentos de menor escala, estes vão de encontro aos planos do Google...
O SEU motor de busca AKA Google Custom Search Engine Foi lançado ontem à noite mas já causa sensação! O Google Custom Search Engine não é apenas mais um serviço, agora o Google oferece a...
O Guia do Webmaster do Google Há cerca de 3 semanas atrás, quando escrevi sobre os jornais e o Google, apontei uma possível solução que permite bloquear directórios específicos de um...

WordPress ugrades… the easy way

Pedro Dias — Thu, 08 May 2008 20:26:28 +0000

Aqui há uns tempos escrevi um post chamando a atenção para instalações de WordPress desactualizadas, umas porque não há tempo para actualizar, outras por puro descuido do autor do blog ou de quem lhe faz a manutenção… Devo no entanto dizer que o sintoma ainda persiste… tenho visto e continuo o ver muito blog de referência ser alvo de hacking.

Por isso, e sem demora quero partilhar o que eu próprio implementei e que me tem poupado muito tempo e dor de cabeça… Subversion. Para quem não sabe, Subversion e um sistema open-source de controle de versões, mais esclarecimento aqui.

Há serviços de hosting que suportam Subvesion out of the box, noutros podemos instalar o software nós mesmos. Se, como eu, têm acesso a Subversion como parte do vosso pack de hosting então é uma boa ideia pensar em migrar a vossa instalação de WordPress para Subversion.

Como converter uma instalação tradicional de WordPress para Subversion? Fácil fácil… tudo explicadinho aqui. Se por outro lado a vossa situação requer uma nova instalação então é isto que procuram.

No fim e se tudo estiver a funcionar correctamente só precisam de uma linha de comando para fazer upgrade de uma ou mais instalações de WordPress:

$ svn sw http://svn.automattic.com/wordpress/tags/2.5.1/

Simples não é?… :) Obviamente este exemplo destina-se á ultima versão do Worpress ao momento que escrevo este post, para futuras versões basta mudar para o número correspondente.

O plugin Login Lockdown é tambem algo que pode ser útil como reforço de segurança… I like it :)

“…Login LockDown records the IP address and timestamp of every failed WordPress login attempt. If more than a certain number of attempts are detected within a short period of time from the same IP range, then the login function is disabled for all requests from that range…”

Vá… mãos á obra, de que é que estão á espera?

WordPress ugrades… the easy way is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Não há posts relacionados.

Protocolos de exclusão de “robots”

Pedro Dias — Fri, 23 Feb 2007 21:04:42 +0000

Foi feito ontem um post no Official Google Blog onde de uma maneira bastante acessível e ilustrativa, Dan Crow explica como funcionam os atributos NOFOLLOW, NOINDEX, NOARCHIVE e NOSNIPPET.

Este post é o segundo de uma série ainda em desenvlovimento; o primeiro post publicado há cerca de um mês, explicava como podemos controlar a maneira em como os motores de busca acedem ao nosso site e como funciona o ficheiro robots.txt.

Protocolos de exclusão de “robots” is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Posts possivelmente relacionados:

Os Jornais e o Google News… e o robots.txt Segundo a Exame Informática: “A Google utiliza os conteúdos da imprensa, colocando-os no seu serviço noticioso sem pagar quaisquer taxas. Mas alguns jornais já se...