Pedro Dias» How to

Como prevenir a indexação de páginas seguras (https)

Pedro Dias — Sun, 27 Jun 2010 09:49:54 +0000

Muitos dos sites na Internet—maioritariamente e-commerce e online banking—utilizam a tecnologia SSL para segurança de secções específicas que normalmente lidam com informação pessoal dos visitantes ou dados sensíveis. Esta tecnologia faz com que várias páginas ou secções específicas de um website sejam servidas sob o protocolo HTTPS assegurando a transmissão de dados dentro de uma sessão encriptada. Isto quer dizer que páginas, ou secções de um site podem existir repetidamente sob ambos os protocolos HTTP e HTTPS. No entanto, se o servidor não estiver corretamente configurado, isto pode resultar na indexação de conteúdo duplicado, criando problemas de canonicalização e diluindo um pouco a força do site. Existem várias maneiras de lidar com este problema, mas neste artigo vou escrever sobre as 2 maneiras mais comuns caso tenha um servidor Apache.

A primeira solução é para aqueles que não utilizam ou não necessitam de SSL, mas para a qual o site existe sob ambos os protocolos. É comum nos dias de hoje que os servidores funcionem por defeito para ambos os protocolos.

Se não utiliza ou não necessita desta tecnologia, a maneira mais fácil é implementar um redireccionamento 301 de HTTPS para HTTP para todo o site, isto consegue-se através da adição das seguintes linhas ao ficheiro .htaccess que reside na raíz do seu site (obviamente substituindo o meu dominio pelo seu):

<IfModule mod_rewrite.c>
  RewriteEngine On
  # Redirect requests from https to http
  RewriteCond %{SERVER_PORT} ^443$
  RewriteRule ^(.*)$ http://www.pedrodias.net/$1 [R=301,L]
IfModule>

Os comandos acima dizem que, para cada pedido de qualquer ficheiro ao servidor através da porta 443 (porta para SSL/protocolo HTTPS), o servidor deve servir o domínio sob HTTP aplicando um redireccionamento tipo 301.

A segunda solução é para aqueles que utilizam ou necessitam desta tecnologia, mas não querem que os motores de busca indexem as páginas sob o protocolo HTTPS. Para isso crie um segundo ficheiro de robots.txt e dê-lhe o nome de robots_ssl.txt por exemplo. Dentro desse ficheiro negue acesso total ao site para todos os motores de busca através do seguinte:

1 2	User-agent: * Disallow: /

Este ficheiro deve ser colocado na raíz do site, onde provavelmente já existe também um ficheiro robots.txt. Em suma o site vai ter 2 ficheiros robots.txt, um para servir sob HTTP e outro que será servido sob HTTPS. Agora basta criar ou editar o ficheiro .htaccess na raíz do site e inserir as seguintes linhas:

<IfModule mod_rewrite.c>
  RewriteEngine On
  # Prevent indexing https
  RewriteCond %{SERVER_PORT} ^443$
  RewriteRule ^robots.txt$ robots_ssl.txt
IfModule>

Os comandos acima dizem que, para cada pedido do ficheiro robots.txt ao servidor através da porta 443 (porta para SSL/protocolo HTTPS), o servidor deve servir o ficheiro robots_ssl.txt.

Podemos testar o resultado final acedendo ao site através de HTTP e HTTPS, por exemplo http://www.pedrodias.net/robots.txt e https://www.pedrodias.net/robots.txt apresentam diferentes versões do ficheiro robots.txt.

Para complementar este artigo, recomendo que leia também o meu post sobre domínios com e sem www.

UPDATE: Para colocar meta noindex,follow nas suas páginas sob HTTPS, basta colocar o seguinte código PHP dentro das tags do seu site:


if (isset($_SERVER['HTTPS']) && strtolower($_SERVER['HTTPS']) == 'on') {
echo ''. "\n";
}
?>

Como prevenir a indexação de páginas seguras (https) is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Domínios com e sem www

Pedro Dias — Fri, 19 Feb 2010 20:19:18 +0000

É inacreditável a quantidade de sites de instituições portuguesas importantes que não funcionam quando o domínio não é precedido por www. Embora não seja crucial para o simples funcionamento de um site, este mishap acarreta uma má experiência em termos de usabilidade e acessibilidade, para não falar nos links que perdem cada vez que alguém liga para o site com um link sem www (como por exemplo os meus neste post).

De entre os browsers que testei (Chrome, Firefox, Internet Explorer e Opera) apenas o Firefox redirecciona automaticamente para a versão www quando não consegue resolver o DNS, a maioria dos motores de pesquisa utilizadores, e utilizadores de outros browsers como o Internet Explorer deparar-se-ão com um erro nada amigável.

Erro no IE quando tento aceder a http://bpinet.pt/:

Erro no Chrome para http://mbnet.pt/:

No entanto isto é muito simples de resolver e normalmente significa que dominio.com não foi adicionado como A record e o subdomínio www não foi adicionado como CNAME (Canonical Name record) na configuração do domínio no servidor e talvez tenha sido adicionado como A record erroneamente. A configuração simples de DNS de um dominio no servidor pode parecer-se com o seguinte:

dominio.com. — NS — NS1.DOMINIO.COM.
dominio.com. — NS — NS2.DOMINIO.COM.
dominio.com. — A — 123.456.789.012
ftp.dominio.com. — A — 123.456.789.012
www.dominio.com. — CNAME — dominio.com.

Podem haver mais elementos pelo meio, mas estes são os básicos por defeito, para corrigir o problema basta adicionar o subdomínio www como CNAME (a verde no exemplo) apontando para o A record dominio.com (a vermelho). Após termos corrigido o problema devemos ainda proceder a um passo seguinte, porém não menos importante, que passa por definir apenas uma versão canónica para browsers e motores de busca. Isto evita que o domínio seja indexado com e sem www. evitando por conseguinte problemas de conteúdo duplicado e dispersão do valor dos links recebidos. Para efectuar essa configuração basta fazer o seguinte:

Em servidores Apache, edite ou crie o ficheiro .htaccess e insira as seguintes linhas:

Options +FollowSymlinks
RewriteEngine on
RewriteCond %{http_host} ^dominio.com [NC]
RewriteRule ^(.*)$ http://www.dominio.com/$1 [R=301,L]

Para fazer o inverso e redireccionar www. para a versão sem www:

1 2	RewriteCond %{http_host} ^www.dominio.com [NC] RewriteRule ^(.*)$ http://dominio.com/$1 [R=301,L]

Em PHP:


if (substr($_SERVER['HTTP_HOST'],0,3) != 'www') {
header('HTTP/1.1 301 Moved Permanently');
header('Location: http://www.'.$_SERVER['HTTP_HOST']
.$_SERVER['REQUEST_URI']);
}
?>

E finalmente em ASP (yuck…):

<%
If InStr(Request.ServerVariables("SERVER_NAME"),"www") = 0 Then
Response.Status="301 Moved Permanently"
Response.AddHeader "Location","http://www."
& Request.ServerVariables("HTTP_HOST")
& Request.ServerVariables("SCRIPT_NAME")
End if
%>

Agora toca a consertar os sites, vá! Já não há a desculpa que ninguém explicou…

Nota: Para quem faz a gestão do Dominio fora do servidor, exemplo Godaddy.

Outras referências:

Domínios com e sem www is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Truque para fazer screenshots

Pedro Dias — Thu, 19 Nov 2009 12:43:30 +0000

Há uns dias atrás descobri um truque que facilita imenso o processo de fazer screenshots de qualquer página web removendo informação pessoal. O truque passa por editar a própria página primeiro e fazer screenshot depois (hã!!!!)… yep… A fórmula mágica é a seguinte:

1. Ir para a página que pretendemos fazer a captura do screenshot;
2. Uma vez a página carregada inserir o seguinte código na barra de endereços e pressionar enter:

javascript:void(document.body.contentEditable=(document.body.contentEditable!='true'))

3. Editar no browser qualquer conteúdo que seja texto — imagens obviamente não é possível alterar com este método;
4. Fazer o screenshot.

Este truque funciona lindamente para retoques pequenos para apresentações e blog posts.

P.S.: Se já sabiam porque é que não partilharam?

Truque para fazer screenshots is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

WordPress ugrades… the easy way

Pedro Dias — Thu, 08 May 2008 19:26:28 +0000

Aqui há uns tempos escrevi um post chamando a atenção para instalações de WordPress desactualizadas, umas porque não há tempo para actualizar, outras por puro descuido do autor do blog ou de quem lhe faz a manutenção… Devo no entanto dizer que o sintoma ainda persiste… tenho visto e continuo o ver muito blog de referência ser alvo de hacking.

Por isso, e sem demora quero partilhar o que eu próprio implementei e que me tem poupado muito tempo e dor de cabeça… Subversion. Para quem não sabe, Subversion e um sistema open-source de controle de versões, mais esclarecimento aqui.

Há serviços de hosting que suportam Subvesion out of the box, noutros podemos instalar o software nós mesmos. Se, como eu, têm acesso a Subversion como parte do vosso pack de hosting então é uma boa ideia pensar em migrar a vossa instalação de WordPress para Subversion.

Como converter uma instalação tradicional de WordPress para Subversion? Fácil fácil… tudo explicadinho aqui. Se por outro lado a vossa situação requer uma nova instalação então é isto que procuram.

No fim e se tudo estiver a funcionar correctamente só precisam de uma linha de comando para fazer upgrade de uma ou mais instalações de WordPress:

$ svn sw http://svn.automattic.com/wordpress/tags/2.5.1/

Simples não é?… Obviamente este exemplo destina-se á ultima versão do Worpress ao momento que escrevo este post, para futuras versões basta mudar para o número correspondente.

O plugin Login Lockdown é tambem algo que pode ser útil como reforço de segurança… I like it

“…Login LockDown records the IP address and timestamp of every failed WordPress login attempt. If more than a certain number of attempts are detected within a short period of time from the same IP range, then the login function is disabled for all requests from that range…”

Vá… mãos á obra, de que é que estão á espera?

WordPress ugrades… the easy way is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Façam uma revisão aos vossos blogs

Pedro Dias — Wed, 27 Feb 2008 11:25:39 +0000

Tenho notado ultimamente um crescimento acentuado de hacked blogs, na blogosfera Portuguesa. Creio que se deve ao facto de estes estarem em instalações WordPress que não foram actualizadas, ou com plugins de fontes suspeitas.

A melhor maneira de evitar isto é a prevenção, revejam o vosso blog periodicamente. O Matt fez um post aqui há tempos sobre protecção extra em Blogs WordPress com alguns pontos importantes:

1. Protejam a pasta /wp-admin/ com um ficheiro .htaccess, como exemplo:

AuthUserFile /dev/null
AuthGroupFile /dev/null
AuthName “Access Control”
AuthType Basic
<LIMIT GET>
order deny,allow
deny from all
# whitelist home IP address
allow from 64.233.169.99
# whitelist work IP address
allow from 69.147.114.210
allow from 199.239.136.200
# IP some temporary place; delete when back
allow from 128.163.2.27
LIMIT>

Nota: Os endereços de IP aqui listados devem ser obviamente substituídos pelos vossos endereços correspondentes.

2. Criem um ficheiro index.html em wp-content/plugins/ para evitar acesso a lista de plugins. Um plugin antigo é um alvo para hackers.

3. Subscrevam a feed do Worpress Dev blog [http://wordpress.org/development/feed/]. Assim ficam informados sempre que hajam actualizações e correcções de falhas de segurança.

Para além disso é também recomendado que removam a seguinte linha de código do header.php

1	php bloginfo('version'); ?>" />

esta linha insere a versão WordPress no código html

Façam uma revisão aos vossos blogs is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Acelerar o Firefox – The geeky way!

Pedro Dias — Tue, 17 Jul 2007 13:44:13 +0000

É um truque que utilizo há já algum tempo, pois os ossos do ofício assim obrigam. Por defeito o Firefox vem optimizado para velocidades de “dial-up”, uma vez que este tipo de ligação ainda representa um número relevante dos utilizadores de Internet nos dias de hoje. Para os utilizadores de banda larga é possível fazer um tweak de modo a acelerar o desempenho do browser.

O pipelining faz com que o Firefox seja capaz de lidar com múltiplas funções cada vez que carregamos um URL. Ao alterarmos determinados parâmetros maximizamos esse efeito e o browser passa a suportar o envio e recepção de múltiplos pedidos de informação.

Para isso basta seguir o seguinte procedimento:

Tecle “about:config” na barra de endereço do browser e pressione enter.
Tecle “network.http” no campo Filter e modifique as seguintes definições:
1. Mude “network.http.pipelining” para “true“
2. Mude “network.http.proxy.pipelining” para “true“
3. Mude “network.http.pipelining.maxrequests” para um número como “30” (isto permite lidar com 30 requests de uma vez)
4. Clique com o botão direito dentro da janela e seleccione “New > Integer“, dê-lhe o nome de “nglayout.initialpaint.delay” e atribua-lhe o valor “0” (zero) – Este valor representa quanto tempo o browser espera antes de processar a informação recebida.

E pronto, está feito o tweak, estas definições não têm qualquer influência na segurança do browser.

Acelerar o Firefox – The geeky way! is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Firestats, mais do que uma consola de estatísticas

Pedro Dias — Sun, 25 Feb 2007 20:46:44 +0000

No grupo SEO Portugal (o grupo já não existe) o Bruno colcou uma questão acerca de que ferramenta usar para medir os resultados de busca que levam aos nossos sites.

Foi depois de responder que resolvi fazer este post. Pois bem, o Firestats é uma consola muito completa para um plugin, já o uso há bastante tempo e estou muito satisfeito, dá-nos iformação completa em 7 diferentes secções e opções de filtrar IP’s e Bots. Se visitarem a página de demonstração, podem ter uma ideia mais ilustrativa do que estou a falar.

Em vez de fazer aqui uma descrição exaustiva do conteúdo ou screenshots, deixo-vos a tarefa de visitarem o site de demonstração e apreciarem as features com os vossos próprios olhos, se no entanto tiverem alguma dúvida mais pertinente, não hesitem em atirá-la aqui para o charco; terei todo o gosto em ajudar.

Firestats, mais do que uma consola de estatísticas is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória

Protocolos de exclusão de “robots”

Pedro Dias — Fri, 23 Feb 2007 20:04:42 +0000

Foi feito ontem um post no Official Google Blog onde de uma maneira bastante acessível e ilustrativa, Dan Crow explica como funcionam os atributos NOFOLLOW, NOINDEX, NOARCHIVE e NOSNIPPET.

Este post é o segundo de uma série ainda em desenvlovimento; o primeiro post publicado há cerca de um mês, explicava como podemos controlar a maneira em como os motores de busca acedem ao nosso site e como funciona o ficheiro robots.txt.

Protocolos de exclusão de “robots” is an original article of Pedro Dias published on Pedro Dias - O Meu Ego, Google, SEO, Webmasters e conversa aleatória