X-Robots-Tag: HTTP Header ile Google bot indekslemesini yönetmek

Google bot a söz geçirme sanatı başlıklı makalemde bahsetmiş olduğum Google Bot ile anlaşmak için kullanılabilecek tekniklerden bir tanesi de HTTP Header’a X-Robots-Tag komutu ile Google bot’a(veya başka söz dinleyen bir bot) sayfayı nasıl indekse alacağını bildirmek. Bu yöntem bazı durumlarda SEO açısından hayat kurtarıcı olabilir.

Kullanım şekli çok bilinen meta etiketinden farksızdır, <meta name="robots" value="noindex, nofollow, nosnippet" /> meta etiketinde kullanılan değerler kullanılır.

Kullanım sonrası örnek bir header şöyle çıkar:

Status: HTTP/1.1 404 Not Found
Content-Type:	text/html; charset=utf-8	
Server:	Microsoft-IIS/7.5		
X-Robots-Tag:	noindex	
Date:	Sun, 22 Jan 2012 13:19:18 GMT	
Connection:	close	
Content-Length:	3540

Sisteme ya da dile göre(Linux, Php, ISS, Asp) ve örnek kullanım şekilleri aşağıdaki gibidir, sunucu Apache kullanmayan bir Windows ise web.config, Apache kullanan bir sunucu ise .htaccess kullanmak tavsiye edilir fakat Php veya Asp/.Net gibi dillerde de Http Header göndermek mümkündür.

.htaccess ile – Resim dosyalarının noindex vermek

<FilesMatch ".(gif|jpe?g|png)$">
Header set X-Robots-Tag "noindex"
</FilesMatch>

Php header ile – Herhangi bir sayfa veya PHP çalışan dosya için

header('X-Robots-Tag: noindex,nofollow');

Windows için web.config de kullanmak

<httpProtocol>
  <customHeaders>
<add name="X-Robots-Tag" value="noindex, noarchive, nosnippet" />
  </customHeaders>
</httpProtocol>