Arama motorlarında üst sıralarda çıkmak ile ilgili çok yerde makaleler yazılır ama bu arama motorlarında indekslemeyi yapan örümcekler ( web robotları) hakkında fazla yerde bilgi yok. Bir arkadaşımın bu açığı görerek yazdığı makaleden aynen buraya aktarıyorum. Ayrıca arama motorlarında hedeflenen kelimelerde üst sıralarda çıkmak yani seo ile ilgili yazılarımı da blogda okuyabilirsiniz.
Web’in dinamik yapılı içeriğini otomatik olarak tekrar tekrar dolaşan ve bunları veritabanlarında tutan programlara Web robotları ya da Arama motoru örümcekleri diyoruz. Web tarayıcıları robot değillerdir. Web robotlarından bazı yerlerde Web Wanderers, Web Crawlers veya Spiders olarak da söz edilmektedir. Robotların siteleri gezerken bir virüs gibi kendilerini gezdikleri serverlara kopyalayıp zarar verdikleri düşünülmektedir. Oysa robotlar birer virüs değildir. Sadece ziyaret ettikleri sitenin bilgilerini almakla görevlidirler. Şu adres mevcut tüm robotların listesini göstermektedir.
AGENT NEDIR?
Bazı agent çeşitleri şunlardır;
Autonomous agents;
Pek kullanılmayan, fakat özel serverlar arasında kullanılan bir türdür.
Intelligent agents;
Kullanıcılara yardımcı olan agent’lardır. Kullanıcılar ürün seçiminde veya forum doldururken ya da bir şeyleri ararken bu agent’in yardımını alırlar.
User-agent;
Network görevleri için kullanılan teknik bir terimdir. Mesela Web User-Agent olarak Netscape Navigator ve Internet Explorer örnek verilebilir.
SEARCH ENGINE NEDIR?
Robotlar tarafından oluşturulan bir veritabanı içerisinde belli kriterlere göre arama işlemi yapan programlardır.
ROBOTLAR HANGI AMAÇ IÇIN KULLANILIRLAR?
- Indexleme
- HTML doğrulama
- Link doğrulama
- Yenilikler
- Benzer içerikler
ROBOTLAR ZARARLI MIDIR?
Bazı sebeplerden dolayı bazı insanlar robotların zararlı olduğunu düşünmektedirler.
İşte sebepler;
- Kimi robotlar ziyaret ettikleri serverlar üzerinde aşırı yüklemeler yapmaktadırlar. Bu site sahiplerinin hiç hoşuna gitmemektedir. Fakat bu tür olaylar genellikle robot yazılımları geliştiren acemi yazılımcıların neden oldukları bir durumdur.
- Robot yazılımcılarının yazılımı kullanacak olanlara karşı dikkatli olması ve hata yapabileceklerini düşünmesi gerekmektedir. Robot’ları kullanacak olanların hatası zaman zaman tehlikeli olabilmektedir.
- Indexleme işleminde ölçeklenemeyecek kadar büyük merkezi veritabanları oluşturulması.
Fakat robotlar kötü veya çok zeki değillerdir. Sadece kullanımı dikkat gerektirmektedir. Iyi tasarlanmış ve profesyonel yönetilen robotlar probleme yol açmazlar. Aksine web dünyasının daha verimli kullanılmasını sağlarlar.
BIR ROBOT NEREYI ZIYARET EDECEĞINE NASIL KARAR VERIR?
Her robotun farklı bir stratejisi vardır. Genellikle tarihsel URL listelerinden başlanır. Özellikle çok ziyaret edilen ve yeni sayfaların yayınlandığı server-lists’ler kontrol edilir. Kendiniz URL adresinizi göndererek de sitenize bir robot çağarmanız mümkün. Robotlar ziyaret ettiği sitelerin içerik ve kaynaklarını parse ederken rastladığı adresleri de ziyaret edeceklerdir.
INDEXLEME YAPAN ROBOTLAR NELERI INDEXLERLER?
Bazıları HTML titles’ları indexlerken bazıları ilk bir kaç paragrafı veritabanlarına aktarırlar. Tüm kelimeleri parse edip veritabanlarına alan robotlar da mevcuttur. Bazıları sadece META taglarla veya gizli bazı özel taglarla ilgilenirler.
KENDI SAYFAMI BIR ROBOTA NASIL KAYDETTIREBILIRIM?
Bahsedildiği gibi robotlar genellikle kendileri tüm sitelere ulaşmaktadırlar. Fakat robotları kendiniz de sitenize davet edebilirsiniz. Her robotun bir submit formu vardır. Buraya adresinizi girerek robotun sitenize uğramasını sağlayabilirsiniz. Google için şu adresini kullanabilirsiniz. Diğer robotların adresleri için yukarıda verilen linki kullanarak addurl sayfalarını öğrenebilirsiniz. Ayrıca googlebot çok yoğun ve erişilmesi güç siteler haricinde tüm sitelere bir kaç saniyede bir erişmektedir.
BIR ROBOT TARAFINDAN ZIYARET EDILDIĞIMI NASIL BILECEĞIM?
Server loglarından görebilirisiniz. Ayrıca serverınız User-agent’e izin veriyor ise alışılmadık user-agent loginleri için header değerlerini kontrol edebilirsiniz.
ROBOTLARDAN NASIL KORUNABILIRIM?
Sitenize /robot.txt oluşturup içerisine
User-agent: *
Disallow: /
yazmanız yeterlidir. Bu tüm robotların dikkate alması gereken bir dosya olduğunu ve hiçbir içeriğin robotlar tarafından incelenmemesini göstermektedir.
# /robots.txt file for http://webcrawler.com/
# mail webmaster@webcrawler.com for constructive criticism
User-agent: webcrawler
Disallow:
User-agent: lycra
Disallow: /
User-agent: *
Disallow: /tmp
Disallow: /logs
İkinci örneğin ilk 2 satırı yorum ve bilgi amaçlıdır. Ilk agent olan webcrawler robotuna hiç bir engelleme olmadığını görüyoruz. Robot tüm içeriği işleme koyabilir. Lycra’nın hiç bir içeriğe ulaşmaması gerektiğini görüyoruz. Biliyorsunuz / karakteri tüm klasörlerin başlangıcını temsil ediyor. Son uyarı ise tüm agent’ları ilgilendiriyor. Tüm agentlar tmp ve logs klasöründen uzak durmalıdırlar. Standartlar hakkında daha fazla bilgiyi şu adresten bulabilirsiniz.
EĞER ROBOT.TXT OLUŞTURAMIYORSANIZ NE YAPMALISINIZ?
Meta tagları kullanabilirsiniz.
<META NAME="ROBOTS" CONTENT="NOINDEX">
Bu satırları içeren HTML dokümanı incelenmeyecektir.
<META NAME="ROBOTS" CONTENT="NOFOLLOW" />
Bu satırları içeren HTML indekslenecek fakat bir robot tarafından parse edilmeyecektir.
<META NAME="robots" CONTENT="noarchive" />
Bir çok site indekslendiği son hali ile arama motorlarından erişilebilmekte. Hatta siteler kapandıkları halde son indekslendiği hali ile arama motorları üzerinde yayınlanmaktadırlar. İşte bunu engellemek için yani arşivlemeyi engellemek için yukarıdaki satırları dokümana eklemeniz yeterlidir.
Kaynaklar; robotstxt.org, Websolider.net