Sunucu kaynaklarını sömüren botlar / crawler | Blog Wolkanca

Daha önce kendi sunucusunda blog yazacak arkadaşlar için önerilerde bulunmuştum, kendi sunucunda bir WordPress blogu kurarak yazmak isteyen veya yazmayı sürdürenlerin bloglarının yazı, etiket, kategori vs. çoğaldıkça ve bunun yanında ziyaretçi trafiği yükseldikçe pişmiş tavuğun başına gelmeyenler onun başına gelebiildiğini bizzat yaşamış ve yazmıştım.

Buradaki blog maceramda 3 faklı hosting firması ile çalıştım, ilki Arif beyin Tescilet.net firması idi, bu firmada doğduk diyebilirim, ikincisi Dreamhost ve şu anda Seçkin Bey'in yönettiği Hostcin ile çalışıyoruz, mutluyuz.

Tecrübelerime dayanarak web sitelerinin sunucu kaynaklarını o siteye giriş yapan insanlardan çok crawler (indeksleyici) yani arama veya her neyse o şey onlara ait bot'lar sömürüyor diyebilirim.
Burada bu botları engellememiz tabiki mümkün diyebilirsiniz, fakat diğer taraftan Google, Yahoo, Msn gibi arama motorlarının botlarının veya sadece bloglar ve rss akışı olan siteler özel olan botları engeller isek bu sefer blogunuz oradan gelen ziyaretçilerden mahrum kalabilir. Engellemezseniz blogunuzun bulunduğu sunucunun tüm kaynakları bu botlar tarafından sömürülüp diğer okurlara ve hatta size blogsuz bir hayat kalabiliyor, ya hosting firmanız size "koçum bu seni kesmez daha büyük bir sunucu kirala" diyecek veya direk sizin blogunuzu veya hesabınızı kapatacaktır, o da olmadı bir diğer ihtimal siz ve ziyaretçiler dakikalarca blog sayfanızın açılışını beklemek zorunda kalacaksınız, çok keyifsiz bir hal alacaktır blog yazmak.

Tüm bunları yazmamdaki neden benim gibi bu problemlerle karşılaşacak arkadaşlara faydalı olmak, benim tavsiyem Google, Yahoo ve Msn harici diğer tüm arama motoru crawler larını engellemeniz, sunucunuzda iyi bir araştırma yapın ve istatistiklerden blogunuza en çok bağlantı yapılan ip adreslerini kontrol edip o ip adreslerinin hangi firmaya veya hangi ülkeye ait olduklarını tespit edin. Örneğin ip adreslerini araştırdığımda bu bloga Türkiye'den çok ABD kaynaklı ip adreslerinin bağlandığını keşfedince çok şaşırmıştım, bu ip adresleri tahmin edeceğiniz gibi Feedburner, Google vb. servislere ait idi.

Ben çok fazla robot engelledim bunların arasında en berbat olanı aşağıdaki, sizde sunucunuzda bir yavaşlık hissediyorsanız hemen istatistikleri konrol edebiliyorsanız edin veya hosting hizmeti veren firmanıza bu konuda danışın;

Twiceler crawls from the following IP addresses:
38.99.13.121 38.99.44.101 64.1.215.166 208.36.144.6
38.99.13.122 38.99.44.102 64.1.215.162 208.36.144.7
38.99.13.123 38.99.44.103 64.1.215.163 208.36.144.8
38.99.13.124 38.99.44.104 64.1.215.164 208.36.144.9
38.99.13.125 38.99.44.105 64.1.215.165 208.36.144.10
38.99.13.126 38.99.44.106

Kısacası kendi sunucunuzda blog yazacaksanız eğer sunucu kaynaklarını crawler lara, botlara ve kötü niyetli makinelere yedirmeyin, dikkatli olun ve her şeyi hosting firmasına bırakmayın, çünkü onlar çalıştıkları diğer yüzlerce web sitesi gibi sizin blogunuzuda sıradan bir site gibi görecektir, pek fazla ilgilenmeyecektir, oysa sizin blogunuz size özel ve sizin için önemlidir.

Bu konuda daha fazla bilgi almak için google crawler, gürses tescilet, blog, blog ahkamlari, blog tavsiyeleri, bot, crawler, dreamhost, feedburner, google, googlebot, hostcin, hosting, ip, tescilet, tescilet.net, twiceler, web robotlari, weblog terimleri/etiketlerini ve Sunucu kaynaklarını sömüren botlar / crawler başlığını site içerisinde arayabilirsiniz. Aşağıdaki seçenekleri de kullanabilirsiniz, unutmayın bunların hepsi bedavadır.

benzer:
• 2008: SSH Shell komutları (putty) — Bir sunucu sahibiyseniz veya bir VPS aşağıdaki komutlar işinize yarayabilir. Ben hem kendim için bir arşiv hem de [...]
• 2006: Oda oyunları — Developer Code Bu oyunda yine ofis tarzında bir odaya giriyoruz ve odayı araştırıp gerekli nesneleri ve [...]
• 2006: Google Türkiye ofisi açılıyor — İnternet dünyasının en parlak yıldızı Google, yerel kullanıcı ve reklam verenleri en iyi ürün ve hizmetlerle [...]
• 2009: Friendfeed de Türkiye’deki kullanıcı değişimi — Bizim gibi deneyimli ve eski kullanıcılar şu an popüler olan çoğu internet üzerindeki servislerin [...]
• 2008: Google ters mi dönmüş? — Biraz önce Google da Mart ayında en çok aranan kelimelere bakıyordum. Türkiye'de en çok arananlar neymiş [...]

• 
  
  Yazının ilk görselini göstermek
• 
  
  Wordpress de hayat kurtarıcı mysql sorguları
• 
  
  Reklamları sadece eski yazılarda göstermek
• 
  
  Çok yorumlanan girdileri listelemek
• 
  
  Wordpress de benzer yazıları göstermek

Tarihte bugün:
• 2010: Stormtroopersların günlük yaşamları — Dün Darth Vader’ın günlük yaşamında çekebileceği zorlukları göz önüne sermiştik, şimdi Stormtrooperslar acaba nasıl bir gün [...]
• 2009: Çocuklar için Messenger / Kinder messenger — İnternet çocuklar için büyülü bir dünya olması yanısıra içinde onlar için büyük tehlikeleri de barındırıyor, hatta [...]
• 2009: Delicious: 2009-03-09 — Her şeye güzel diyen amcalar, teyzeler Hayat uzun bir maraton, üzerine kamyonla laf denmiştir Aristo'dan başlayın Mevlana'ya [...]
• 2009: Her şeye güzel diyen amcalar, teyzeler — Hayat uzun bir maraton, üzerine kamyonla laf denmiştir Aristo'dan başlayın Mevlana'ya kadar devam edin, bilim buna [...]
• 2009: Seo teknikleri / Arama motoru optimizasyonu hakkında kaynaklar — Seoteknikleri.com, uzun zamandır var olan bir site, sitenin forumları ve blogu var. Blogunda Seo(Arama Motoru Optimizasyonu) [...]

etiketler: blog, blog ahkamlari, blog tavsiyeleri, bot, crawler, dreamhost, feedburner, google, googlebot, hostcin, hosting, ip, tescilet, tescilet.net, twiceler, web robotlari, weblog