Kategoriler
Internet

Google bot’a söz geçirme sanatı

Google, internet üzerinde ulaşabildiği her web sitesi, her bağantı, dosya tipi vs. ne varsa ona ulaşmaya, sahip olup sunmaya yönelik geliştirilmiş dünyanın en üstün bot’unu geliştirmiş ve bununla dünyanın en çok kazanan şirketi olmuştur. Google’ın tıpkı Cocacola gibi gizli formülü de işte bu dünyayı, yetinmeyip uzayı da tarayan bot’tur(Googlebot). Googlebot, Google tarafından kullanılan bir arama […]

Kategoriler
Internet

Googlebot artık JavaScript de okuyor

Googlebot’un yeni versiyonu, artık kullanıcı bir web sayfasına girdiğinde ne görüyorsa onu tarayabiliyor. Eskiden web sayfamızdaki bazı linkler, kelimeler veya metin bloklarını javascript’in çeşitli fonksiyonlarını kullanarak (document.write, escape vb.) Google’ın indekslemesini engelleyebiliyorduk. Artık bu gibi fonksiyonların tarayıcı penceresinde yarattığı sonuçları Google indeksliyor ve arama sonuçlarında sayfa içeriğinde çıkartabiliyor. Yeni eklenen bu özelliği, eğer bu gibi […]

Kategoriler
Blog

Sunucu kaynaklarını sömüren botlar / crawler

Daha önce kendi sunucusunda blog yazacak arkadaşlar için önerilerde bulunmuştum, kendi sunucunda bir WordPress blogu kurarak yazmak isteyen veya yazmayı sürdürenlerin bloglarının yazı, etiket, kategori vs. çoğaldıkça ve bunun yanında ziyaretçi trafiği yükseldikçe pişmiş tavuğun başına gelmeyenler onun başına gelebiildiğini bizzat yaşamış ve yazmıştım. Buradaki blog maceramda 3 faklı hosting firması ile çalıştım, ilki Arif […]

Kategoriler
Internet

Tarayıcınız Googlebot olsun ücretli siteler ücretsiz olsun

Ücretli siteler ya da üyelik gerektiren sitelerin bir çoğu Google arama motoruna ayrıcalık tanırlar ve bu sayede Google örümceği üye olmadan tüm siteyi tarar. Bu ücretli özel içeriği biz normalde siteye girdiğimizde göremeyiz, üye olmalı ya da parasını ödemeliyiz. Şimdi aşağıda okuyacağınız yöntemle internet tarayıcınızı Googlebot olarak tanıtıp (user agent) nasıl ücretli ve üyelik gerektiren […]

Kategoriler
Internet

Arama motoru robotları

Arama motorlarında üst sıralarda çıkmak ile ilgili çok yerde makaleler yazılır ama bu arama motorlarında indexlemeyi yapan örümcekler ( web robotları) hakkında fazla yerde bilgi yok. Bir arkadaşımın bu açığı görerek yazdığı makaleden aynen buraya aktarıyorum. Ayrıca arama motorlarında hedeflenen kelimelerde üst sıralarda çıkmak yani seo ile ilgili yazılarımıda blogda okuyabilirsiniz. Web’in dinamik yapılı içeriğini […]