Crawler’ın Ne Olduğunu Biliyor musunuz?

Crawler’ın Ne Olduğunu Biliyor musunuz? Arkadaşlar Crawlerlar sahasında ne biliyorsunuz ya da hiç bu konuyu duydunuz mu daha doğrusu konu demeyimde Arama Motoru olduğunu biliyor muydunuz? Bu tip arama motorları siteleri otomatik şekilde ziyaret eder ve hemen hemen tüm sayfaları hafızalarına alır. Bunun için de bir çeşit robot kullanır. Bu robotlar siteleri bir sayfayı ziyaret ettikten sonra o sayfada bulunan bütün linkleri de ziyaret eder. Mesela ana sayfayı ziyaret ederlerse ve buradan tüm sayfalara link verilmişse oraları da dolaşacak demektir. Ayrıca site dışında bir siteye link verilmiş ise orayı da ziyaret edecektir ve Şayet bu site listelerinde yok ise onu da ekleyeceklerdir. Çünkü çok sayıda crawler manuel(elle) site ekleme özelliği bulundurmaz ve kendi robotlarının siteleri eklemesini tercih eder. Crawlerların Bölümleri * Spider: Crawler şekilde da adlandırılır. Spider siteyi ziyaret eder, okur ve daha sonra linkleri takip ederek öbür sayfalara ulaşır. Spider siteyi bir ay ya da iki ay arayla düzenli şekilde yeniden ziyaret eder. * Index: Spider’ın bulduğu her şey arama motorunun index’ine gider. Index’te spiderın bulduğu bütün sayfaların bir kopyası depolanır ve spider sayfaları tekrar ziyaret edip güncel hallerini getirdiğinde index’de yenilenir. * Yazılım: Son parça olan arama motoru yazılımı ise index’de depolanan milyonlarca sayfa arasından uygun sonuçları bulur ve en uygun olanlara göre sıralandırma yaparak sonuçları getirir. Bütün crawlerlarda bu parçalar olmaktadır ama bu parçaların her birinin işlevi her arama motorunda değişiktir. Bu yüzdendir ki tıpkı arama türlü arama motorlarında farklı sonuçlar ortaya çıkarır. Crawlerların Özellikleri * Derin araştırma: Arama motorlarının indexlerine kaydetme başvurusu yapmamasına karşın siteleri bulması anlamına gelir. Hemen hemen tüm crawlerlarda bu özellik olmaktadır ama birileri bu konu ile ilgili daha iyidir. * Stop kelimeleri: How, and, what bu gibi genel kullanması olan kelimeler birçok crawler sebebiyle yer kazanılması ve aramanın hızlandırılması için indekslenmez ya da arama içerisinde geçmesine izin verilmez. * Description: Meta tag’lar arasında bulunan İzah kısmının kullanılması anlamına gelir. * Keywords: Meta tag’lar arasında bulunan keywords tagınin desteklenip desteklenmediğidir. * Alt Text: Grafikler altına yazılan ve mouse ile üstüne gelindiğinde ortaya çıkan yazılardır.


Yapılan Yorumlar
Erdem OFLAZ

Bir mum, diğer mumu tutuşturmakla ışığından bir şey kaybetmez.
 Kategoriler
 Popüler yazılar