Şu bahsi geçen arama motorlarına endeksli çalıştığını düşündüğüm örümceklerle alakalı bilgisi olan varsa kısaca paylaşabilirmi?
örümcek ne ya ilk defa duydum solucan torojan tamamda bu ilk :D
bu konu ile ilgili şu ufak bilgiyi buldum umarım kapıyı aralar ;)
Bir blogunuz varsa ve/veya içerik üreten herhangi bir siteye sahipseniz bu siteniz büyük ihtimalle örümcekler (bot) tarafından ziyaret ediliyordur. Özellikle arama motorları sayfalarınız indekslemek için bu yöntemi kullanıyorlar. Örnek olarak Google'ın örümceği Googlebot periyodik olarak sitenizi ziyaret ediyordur. Bu aslında iyi bir şey. Bu örümceklere yardımcı olmak amacı ile de robots.txt adlı bir dosya kullanılır.
robots.txt bir site çok önemlidir. örneklerini internette bulabilirsiniz. arama motorlarına üstte çıkmak için mutlaka bulunması gerekir.