Google Robots.txt - google robots-txt kadları yapımı kullanımı

Robots.txt Nedir ?

Robots.txt Nedir, Nasıl Oluşturulur? Robots.txt dosyaları hakkında bilgi edinme, robots.txt dosyası yapımı ve örnek Kapsamlı anlatımı robots.txt kodları burada yer almaktadır.

 

Robots.txt Nedir?

Robots.txt Nedir? Robots.txt dosyaları hakkında bilgi edinme, robots.txt dosyası ,arama motorlarına yön verir. Erişilmesini istediğiniz ve engellemek istediğiniz kısımları belirtmemize yarayan bir text dosyasıdır. Arama Motoru böceklerine hangi kısımları indexleyip okuması gerektiğini belirtir. Sitenizin ana kök dizininde bulunmaktadır. Robotları Engelleme Standardına yön veren dosya web siteleri için büyük bir öneme sahiptir.

Google Robots.txt - google robots-txt kadları yapımı kullanımı

Robots.txt Dosyası Yapımı

Robots.xtx dosya yapımı şu şekildedir;

User-agent: Google, Yandex, Bing, Yahoo ve diğer arama motorları Botu’ nun adı geçecek.
Allow: İzin verilen bölüm komutları yer alır.
Disallow: Arama Motoru botlarının izinlerinin belirtildiği komutlar.

Genelde standart olarak kullanılan kod aşağıda belirtilmiştir.

User-agent: * 
Allow: /

Görüldüğü gibi ilk satırda tüm botlara izin verilmiş, Fakat ikinci satırda tüm site dosyalarının taranması engellenmiştir. Tüm site değil de belli özel dosyaların taranması engellenebilir.

Örnek Sitemap.txt Kodu:

User-agent: *
Disallow: /confing.php/
Disallow: /images/
Disallow: /dosyalar/
Disallow: /ozel/

Burada yer alan kodlara göre 1. satırda Google botlarına erişim izni verilmiştir. Söz konusu diğer satırlarda ise belli özel dosyaların taranmaması istenmiştir.

User-agent: *
Disallow: /kategori1/sayfa.html

Bu kısımda sadece “kategori1” bölümünde yer alan “sayfa.html” sayfası engellenmiştir.

User-agent: *
Allow: /kategori1/sayda.html
Disallow: /kategori1/

Yukarda görüldüğü gibi bu sefer de “kategori1” bölümünün tümü engellenmiş ve sadece “sayfa1.html” taranması izni verilmiştir.

 

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir