Merhaba değerli arkadaşlar, bu makalemizde bloglar ve diğer web siteleri için çok önemli bir araç olan robots.txt dosyasını irdeleyeceğiz. Öncelikle robots.txt dosyası nedir, ne işe yarar ve ne için gereklidir gibi sorularla bu aracımızı inceleyelim.
Robots.txt Dosyası Nedir ve Neye Yarar?
Özetle Robots.txt dosyasına Google Botları için sitenizin indexleme kılavuzu diyebiliriz. Çünkü robots.txt dosyası içine yazacağınız komutlarla sitenizde Google tarafından nerelerin indexlenmesi nerlerin indexlenmemesi gerektiğini sorguluyorsunuz ve Botlar istemediğiniz yerleri indexlemiyor.
Robots.txt Ne İçin Gereklidir?
WordPress Web sitelerinizin wp-admin, wp-includes ile wp-content dizininde bulunan bazı klasörlerinde bulunan ?ref=alanadi gibi kısımları indexlemesini engelleyerek Google’da kötü amaçlı ziyaretçilerin sitenizdeki bi kısım zafiyetlere ulaşmasını engelleyebiliyoruz. Yani aynı zamanda da güvenlik için gerekli bir uygulama olmaktadır.
Sitemize Robots.txt Dosyası Oluşturalım
Masaüstümüzde Yeni Metin Belgesi oluşturuyoruz ve adını Robots.txt yapıp kaydediyoruz. Sırası ile içine eklenecek kodlar neye yarar önce onu inceleyelim sonra dosyayı oluşturmaya başlayalım;
User-agent: Google Botu’un adı gelecek.
Disallow: Botlara vereceğimiz izinlerin komutları buraya gelecek.
Disallow önüne gelecek klasör isimleri Botların bu dosyayı indexlememesini sağlıyor. Aşağıda bir örnek verelim,
Örnek1:
User-agent: *
Disallow: /
Gördüğünüz kısımda isim gelecek yere “*” ifadesini yazdım. Neden? Bu ifade isim belirtmeksizin tüm botların bu siteyi indexleme izni verilmesidir. Peki Disallow’a gelelen “/” komutu nedir? Bu komut kök dizini belirtir. Yani alanadi.com/ ifadesi altında ne dosya varsa bunları indexlemeyecektir.
Örnek2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
burda gördüğümüz kodlar Disallow’ların önüne gelen klasörleri Botların indexlememesini sağlıyor.
Aşağıdaki Kodlar Robots.txt için en İdeal Kodlar;
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /