Her düzenli sitenin arkasında, arama motoru tarayıcılarını sessizce yönlendiren küçük ama güçlü bir dosya bulunur. Bu dosyanın adı robots.txt’dir. Basit görünümüne rağmen, SEO çabalarınızı başarılı ya da başarısız kılabilir. “Robots.txt nedir?” veya “Robots.txt Dosyası sitemin teknik temeli içinde nasıl bir yere sahiptir?” diye merak ettiyseniz, bu rehber SEO kontrol dünyasına giriş bileti niteliğinde.
Bu dosyanın ne işe yaradığını, nasıl yazıldığını ve komutlarının neden önemli olduğunu birlikte inceleyelim.
Robots.txt Nedir?
Robots.txt, web sitenizin kök dizininde (örneğin: example.com/robots.txt) yer alan basit bir düz metin dosyasıdır. Arama motoru botlarına (örneğin Googlebot) sitenizin hangi sayfalarının ya da bölümlerinin taranıp taranamayacağını bildiren kurallar seti, yani Robots Dışlama Protokolü (Robots Exclusion Protocol) görevini görür.
Yanlış yazılmış bir robots.txt, Google’a ‘Burayı terk et!’ demektir.
Robots.txt’ye uymak arama motorları için zorunlu değilse de, büyük arama motorlarının çoğu bu yönergelere saygı gösterir. Bunu dijital mülkünüzün girişinde “Lütfen bu odaya girmeyin” ya da “Buyurun, etrafa göz atabilirsiniz” tabelaları koymak gibi düşünebilirsiniz.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası oluşturmak oldukça kolaydır. Not Defteri gibi basit bir metin düzenleyici kullanabilir veya WordPress gibi bir CMS’de SEO eklentisi yardımıyla oluşturabilirsiniz.
Temel bir örnek:
User-agent: *
Disallow:
Sitemap: https://www.orneksite.com/sitemap.xmlBu dosya şunları yapar:
- User-agent: * tüm botlara hitap eder.
- Disallow: boş bırakıldığı için hiçbir bölüm engellenmez.
- Sitemap: sitenizin XML sitemap’inin yerini belirtir.
Bu dosyayı oluşturduktan sonra robots.txt olarak kaydedin ve sitenizin kök dizinine yükleyin (www.orneksite.com/robots.txt).
Robots.txt Komutları Nelerdir?
İşte bilmeniz gereken temel robots.txt yönergeleri:
- User-agent: Hangi bota kuralın uygulanacağını belirtir (örnek: Googlebot).
- Disallow: Belirtilen sayfa veya klasörün erişimini engeller.
- Allow: Engellenmiş bir klasör içindeki belirli dosyaya izin verir.
- Crawl-delay: Botun tarama hızını yavaşlatır (Google tarafından desteklenmez).
- Sitemap: XML sitemap’in yerini belirtir, tarayıcıların URL’leri verimli şekilde bulmasına yardımcı olur.
Örnek kullanım:
User-agent: *
Disallow: /ozel/
Allow: /ozel/admin-ajax.phpBu yapı, /ozel/ klasörünü engeller ancak içerisindeki admin-ajax.php dosyasına izin verir.
Robots.txt ve Sitemap İlişkisi
Robots.txt dosyasındaki Sitemap yönergesi, arama motorlarına sitemap’inizi nerede bulacaklarını gösterir. Bu sayede sitenizdeki URL’leri daha kolay keşfedebilirler.
Nasıl eklenir:
Sitemap: https://www.orneksite.com/sitemap_index.xmlHer ne kadar sitemap’i doğrudan Google Search Console üzerinden göndermek tercih edilse de, robots.txt içinde de belirtmek botlar için ek bir erişim yolu sağlar.
Yaygın Hatalar
Robots.txt’nin gücü beraberinde sorumluluk getirir. İşte sık yapılan hatalar:
- Önemli Sayfaları Engellemek: Tüm siteyi (/) yanlışlıkla engellemek sitenizin dizinden silinmesine neden olabilir.
- robots.txt içinde noindex kullanmak: Google artık bu yönergeyi desteklemiyor. Bunun yerine meta etiket kullanın.
- CSS/JS Dosyalarını Engellemek: Sayfanızın doğru şekilde görüntülenmesini engelleyebilir. Bu tür dosyaları engellemeyin, gerekmedikçe.
- Dosyanın Yanlış Konumda Olması: Dosya mutlaka alan adınızın kök dizininde yer almalı, alt klasörlerde olmamalıdır.
Her Sitenin Robots.txt Dosyasına İhtiyacı Var mı?
Teknik olarak hayır. Tüm sayfaların indekslenmesini istiyorsanız robots.txt’ye gerek olmayabilir. Ancak özellikle büyük sitelerde daha fazla kontrol sağlamak için düzgün yapılandırılmış bir robots.txt dosyası şiddetle tavsiye edilir.
Robots.txt Dosyası Hakkında Sık Sorulan Sorular
Robots.txt ne işe yarar?
- Arama motoru botlarına hangi sayfa veya klasörlerin taranıp taranamayacağını bildirir.
Robots.txt dosyası nasıl oluşturulur?
- Bir metin düzenleyiciyle yönergeleri yazıp robots.txt olarak kaydedin ve sitenizin kök dizinine yükleyin.
Google’ı robots.txt ile engelleyebilir miyim?
- Evet. User-agent: Googlebot ile belirli yolları Disallow ederek engelleyebilirsiniz.
Robots.txt dizine eklemeyi etkiler mi?
- Doğrudan etkilemez. Robots.txt sadece taramayı kontrol eder. Dizinden çıkarmak için noindex meta etiketi kullanın.
Robots.txt dosyasına sitemap eklemeli miyim?
- Evet. Sitemap, önemli URL’lerinizi botlara daha kolay ulaştırır.
Robots.txt büyük/küçük harf duyarlı mı?
- Yönerge adları (örneğin Disallow) duyarlı değildir, ancak yollar duyarlıdır. /Foto/ ile /foto/ farklıdır.
