İçindekiler
Bu yazıda neler bulacaksınız?Robots.txt Dosyası Nedir?
Bir web sitesinin Google’da doğru şekilde taranabilmesi için arama motoru botlarının hangi bölümlere erişebileceğinin belirlenmesi gerekir. Web tasarım sürecinde teknik SEO açısından dikkat edilmesi gereken dosyalardan biri olan robots.txt, arama motoru botlarına sitenin hangi URL yollarını tarayabilecekleri veya taramaktan kaçınmaları gerektiği konusunda talimatlar verir.
Robots.txt, web sitesinin kök dizininde bulunan ve belirli botlar için tarama kuralları içeren metin tabanlı bir dosyadır. Örneğin WordPress yönetim panelinin herkese açık bir içerik gibi taranmasını istemiyorsanız ilgili yolu robots.txt üzerinden taramaya kapatabilirsiniz. Ancak bu işlem yönetim panelini güvenli hale getirmez; yalnızca kurallara uyan botlara yönelik bir tarama talimatı oluşturur.
Burada önemli bir ayrım bulunur. Robots.txt dosyası, Google’a bir sayfanın taranıp taranamayacağını bildirir. Bir sayfanın Google dizininden kaldırılmasını veya kesinlikle indekslenmemesini tek başına garanti etmez. Bu iki işlem farklı teknik yöntemlerle yönetilir.
WordPress Robots.txt Dosyası Ne İşe Yarar?
WordPress sitelerinde kategori, etiket, arşiv, yönetim ve farklı sistem URL’leri otomatik olarak oluşturulabilir. Her URL’nin arama motorları tarafından taranması gerekli değildir. Robots.txt dosyası, tarama davranışını belirli kurallarla yönetmeye yardımcı olur.
Örneğin bir e-ticaret sitesinde kullanıcıların arama yaptıkları zaman oluşan çok sayıda filtreli URL bulunabilir. Bu adreslerin tamamının tekrar tekrar taranması, arama motorunun gereksiz sayfalara zaman ayırmasına neden olabilir. Böyle bir durumda URL yapısı incelenerek uygun tarama kuralları belirlenebilir.
Robots.txt dosyasının başlıca kullanım alanları şunlardır:
- Arama motoru botlarının belirli dizinlere erişimini sınırlamak.
- WordPress yönetim alanı gibi taranması gerekmeyen yolları belirtmek.
- Gereksiz URL parametreleri ve arama sayfaları için tarama kuralları oluşturmak.
- XML site haritasının adresini arama motorlarına bildirmek.
- Farklı botlar için ayrı tarama kuralları tanımlamak.
- Tarama kaynaklarının daha önemli sayfalara yönelmesine yardımcı olmak.
Ancak bu dosyanın amacı bütün gereksiz gördüğünüz URL’leri gelişigüzel engellemek değildir. Yanlış bir kural, Google’ın önemli sayfaları veya bu sayfaların tasarımını oluşturan kaynakları taramasını da engelleyebilir.
WordPress Robots.txt Dosyası Nerede Bulunur?
Robots.txt dosyası normalde alan adının kök dizininde bulunur. Bir WordPress sitesi için standart adres şu şekildedir:
https://www.ornek.com/robots.txt
Buradaki adresi kendi alan adınızla değiştirerek tarayıcıda açabilirsiniz. Dosya mevcutsa içerisinde botlara yönelik kuralları görürsünüz.
WordPress’in önemli bir özelliği, fiziksel bir robots.txt dosyası bulunmadığında sanal bir robots.txt çıktısı oluşturabilmesidir. Bu nedenle dosyayı hosting dosya yöneticisinde görememeniz, sitenizin robots.txt adresinin çalışmadığı anlamına gelmez.
Tarayıcıda robots.txt adresini açtığınızda bir metin çıktısı görüntüleniyorsa bu çıktının fiziksel bir dosyadan mı yoksa WordPress tarafından dinamik olarak mı oluşturulduğunu ayrıca değerlendirmek gerekir.
Varsayılan WordPress Robots.txt İçeriği
WordPress, fiziksel bir robots.txt dosyası bulunmadığında temel bir sanal çıktı sunabilir. Yaygın varsayılan kurallardan biri aşağıdaki gibidir:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Bu kurallar bütün botlara genel bir tarama talimatı verir. Yönetim dizininin taranmasını engellerken bazı ön yüz işlemleri için kullanılan admin-ajax.php dosyasına erişime izin verir.
Burada dikkat edilmesi gereken nokta, WordPress’in her kurulumunda aynı çıktının görüleceğinin garanti edilmemesidir. SEO eklentileri, tema işlevleri veya özel kodlar sanal robots.txt içeriğini değiştirebilir. Bu nedenle örnek metni doğrudan kendi sitenizin mevcut dosyasıymış gibi kabul etmeyin.
WordPress Robots.txt Dosyası Nasıl Düzenlenir?
Robots.txt dosyasını düzenlemek için öncelikle mevcut kuralları kontrol etmelisiniz. Sitenizde fiziksel bir dosya bulunuyorsa bu dosya üzerinde değişiklik yapılabilir. Fiziksel dosya bulunmuyorsa hosting üzerinden yeni bir dosya oluşturabilir veya kullandığınız altyapının sunduğu uygun düzenleme yöntemini tercih edebilirsiniz.
Hosting Dosya Yöneticisiyle Düzenleme
WordPress sitenizin hosting hesabına giriş yaparak Dosya Yöneticisi bölümünü açın. Ardından WordPress kurulumunun bulunduğu ana dizine gidin. Bu dizinde genellikle wp-admin, wp-content ve wp-includes klasörleri bulunur.
Bu konumda robots.txt dosyası varsa düzenleyebilir, bulunmuyorsa yeni bir metin dosyası oluşturup adını robots.txt olarak belirleyebilirsiniz.
Dosyayı düzenlerken aşağıdaki noktalara dikkat edin:
- Dosya adı tam olarak robots.txt olmalıdır.
- Dosya alan adının kök dizininde bulunmalıdır.
- Metin kodlaması UTF-8 olmalıdır.
- Her kural ayrı bir satırda yer almalıdır.
- Kaydetme işleminden sonra dosyanın tarayıcıda açıldığını kontrol edin.
Birden fazla alan adı veya alt alan adı kullanıyorsanız her birinin kendi robots.txt adresini kontrol etmeniz gerekir. Örneğin ana sitenin robots.txt dosyası, otomatik olarak blog alt alan adının tarama kurallarını yönetmez.
WordPress SEO Eklentileriyle Düzenleme
Yoast SEO ve Rank Math gibi SEO eklentileri, sürümlerine ve yapılandırmalarına bağlı olarak robots.txt yönetimi için özellikler sunabilir. Bu özellikler üzerinden dosyanın içeriğini düzenlemek mümkün olabilir.
Ancak eklenti üzerinden yapılan düzenlemenin fiziksel dosyaya mı yazıldığı yoksa WordPress’in sanal çıktısını mı etkilediği kullandığınız yönteme göre değişebilir. Ayrıca dosya izinleri nedeniyle bazı eklentiler değişiklik yapamayabilir.
Bir SEO eklentisinin robots.txt düzenleme alanına sahip olması, o alandaki bütün kuralların doğru olduğu anlamına gelmez. Kaydetme işleminden sonra mutlaka sitenizin gerçek robots.txt adresini açarak beklediğiniz içeriğin yayınlandığını kontrol edin.
WordPress İçin Örnek Robots.txt Dosyası
Küçük ve orta ölçekli birçok WordPress sitesi için başlangıç noktası olarak aşağıdaki gibi sade bir yapı değerlendirilebilir:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ornek.com/wp-sitemap.xml
Bu örnekte yönetim dizininin taranması engellenmiş, admin-ajax.php için istisna tanımlanmış ve WordPress’in varsayılan XML site haritası belirtilmiştir.
Ancak bu dosya her WordPress sitesi için doğrudan kopyalanıp kullanılacak evrensel bir şablon değildir. Sitenizde Yoast SEO veya Rank Math tarafından oluşturulan farklı bir site haritası bulunuyorsa Sitemap satırındaki adresi gerçek site haritasına göre değiştirmelisiniz.
Örneğin Yoast SEO kullanan bir sitede site haritası çoğunlukla şu adreste bulunur:
https://www.ornek.com/sitemap_index.xml
Rank Math kurulumlarında da site haritası adresi kullanılan ayarlara göre değişebilir. En doğru adresi tahmin etmek yerine tarayıcıda açarak kontrol edin.
Bir diğer önemli nokta, WordPress’in zaten oluşturduğu varsayılan kuralları yeni dosya hazırlarken kaybetmemektir. Mevcut çıktıyı incelemeden dosyayı tamamen değiştirmek, daha önce tanımlanmış gerekli istisnaların ortadan kalkmasına neden olabilir.
Robots.txt Dosyasındaki Temel Komutlar Nelerdir?
Robots.txt dosyasının doğru anlaşılması için kullanılan komutların ne anlama geldiğini bilmek gerekir. Dosyada karmaşık görünen kuralların çoğu birkaç temel direktiften oluşur.
User-agent
User-agent komutu, takip eden kuralların hangi arama motoru botuna uygulanacağını belirtir.
User-agent: *
Yıldız işareti, kural grubunun genel olarak bütün botlara yönelik olduğunu ifade eder. Belirli bir bot için ayrı kurallar oluşturmak da mümkündür. Ancak her botun kendi tarama davranışı ve desteklediği kurallar farklı olabileceğinden özel yapılandırmalar dikkatli hazırlanmalıdır.
Disallow
Disallow komutu, belirtilen yolun ilgili bot tarafından taranmaması gerektiğini bildirir.
User-agent: *
Disallow: /wp-admin/
Bu örnekte botlara WordPress yönetim dizinini taramamaları söylenir. Disallow bir erişim engeli veya parola koruması değildir. Sayfanın adresini bilen bir kullanıcı ilgili URL’ye yine erişebilir.
Allow
Allow komutu, daha geniş bir Disallow kuralının kapsamı içinde belirli bir yolun taranmasına izin vermek için kullanılır.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Bu yapılandırmada yönetim dizini genel olarak taramaya kapatılırken admin-ajax.php dosyası için istisna oluşturulur.
Sitemap
Sitemap komutu, XML site haritasının konumunu bildirir.
Sitemap: https://www.ornek.com/sitemap_index.xml
Site haritası adresinin robots.txt dosyasında belirtilmesi, arama motorlarının bu dosyayı keşfetmesine yardımcı olabilir. Ancak site haritasını Search Console üzerinden ayrıca göndermek de mümkündür.
Yorum Satırları
Robots.txt dosyasında açıklama eklemek için diyez işareti kullanılabilir.
# WordPress yönetim alanı
User-agent: *
Disallow: /wp-admin/
Bu açıklama satırı botlara yönelik bir tarama kuralı değildir. Dosyayı düzenleyen kişinin kuralların amacını daha kolay anlamasını sağlar.
WordPress’te Hangi Sayfalar Robots.txt ile Engellenmeli?
Bir web sitesinde her URL’nin taranması gerekli olmayabilir. Ancak hangi sayfaların engelleneceğine karar verirken sayfanın kullanıcıya ve arama motoruna sunduğu değeri değerlendirmek gerekir.
Örneğin WordPress yönetim alanı, oturum açma işlemleri veya kullanıcıya özel bazı teknik yolların arama sonuçlarında görünmesi istenmez. Bu tür alanlar için uygun güvenlik ve indeksleme ayarları yapılabilir.
Buna karşılık aşağıdaki sayfaları sırf gereksiz göründükleri için topluca engellemek doğru bir yaklaşım değildir:
- Hizmet sayfaları
- Ürün detay sayfaları
- Özgün içerik sunan kategori sayfaları
- Önemli blog yazıları
- Site içi bağlantılarla desteklenen değerli içerikler
Örneğin bir işletmenin hizmet kategorileri, kullanıcıların aradığı konuları doğrudan karşılıyorsa bu sayfaların taranmasını engellemek organik görünürlüğü olumsuz etkileyebilir.
Bir URL’nin indekslenmesini istemiyorsanız önce sayfanın gerçekten arama sonuçlarında bulunmaması gerekip gerekmediğini belirleyin. Sayfanın indekslenmemesi gerekiyorsa uygun durumlarda meta robots noindex gibi yöntemler kullanılabilir. Ancak Google’ın noindex talimatını görebilmesi için sayfayı tarayabilmesi gerekir. Sayfayı robots.txt ile engelleyip aynı anda noindex beklentisine girmek çelişkili bir yapı oluşturabilir.
Robots.txt ile Noindex Arasındaki Fark Nedir?
Robots.txt ve noindex sıklıkla birbirine karıştırılır. Oysa bu iki yöntem farklı amaçlara hizmet eder.
Robots.txt, arama motoru botlarına belirli bir URL yolunu taramamalarını söyler. Noindex ise taranabilen bir sayfanın arama motoru dizinine eklenmemesi gerektiğini bildirir.
| Özellik | Robots.txt | Noindex |
|---|---|---|
| Temel amaç | Tarama davranışını yönetmek | İndekslemeyi engellemek |
| Uygulama yeri | Kök dizindeki metin dosyası | Sayfa meta etiketi veya HTTP başlığı |
| Sayfa taramasını engeller mi? | Kurala uyan botlara taramama talimatı verir | Hayır, sayfanın taranabilmesi gerekir |
| İndekslenmeyi kesin olarak engeller mi? | Hayır | Google tarafından görüldüğünde indekslenmeme talimatı verir |
Örneğin bir teşekkür sayfasının Google sonuçlarında görünmesini istemiyorsanız sayfaya uygun bir noindex talimatı eklemek daha doğru olabilir. Ancak aynı sayfayı robots.txt üzerinden engellerseniz Google bu noindex etiketini okuyamayabilir.
Bu nedenle önce hedefinizi belirleyin. Amacınız botların belirli bir dizini taramasını sınırlamak mı, yoksa bir sayfanın arama sonuçlarında yer almasını önlemek mi? Kullanılacak yöntem bu cevaba göre değişir.
Robots.txt Dosyasında Yapılmaması Gereken Hatalar
Yanlışlıkla Bütün Siteyi Taramaya Kapatmak
En ciddi hatalardan biri, robots.txt dosyasına aşağıdaki kuralı eklemektir:
User-agent: *
Disallow: /
Bu kural, genel botlara sitenin tamamını taramamalarını söyler. Özellikle geliştirme ortamından canlı siteye taşınırken bu satırın unutulması ciddi görünürlük sorunlarına yol açabilir.
Örneğin yeni bir WordPress sitesi hazırlarken arama motorlarının siteyi taramaması için geçici bir kısıtlama yapılmış olabilir. Site yayına alındığında bu kural kaldırılmazsa Google önemli sayfalara erişemeyebilir.
CSS ve JavaScript Dosyalarını Engellemek
Google, sayfaları değerlendirirken yalnızca metinleri değil, sayfanın nasıl oluşturulduğunu anlamasına yardımcı olan kaynakları da kullanabilir. CSS ve JavaScript dosyalarının gereksiz yere engellenmesi, sayfanın görünümünün veya işlevlerinin doğru değerlendirilmesini zorlaştırabilir.
Örneğin aşağıdaki gibi geniş bir kural kullanmak sorun oluşturabilir:
User-agent: *
Disallow: /wp-content/
Çünkü WordPress’in wp-content dizininde tema dosyaları, stil dosyaları, JavaScript dosyaları ve görseller bulunabilir. Bu dizinin tamamını kapatmak, önemli kaynakların taranmasını da engelleyebilir.
Bir dosyanın taranmasını engellemeden önce gerçekten arama motorları tarafından erişilmemesi gerekip gerekmediğini kontrol edin. Sırf dizin adı teknik görünüyor diye tamamını engellemek doğru değildir.
Site Haritasını Yanlış Adreste Tanımlamak
Robots.txt içerisine eklenen Sitemap satırındaki adresin çalışır durumda olması gerekir. Eski bir SEO eklentisinin site haritası adresini kullanmaya devam etmek, Google’a yanlış bir dosya bildirilmesine neden olabilir.
Site haritasını değiştirdiyseniz robots.txt içeriğini de kontrol edin. Birden fazla site haritası kullanılıyorsa geçerli adreslerin doğru şekilde belirtildiğinden emin olun.
Robots.txt Dosyasını Güvenlik Önlemi Sanmak
Robots.txt dosyası, gizli bilgileri korumak için tasarlanmış bir güvenlik mekanizması değildir. Bir dizinin Disallow ile engellenmesi, o dizinin içeriğini yetkisiz kişilere kapatmaz.
Özel belgeler, kullanıcı bilgileri, yönetim ekranları veya hassas dosyalar yalnızca robots.txt ile korunmamalıdır. Bu tür içerikler için kimlik doğrulama, yetkilendirme ve sunucu seviyesinde erişim kontrolleri kullanılmalıdır.
Dosyayı Düzenledikten Sonra Kontrol Etmemek
Robots.txt dosyasına bir kural eklemek veya mevcut bir satırı silmek tek başına yeterli değildir. Değişiklik sonrasında dosyanın gerçekten yayınlandığını ve beklenen çıktıyı verdiğini kontrol etmelisiniz.
Özellikle önbellek, CDN veya sunucu yapılandırması nedeniyle eski içerik görüntülenebilir. Tarayıcıdan robots.txt adresini açın ve düzenlediğiniz kuralların son sürümünü gördüğünüzden emin olun.
Google Robots.txt Dosyasını Nasıl Okur?
Googlebot, bir web sitesini taramadan önce ilgili alan adının robots.txt dosyasını kontrol eder. Dosyada kendisi için geçerli kurallar varsa tarama işlemlerini bu talimatlara göre gerçekleştirir.
Ancak robots.txt dosyasının okunması, bütün URL’lerin aynı anda taranacağı veya Google’ın bütün kuralları sınırsız süreyle uygulayacağı anlamına gelmez. Google’ın tarama sistemi, sitenin teknik durumuna ve diğer çeşitli sinyallere göre çalışır.
Bir URL robots.txt tarafından engellenmiş olsa bile başka web sitelerinden gelen bağlantılar nedeniyle adresin Google tarafından bilinmesi mümkündür. Bu durumda sayfanın içeriği taranamayabilir ancak URL’nin kendisi bazı koşullarda arama sonuçlarında görünebilir.
Bu nedenle robots.txt ile taramayı engellemek, URL’nin Google’da kesinlikle görünmeyeceği anlamına gelmez. İndekslenme kontrolü için sayfanın içeriği, bağlantı durumu ve noindex talimatları birlikte değerlendirilmelidir.
WordPress Robots.txt Ayarları Nasıl Test Edilir?
Robots.txt dosyasında değişiklik yaptıktan sonra yalnızca metnin doğru görünüp görünmediğine bakmak yeterli değildir. Önemli URL’lerin yanlışlıkla engellenmediğini de kontrol etmelisiniz.
Öncelikle tarayıcıda alan adınızın sonuna `/robots.txt` ekleyerek dosyayı açın. Ardından aşağıdaki kontrolleri yapın:
- Dosya doğru alan adında yayınlanıyor mu?
- WordPress yönetim alanı için amaçlanan kural mevcut mu?
- Önemli hizmet ve içerik sayfaları yanlışlıkla engellenmiş mi?
- CSS ve JavaScript kaynakları gereksiz yere kapatılmış mı?
- Site haritası adresi doğru mu?
- HTTP ve HTTPS sürümlerinde beklenen yapılandırma bulunuyor mu?
Google Search Console’da URL Denetleme aracını kullanarak önemli sayfaların Google tarafından nasıl değerlendirildiğini inceleyebilirsiniz. Canlı URL testi, Google’ın ilgili sayfaya erişip erişemediğini kontrol etmek için yararlıdır.
Burada robots.txt dosyasının tarayıcıda açılması ile Google’ın bütün kuralları doğru uyguladığının kanıtlanması aynı şey değildir. Dosyanın erişilebilir olması ilk kontroldür; önemli URL’lerin durumunu ayrıca incelemek gerekir.
Robots.txt Dosyası Değiştirildikten Sonra Ne Zaman Etki Eder?
Robots.txt dosyasında yapılan değişikliklerin Google tarafından fark edilmesi, Googlebot’un dosyayı yeniden kontrol etmesine bağlıdır. Bu nedenle değişikliği kaydettikten hemen sonra bütün tarama davranışının değişmesini beklememelisiniz.
Google, robots.txt dosyasını belirli aralıklarla yeniden kontrol eder ve önbelleğe alınmış sürümleri kullanabilir. Önemli bir değişiklik yaptıysanız dosyanın güncel çıktısını kontrol edin ve Google’ın yeniden tarama sürecinin tamamlanması için zaman tanıyın.
Yanlışlıkla bütün siteyi engelleyen bir kural eklediyseniz yalnızca Google’ın değişikliği fark etmesini beklemek yerine hatayı hemen düzeltin. Ardından önemli sayfaları Search Console üzerinden kontrol edin.
WordPress Robots.txt Dosyası Düzenli Olarak Kontrol Edilmeli mi?
Robots.txt dosyasının her gün değiştirilmesi gerekmez. Hatta gereksiz yere yapılan sık değişiklikler, sitenin tarama kurallarını karmaşık hale getirebilir. Önemli olan dosyanın sitenin mevcut yapısıyla uyumlu olması ve yanlışlıkla değerli sayfaları engellememesidir.
Yeni bir SEO eklentisi kurduğunuzda, site haritası adresini değiştirdiğinizde, URL yapısını yenilediğinizde veya önemli bir teknik düzenleme yaptığınızda robots.txt dosyasını tekrar inceleyin. Ayrıca site taşıma ve yayına alma süreçlerinde geliştirme ortamından kalan tarama engellerinin kaldırıldığını kontrol edin.
Özellikle staging veya test ortamlarında kullanılan Disallow kuralları canlı siteye taşınmışsa organik görünürlük açısından sorun oluşabilir. Bu nedenle yayına geçiş kontrol listesinde robots.txt incelemesine de yer verilmelidir.
Doğru Robots.txt Yapılandırması Neden Önemlidir?
Robots.txt, tek başına bir web sitesinin Google sıralamasını yükselten bir araç değildir. Ancak yanlış yapılandırıldığında önemli sayfaların taranmasını engelleyerek arama motorlarının siteyi keşfetmesini zorlaştırabilir. Doğru yapılandırıldığında ise gereksiz tarama alanlarını sınırlandırmaya ve botların site yapısını daha düzenli değerlendirmesine yardımcı olabilir.
WordPress sitenizde bu dosyayı düzenlerken önceliğiniz mümkün olduğunca çok URL engellemek değil, gerçekten gerekli olan tarama kurallarını belirlemek olmalıdır. Özellikle hizmet sayfaları, ürünler, kategori içerikleri ve blog yazıları gibi organik görünürlük açısından değer taşıyan URL’lerin yanlışlıkla engellenmediğinden emin olun.
Site haritası, canonical etiketleri, noindex ayarları, iç bağlantılar ve robots.txt birbirinden bağımsız düşünülmemelidir. Bu bileşenlerin birbiriyle uyumlu çalışması, arama motorlarının web sitenizi daha sağlıklı değerlendirmesine yardımcı olur. Profesyonel web sitesi tasarımı sürecinde teknik altyapının bu ihtiyaçlara göre planlanması, ilerleyen dönemlerde ortaya çıkabilecek tarama ve indeksleme sorunlarının önüne geçilmesini kolaylaştırır.
En doğru yaklaşım, robots.txt dosyasını bir kez düzenleyip unutmak yerine sitenin teknik yapısı değiştiğinde yeniden kontrol etmek ve önemli URL’lerin durumunu Search Console verileriyle birlikte değerlendirmektir.



