Robots.txt Oluşturucu

Hangi tarayıcı botların ve yolların izinli/izinsiz olacağını seçerek robots.txt dosyası oluştur.

Toplam Kural Sayısı1
Engellenen Yollar1
İzin Verilen Yollar0
Tarama GecikmesiYok
robots.txt
User-agent: *
Disallow:
33.242 görüntülenmeVerileriniz tarayıcınızda işlenir, sunucuya hiçbir şey gönderilmez.

İlgili araçlar

Meta Etiket Üretici
SEO meta, Open Graph ve Twitter Card etiketlerini anında üret. Ücretsiz ve gizli.
Anahtar Kelime Yoğunluğu
Metindeki anahtar kelime yoğunluğunu ve kelime sıklığını analiz et. Ücretsiz ve gizli.
Sitemap Üretici
URL listesinden tarayıcında XML site haritası üret. Ücretsiz ve gizli.
Google Sonuç Önizleme (SERP)
Sayfa başlığınızın ve meta açıklamanızın Google sonuçlarında nasıl görüneceğini piksel genişliği kontrolleriyle önizleyin — tamamen tarayıcınızda.

Bu aracı tanıyalım

Robots.txt Oluşturucu, izin/izinsiz kuralları ve isteğe bağlı sitemap referansı ile kullanıma hazır bir robots.txt dosyasını tarayıcınızda anında üretir.

Robots.txt Nedir ve Ne İşe Yarar?

Robots.txt, bir web sitesinin kök (root) dizininde yer alan ve arama motoru botlarına (Googlebot, Bingbot vb.) web sitesinin hangi bölümlerini tarayabileceklerini (crawl) veya tarayamayacaklarını bildiren düz bir metin (.txt) dosyasıdır. Arama motorları bir web sitesini ziyaret ettiğinde ilk olarak bu dosyayı okur. Eğer robots.txt dosyasında bazı dizinlere veya sayfalara erişim kısıtlanmışsa, botlar o sayfalara girmekten kaçınır. robots.txt dosyasının doğru yapılandırılması, sitenizin tarama bütçesini verimli kullanmasını sağlar, gereksiz veya gizli sayfaların arama sonuçlarında indekslenmesini önler ve sitenizin genel SEO performansını artırır.

Öne Çıkan Özellikleri

  • Kolay Kural Tanımlama (Allow / Disallow): Hangi arama motoru botlarına (tüm botlar veya sadece Google, Bing, Yahoo vb.) hangi dizinleri kapatıp hangilerini açacağınızı kolayca yapılandırabilirsiniz.
  • Site Haritası (Sitemap) Entegrasyonu: robots.txt dosyanızın en altına Sitemap: adresinizi ekleyerek arama motorlarının sitenizin haritasına hızlıca ulaşmasını sağlayabilirsiniz.
  • Hazır Şablonlar: Sık tercih edilen engelleme kurallarını (örn: admin panelini engelleme, tüm siteyi engelleme vb.) tek tıkla uygulayabilirsiniz.
  • Canlı Önizleme ve İndirme: Seçenekleri belirledikçe oluşan metin dosyasını anlık olarak izleyebilir ve doğrudan robots.txt olarak indirebilirsiniz.
  • Tarayıcıda Çalışan Güvenli Sistem: Girdiğiniz site adresleri ve kurallar tamamen tarayıcınızda işlenir, sunucularımıza gönderilmez.

Nasıl Kullanılır?

  1. Tüm arama motorlarının (User-Agent: *) sitenizi taramasına izin vermek mi yoksa engellemek mi istediğinizi seçin.
  2. Sitenizin site haritası (sitemap) URL'sini ilgili alana girin.
  3. Botların girmesini istemediğiniz özel dizinleri (örneğin: /wp-admin/, /temp/, /search/ vb.) Engellenen Yollar (Disallow) kısmına ekleyin.
  4. Botların girmesine izin verdiğiniz özel yolları İzin Verilen Yollar (Allow) kısmına tanımlayın.
  5. Oluşan robots.txt dosyasını sağ panelden veya alt kısımdan kontrol edin.
  6. "Dosyayı İndir" butonuna tıklayarak bilgisayarınıza kaydedin.
  7. İndirdiğiniz bu dosyayı sitenizin ana klasörüne (https://www.siteniz.com/robots.txt) yükleyin.

Sıkça Sorulan Sorular

Robots.txt dosyası şifre korumalı klasörleri gizlemek için kullanılabilir mi?

Hayır. Robots.txt dosyası herkese açık bir dosyadır. Buraya yazılan yollar botların taramasını engellese de, meraklı kullanıcılar robots.txt dosyanızı okuyarak gizli yönetim paneli veya test klasörlerinizin yerini görebilir. Güvenlik gerektiren sayfalar için şifreleme veya noindex etiketleri tercih edilmelidir.

Yanlış yapılandırılmış robots.txt dosyası siteyi arama sonuçlarından siler mi?

Evet. Eğer robots.txt dosyasına yanlışlıkla Disallow: / kuralını eklerseniz, arama motoru botlarına tüm sitenizi taramayı yasaklamış olursunuz. Bu da zamanla sitenizin Google dizinlerinden tamamen silinmesine (de-indexing) yol açabilir. Bu nedenle kuralları dikkatli belirlemek önemlidir.