# Robots.txt Oluşturucu

> SEO robots txt generator ile tarama yönergelerini hazırlayın. Robots txt oluşturucu alanlarından Allow, Disallow ve Sitemap ekleyin.

- Kategori: [SEO ve Web](https://toolbrio.com/kategori/seo-web/index.md)
- Alt kategori: Site analizi
- Son güncelleme: 2026-09-07
- Etkileşimli araç: [https://toolbrio.com/robots-txt-olusturucu/](https://toolbrio.com/robots-txt-olusturucu/)

**Robots txt generator**, bir tarayıcı grubu için `User-agent`, `Disallow`, `Allow` ve isteğe bağlı `Sitemap` satırlarını düz metin olarak hazırlar. Bu araç tek grup üretir. Çıktıyı sitenize yüklemez, mevcut robots.txt dosyasıyla birleştirmez ve kuralların gerçek URL'lerdeki sonucunu test etmez.

## Robots.txt satırları nasıl okunur?

[RFC 9309 Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html), `User-agent`, `Allow` ve `Disallow` kurallarının temel davranışını tanımlar. Google ayrıca `Sitemap` alanını destekler. Formdaki alanların çıktıya etkisi şöyledir:

| Alan |  | Çıktıdaki görevi |  | Giriş biçimi |

| User-agent |  | Kuralların hangi tarayıcı grubuna ait olduğunu belirtir. |  | `*` veya `Googlebot` gibi bir ürün adı |

| Disallow |  | Eşleşen yolun taranmasına izin verilmediğini bildirir. |  | Her satırda `/` ile başlayan bir yol |

| Allow |  | Daha geniş bir engelin içindeki belirli bir yolu taramaya açar. |  | Her satırda `/` ile başlayan bir yol |

| Sitemap |  | Var olan site haritasının konumunu bildirir. |  | HTTP veya HTTPS ile başlayan tam URL |

`Allow` ve `Disallow` çakıştığında yalnız satır sırasına bakılmaz. RFC 9309'a göre en uzun, yani en özel yol eşleşmesi kullanılır. Aynı uzunluktaki eşleşmelerde `Allow` tercih edilir. Yol karşılaştırması büyük ve küçük harfe duyarlıdır.

## Doğrulanmış bir Allow ve Disallow örneği

User-agent alanına `*`, engellenecek yollara `/arama/` ve `/gecici/`, izin verilecek yola `/arama/sonuclar/`, Sitemap alanına da `https://example.com/sitemap.xml` girildiğinde araç beş satır üretir:

`User-agent: *
Disallow: /arama/
Disallow: /gecici/
Allow: /arama/sonuclar/
Sitemap: https://example.com/sitemap.xml`

Bu örnekte `/arama/` genel olarak engellenirken daha özel `/arama/sonuclar/` yolu izinli kalır. Araç yolları yorumlamaz. Yazdığınız her dolu satırı çıktıdaki ilgili alana aktarır ve yolun `/` ile başlamasını denetler.

## Dosyanın konumu ve kapsamı

Çıktı HTML kodu değildir. UTF-8 kodlu düz metin dosyası olarak yayımlanmalı ve ilgili sitenin kökünde `/robots.txt` adresinden erişilmelidir. Alt klasöre konan bir robots.txt dosyası o klasör için ayrı kural dosyası oluşturmaz.

[Google'ın robots.txt teknik açıklamasına](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec) göre kurallar yalnız dosyanın sunulduğu protokol, alan adı ve bağlantı noktası için geçerlidir. Örneğin `https://example.com/robots.txt`, `http://example.com/` veya `https://shop.example.com/` için otomatik olarak geçerli olmaz.

Sitemap alanı site haritası üretmez. Yalnız mevcut haritanın tam adresini ekler. Bu nedenle URL'nin gerçekten açıldığını ve doğru site haritasını sunduğunu ayrıca kontrol edin.

## Tarama engeli erişim güvenliği sağlamaz

Robots.txt, kurallara uyan tarayıcılara yönelik bir tarama isteğidir. RFC 9309 bunu erişim yetkilendirmesi olarak tanımlamaz. Bazı tarayıcılar kurallara uymayabilir ve dosyadaki yollar herkese açık olduğu için gizli adresleri burada listelemek onları korumaz.

[Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro), robots.txt ile taraması engellenen bir URL'nin başka sayfalardan verilen bağlantılar nedeniyle sonuçlarda yine görünebileceğini açıklar. Bir sayfada `noindex` kullanacaksanız Googlebot'un bu talimatı okuyabilmesi için sayfanın robots.txt tarafından engellenmemiş olması gerekir. Hassas içerik için parola veya sunucu düzeyinde erişim denetimi kullanın.

## Yayımlamadan önce kontrol edin

- Mevcut robots.txt dosyanız varsa tüm grupları koruyarak yeni çıktıyla birlikte değerlendirin.

- `Disallow: /` satırının ilgili gruptaki bütün yolları kapsadığını unutmayın.

- Boş Allow ve Disallow alanlarıyla araç yalnız `User-agent` satırı üretir. Bu durumda o grup için bir tarama kısıtı oluşmaz.

- Dosyayı kök adreste yayımladıktan sonra erişilebilirliğini ve söz dizimini Search Console robots.txt raporu ya da uygun bir parser ile sınayın.

SEO robots txt generator, robot txt oluşturucu veya online robot txt file generator adıyla sunulan araçların çıktısı tek başına indekslenme ya da indeks kaldırma sonucu garanti etmez. Robots.txt yalnız tarama kapsamını yönetir. Arama sonuçlarındaki görünürlük için sayfa düzeyindeki indeksleme talimatlarını ve erişim durumunu ayrıca ele alın.

## Sık sorulan sorular

### Birden fazla bot için ayrı grup hazırlayabilir miyim?

Mevcut form tek User-agent grubu üretir. Birden fazla grup gerekiyorsa oluşturulan içeriği robots.txt standardına uygun biçimde ayrıca düzenleyin.

### Sitemap satırı site haritasını oluşturur mu?

Hayır. Var olan site haritasının adresini bildirir. O adreste geçerli bir site haritası yayımlanmış olmalıdır.

### Allow ve Disallow alanlarını boş bırakırsam ne olur?

Araç yalnız User-agent satırını üretir. Bu grup için bir yol kısıtı tanımlanmadığından tarama varsayılan olarak serbest kalır.

### Araç Crawl-delay satırı ekler mi?

Hayır. Form Crawl-delay üretmez. Google bu alanı desteklemez; başka bir tarayıcı için hız ayarı gerekiyorsa o tarayıcının resmi belgesini kontrol edin.