SEO CRAWL BUDGET YÖNETİMİ PLANLAMAK

Bir e-ticaret sitesinin 50.000 URL'i var; Google ay başına ortalama 30.000 URL tarayabiliyor. Yani önemli yeni ürünler indekslenirken filtre URL'leri, sıralama URL'leri ve eski test sayfaları crawl bütçesini yiyor. Önemli içerikler hiç ziyaret edilmiyor; küçük ürünler hızla güncellenmediği için sıralamada eski bilgilerle çıkıyor.

Crawl budget, Google'ın sitenizi tarama kapasitesidir. Sınırlı bir kaynaktır; doğru yönetilirse önemli sayfalar zamanında taranır, yanlış yönetilirse Google sitenin önemli kısmını hiç görmez. Küçük sitelerde sorun yok; 10.000+ URL'li sitelerde kritik bir SEO disiplini.

Aşağıda crawl budget kavramını, hangi siteler için önemli olduğunu ve sitemap, robots.txt, internal link ve URL parametre yönetimi ile nasıl optimize edileceğini anlatıyoruz.

Crawl budget nedir?

Google'ın sitenize ayırdığı tarama kapasitesi; nasıl belirlendiği Google arama dokümantasyonunda tarif edilir ve iki faktörden oluşur:

• Crawl rate limit: Sunucu kaldırabilir mi? Sunucu yavaş yanıt veriyorsa Google tarama hızını düşürür
• Crawl demand: Google sitenize gerçekten ihtiyaç duyuyor mu? Popüler, sık güncellenen, kaliteli içerikli sitelere daha çok crawl ayrılır

İkisi birleşip günlük tarama sayısını belirler. Search Console > Settings > Crawl Stats raporunda görebilirsiniz.

Crawl budget kim için önemli?

Sorun olmayan siteler

• 10.000 URL altı siteler
• Statik içerikli kurumsal siteler
• Az ürünlü e-ticaret (500'den az)
• Kişisel bloglar

Google bu siteleri rahatlıkla tam tarar; bütçe dert değildir.

Crawl budget kritik olan siteler

• 50.000+ URL'li e-ticaret siteleri
• Haber siteleri (sürekli yeni içerik)
• İlan siteleri (sahibinden, hepsiemlak gibi)
• Kullanıcı ürettiği içerikli siteler (forum, soru-cevap)
• Çok dilli/çok bölgeli siteler

Bu sitelerde crawl bütçesini doğru harcamak rakipten ayrışmanın en kritik teknik faktörü.

Crawl budget'i tüketen yaygın sorunlar

1. Filtre URL'leri

E-ticaret sitelerinde renk, beden, fiyat filtrelerinin her kombinasyonu farklı URL üretir. Yüz farklı ürün ve beş filtre seçeneği teorik olarak binlerce URL demek. Google hepsini taramaya çalışırsa esas sayfalara zaman kalmaz.

2. Sıralama URL'leri

• /kategori?sort=fiyat-azalan
• /kategori?sort=fiyat-artan
• /kategori?sort=yeni

Aynı içeriği farklı sırayla gösteriyor; her biri ayrı URL.

3. Session ID ve UTM parametreleri

?utm_source=facebook, ?session=abc123 gibi parametreler aynı sayfayı farklı URL'lerde gösterir.

4. Pagination'da derin sayfalar

Bir kategoride 200 sayfa pagination varsa, Google 200. sayfaya ulaşana kadar bütçe tükenebilir.

5. Tek ürünün birden fazla URL'i

Aynı ürün hem /kategori-A/urun-X hem /kategori-B/urun-X olarak görünüyor.

6. Soft 404 ve redirect zincirleri

404 hatası dönmesi gereken sayfa 200 dönüyor; ya da 5 zincirli redirect var. Google her birini ziyaret edip işlemden geçirmek zorunda kalıyor.

7. Yavaş sunucu yanıt süresi

Sayfa yanıt süresi 1 saniyenin üstünde ise Google daha az URL tarayabilir. TTFB iyileştirmesi crawl budget'i de artırır.

Crawl budget tespit araçları

Search Console Crawl Stats

Settings > Crawl Stats raporu en kritik veri kaynağı:

• Günlük tarama sayısı (toplam ve sayfa başına)
• Yanıt kodları dağılımı (200, 301, 404, 5xx)
• Crawled by purpose (refresh vs discovery)
• Crawled by Googlebot type (smartphone, image vs)
• Crawled by file type (HTML, CSS, JS, image)

5xx hata yüzdesi yüksekse sunucu sorunu var; 404 yüksekse bağlantı temizliği gerek.

Log dosyası analizi

Sunucu erişim log'larını analiz ederek Googlebot'un gerçekte hangi URL'leri ziyaret ettiğini görürsünüz. Screaming Frog Log File Analyzer veya Botify gibi araçlar kullanılır.

Search Console URL Inspector

Tek tek URL'lerin Google tarafından ne zaman tarandığını gösterir; önemli sayfaların güncellik durumunu öğrenirsiniz.

Crawl budget iyileştirme adımları

1. Sitemap kalitesi

XML sitemap önemli, yüksek değerli URL'leri içermeli. Şunlar olmamalı:

• 404 dönen URL'ler
• Noindex etiketli sayfalar
• Redirect URL'leri
• Duplicate canonical'lı URL'ler
• Yetersiz içerikli "ince" sayfalar

Sitemap "buraya bakman gereken yerler" listesi; Google buna güvenir. Çöp dolu sitemap'in itibarı düşük olur.

2. Robots.txt ile engelleme

Google'ın hiç görmemesi gereken URL'ler için robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /sepet
Disallow: /hesap
Disallow: /arama
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?session=
Disallow: /*?utm_

Önemli: robots.txt taramayı engeller; indekslemeyi değil. Yani sayfa hâlâ indekslenebilir; sadece içeriği görülmez. Gerçek gizleme için noindex meta tag kullanılır.

3. Noindex stratejisi

Google'ın indekslemesini istemediğiniz sayfalar için noindex:

<meta name="robots" content="noindex, follow">

"follow" kısmı kritik: Google bu sayfayı indekslemese de iç bağlantıları takip eder; otorite akışı korunur.

4. Canonical doğru kullanımı

Duplicate URL'lerin tek bir canonical'a yönlendirilmesi; Google diğerlerini eski crawl döngülerinde değil yeni içerikte zaman geçirir.

5. Internal link mimarisi

Google iç bağlantıları takip ederek crawl yapar. Önemli sayfalara fazla iç bağlantı, az önemli sayfalara az bağlantı. Site mimarisi 3 seviye derinlikten fazla olmamalı; her sayfaya 3 tıklamada ulaşılmalı.

6. URL parametre yönetimi

UTM parametrelerinin Google tarafından farklı sayfa görülmemesi için canonical kullanın (UTM'li URL ana URL'e canonical verir). Filtre parametreleri için robots.txt engelleme veya canonical kombinasyonu.

7. Sunucu hızı iyileştirmesi

TTFB 200ms altı hedef. Hızlı sunucu Google'a "daha fazla URL tarayabilirsiniz" mesajı verir; crawl rate limit artar.

8. 404 ve redirect temizliği

Eski kırık bağlantıları silin veya yönlendirin. 3'ten fazla zincirli redirect tek hop'a indirin. Soft 404 hatalarını gerçek 404'e dönüştürün.

Crawl frekansını izlemek

Önemli sayfalarınızın ne kadar sık tarandığını izlemek için:

• Search Console URL Inspector ile manuel kontrol
• Sunucu log analizi ile Googlebot ziyaretlerini takip
• Sitemap'te lastmod tarihi güncel mi (Google bu sinyali kullanır)

Önemli yeni içerik 24-48 saat içinde taranmalı; eski içerik haftada-ayda bir refresh edilmeli. Bu rutin değil olduğunda sayfa otoritesi düşer.

JavaScript ve crawl budget

Client-side rendering (CSR) yapan SPA'larda Google iki adımda tarar: önce HTML, sonra JavaScript render. Bu iki adımlı süreç crawl budget'i iki katına çıkarır. Çözümler:

• Server-side rendering (SSR): Next.js, Nuxt.js gibi framework'ler ile
• Static site generation (SSG): İçerik build sırasında HTML'e dönüşür
• Dynamic rendering: Bot için statik HTML, kullanıcı için SPA

Sadece SPA olarak kalan büyük siteler crawl budget sorununda en çok yıpranır.

Karşılaşılan Problemler hatalar

1. Tüm URL'leri sitemap'e koymak. Düşük kaliteli URL'ler sitemap güvenilirliğini düşürür
2. Robots.txt ile noindex sanmak. Robots.txt tarama engeli; indeksleme için noindex meta gerekir
3. Filtre URL'lerini indekslenebilir bırakmak. Sonsuz URL kombinasyonu
4. UTM parametreleri için canonical eklememek. Aynı sayfa onlarca farklı UTM URL'i ile Google'da görünür
5. Redirect zincirleri. A → B → C → D yerine direkt A → D
6. Eski sayfa silmek (404). 410 (Gone) veya 301 (yönlendirme) tercih edilir
7. Sitemap'te lastmod kullanmamak. Google güncelleme ipucu olarak bunu kullanır

Aylık crawl budget sağlık raporu

Aylık olarak Search Console'da kontrol edilecek metrikler:

• Toplam günlük tarama sayısı (trend yukarı, sabit veya aşağı?)
• 5xx hata yüzdesi (yüzde 1 üstü problem sinyali)
• Ortalama yanıt süresi (300ms altı sağlıklı)
• İndekslenmiş URL sayısı (sitemap'teki URL sayısına yakın olmalı)
• "Discovered, currently not indexed" URL'lerin sayısı (çok fazlaysa içerik kalite sorunu)

Atılması Gereken Adım

Teknik SEO'nun derin alanlarından biri crawl budget yönetimidir. Pratiği sürekli biçimde geliştirmek için iyi bir SEO öğrenme kaynağı tarama bütçesi ve loglama konularını birlikte aktarmalıdır.

Hatırlanması Gerekenler

Crawl budget; Google'ın sitenize ayırdığı tarama kapasitesidir. Küçük sitelerde sorun değil; 10.000+ URL'li sitelerde kritik SEO disiplini. Bütçeyi tüketen yaygın sorunlar filtre URL'leri, UTM parametreleri, redirect zincirleri ve yavaş sunucu. Çözümler sitemap kalitesi, robots.txt engelleme, noindex stratejisi, canonical doğru kullanımı, internal link mimarisi ve sunucu hızıdır. Aylık Search Console Crawl Stats raporu sürdürülebilir izleme için zorunludur. Doğru yönetilen crawl budget, önemli sayfaların hızla tarandığı ve sıralamaya alındığı bir SEO altyapısı verir.