Site haritası ve robots.txt doğru kurulumu: Arama motorlarının sitenizi tarama rehberi

Arama motorlarının ve yapay zekâ asistanlarının bir web sitesini doğru anlayabilmesi için ilk temas noktası sitemap robots.txt ikilisidir. Robots.txt dosyası botlara sitenizin hangi bölümlerine girip giremeyeceğini söylerken, XML site haritası keşfedilmesi gereken sayfaların eksiksiz bir fihristini sunar. Bu iki teknik SEO bileşeninin hatalı kurgulanması, sayfalarınızın arama motoru dizinlerinden tamamen silinmesine ya da tarama bütçenizin boşa harcanmasına yol açabilir.

Web sitenizin arama sonuçlarında hak ettiği yeri alabilmesi için arama motoru botlarının sayfalarınıza rahatça erişebilmesi gerekir. Teknik altyapısı eksik veya çelişkili direktiflerle yapılandırılmış bir sitede, ne kadar kaliteli içerik üretirseniz üretin organik performans elde etmek güçleşir. Bu kapsamlı rehberde, arama motorlarının ve üretken yapay zekâ sistemlerinin sitenizi eksiksiz taramasını sağlayacak site haritası ve robots.txt kurulum adımlarını tüm teknik detaylarıyla ele alıyoruz.

Robots.txt nedir ve siteniz için neden bu kadar kritiktir?

Robots.txt, web sitenizin ana dizininde yer alan ve arama motoru botlarına hangi URL'lerin taranabileceğini veya taranmayacağını bildiren basit bir metin dosyasıdır. Bu dosya Robots Exclusion Protocol (Robot Engelleme Standardı) kurallarına göre çalışır ve bir bot sitenizi ziyaret ettiğinde ilk kontrol ettiği adrestir.

Robots.txt dosyasının birincil amacı, sitenizin sunucu kaynaklarını korumak ve tarama bütçesini (crawl budget) verimli kullanmaktır. Arama motorları her web sitesi için belirli bir zaman ve sunucu kaynağı ayırır. Eğer sitenizde admin panelleri, sepet sayfaları, filtreleme parametreleri veya kurum içi arama sonuçları gibi indeks değeri taşımayan binlerce sayfa taranıyorsa, botlar asıl değerli içeriklerinizi taramaya vakit bulamayabilir.

Dosyanın yapısı son derece yalındır ancak yapılan en ufak bir karakter hatası tüm sitenizin arama sonuçlarından silinmesine yol açabilir. Örneğin dosya içine eklenen hatalı bir eğik çizgi, arama motorlarının sitenizdeki tüm sayfaları taramasını durdurabilir. Bu dosya aracılığıyla yalnızca Googlebot değil; Bingbot, YandexBot ve yeni nesil sistemler de yönetilir. Özellikle üretken motorların sitenizi nasıl okuduğunu yönetmek istiyorsanız yapay zekâ tarayıcıları robots.txt içinde engellenmeli mi başlıklı analizimizi inceleyerek arama botları ile veri toplama botları arasındaki farkı netleştirebilirsiniz.

XML site haritası (sitemap.xml) nedir ve nasıl çalışır?

XML site haritası, bir web sitesindeki taranmaya değer tüm sayfaların hiyerarşik listesini, son güncellenme tarihlerini ve alternatif dillerini barındıran yapılandırılmış bir XML belgesidir. Arama motorları için sitenizin dijital bir yol haritası görevi görür.

Google gibi modern arama motorları sayfalar arasındaki dahili bağlantıları izleyerek yeni içerikleri keşfedebilir. Ancak büyük e-ticaret sitelerinde, derin sayfa mimarisine sahip portallarda veya henüz dış bağlantısı bulunmayan yeni web sitelerinde sayfaların taranması gecikebilir. XML site haritası, arama motoru botuna doğrudan şu mesajı verir: "Bu sayfalar benim için önemlidir, en son şu tarihte güncellenmiştir ve taranmasını istiyorum."

Standart bir sitemap dosyasında her URL için belirli etiketler kullanılır: - <loc>: Sayfanın tam ve kesin URL adresini belirtir. - <lastmod>: Sayfanın en son güncellendiği tarihi (W3C Datetime formatında) gösterir. Google bu etiketi dikkate alarak yalnızca güncellenen sayfaları yeniden taramayı tercih edebilir. - <changefreq> ve <priority>: Sayfanın tahmini değişim sıklığını ve site içindeki öncelik derecesini belirtir. Ancak modern Google algoritmaları bu iki etiketi çoğunlukla göz ardı eder; önceliği içerik kalitesine ve tarama sıklığına kendisi karar verir.

Site haritanızı oluşturduktan sonra dizin durumunu ve olası ayrıştırma hatalarını izlemek için Google Search Console veri okuma rehberi adımlarını takip ederek haritanızı arama motoruna resmi olarak tanıtmanız önerilir. Ayrıca günümüzde büyük dil modellerine sitenizi özetleyen metin tabanlı belgeler sunmak da yaygınlaşmaktadır; bu mantığı kavramak adına llms.txt kurulumu konusunu da teknik vizyonunuza ekleyebilirsiniz.

Sitemap ve robots.txt arasındaki temel farklar ve iş birliği

Robots.txt dosyasının temel görevi taranmaması gereken sayfaları kısıtlamakken, site haritasının amacı öncelikli olarak taranması ve dizine eklenmesi gereken URL'leri işaret etmektir. Biri botlara kapıları kapatırken, diğeri rehberlik ederek kapıları açar.

Teknik SEO'da yapılan en büyük yanılgı, bu iki dosyanın birbirinin alternatifi olduğunu düşünmektir. Oysa bu iki araç birbirini tamamlayan bir denge mekanizmasıdır. Robots.txt dosyanızın en altına site haritanızın bağlantısını eklediğinizde, sitenizi ilk kez ziyaret eden bir arama botu nereye girmeyeceğini öğrendiği anda nereye gideceğini de hemen o satırda bulmuş olur.

Aşağıdaki karşılaştırma tablosu, iki dosya arasındaki teknik ve işlevsel farkları net bir şekilde özetlemektedir:

Adım adım robots.txt ve sitemap kurulum rehberi

Doğru bir kurulum için öncelikle arama motorlarının sitenizde taramasını istemediğiniz dinamik veya yönetimsel alanları belirlemeli, ardından geçerli URL'leri içeren dinamik bir sitemap oluşturup bu haritayı robots.txt dosyanızın en altına eklemelisiniz. Bu süreç beş temel aşamada tamamlanır:

1. Robots.txt Dosyasını Hazırlayın: Bilgisayarınızda veya sunucunuzda robots.txt adında düz bir metin dosyası oluşturun. Dosyanın ilk satırına hedef botu belirten User-agent: * komutunu yazın. Ardından taranmasını istemediğiniz yönetim paneli, sepet veya filtre URL'lerini Disallow: satırlarıyla ekleyin. Genel kullanıma açık sayfalar için Allow: komutunu kullanabilirsiniz.
2. Site Haritası Konumunu Ekleyin: Robots.txt dosyasının en son satırına site haritanızın tam adresini yazın: Sitemap: https://www.siteniz.com/sitemap.xml. Bu sayede alan adınıza gelen tüm arama botları haritanızı anında bulur.
3. Dinamik XML Site Haritası Üretin: Sayfalarınız güncellendikçe kendini yenileyen bir site haritası oluşturun. Eğer WordPress gibi bir içerik yönetim sistemi kullanıyorsanız SEO eklentileri bunu otomatik yapar. Ancak yanlış yapılandırmaların önüne geçmek için WordPress SEO çalışmalarında en sık yapılan hatalar listesine göz atarak etiket veya yazar arşivlerinin haritayı şişirmesini önleyin.
4. Dosyaları Sunucu Kök Dizinine Yükleyin: Robots.txt dosyanız mutlaka alan adınızın hemen arkasında (https://siteniz.com/robots.txt) açılmalıdır. Bir alt klasörde yer alan dosya arama motorları tarafından tanınmaz.
5. Arama Motorlarına Tanıtın ve Test Edin: Dosyalar canlıya alındıktan sonra Google Search Console paneline giriş yapın. "Site Haritaları" bölümünden sitemap.xml uzantınızı gönderin. Robots.txt dosyanızı ise Google'ın robots.txt test aracıyla kontrol ederek sayfalarınızın yanlışlıkla engellenmediğinden emin olun.

Sitemap ve robots.txt kurulumunda en sık yapılan teknik hatalar

En sık karşılaşılan kritik hata, dizinlenmesi istenmeyen sayfaları noindex etiketi yerine robots.txt ile engelleyip Google'ın noindex etiketini görmesini engellemek ya da sitemap içine 404 veya 301 kodlu sayfaları eklemektir. Bu çelişkiler arama motorlarının kafasını karıştırır ve dizinleme kalitesini düşürür.

Karşılaşılan diğer yaygın hatalar şunlardır: - Canlıya Geçişte Disallow: / Unutulması: Yazılım geliştirme aşamasında sitenin indeks almaması için robots.txt dosyasına eklenen Disallow: / komutu canlıya geçişte kaldırılmazsa, site tamamen arama motorlarına kapanır. Böyle bir durumda ortaya çıkan sıralama kayıplarını anlamlandırmak için sitem Google'da neden çıkmıyor rehberimizdeki kontrol adımlarını inceleyebilirsiniz. - Noindex Etiketli Sayfaların Robots.txt ile Engellenmesi: Bir sayfanın Google dizininden silinmesini istiyorsanız, sayfaya <meta name="robots" content="noindex"> etiketi eklemelisiniz. Ancak bu sayfayı aynı zamanda robots.txt dosyasında Disallow ederseniz, bot sayfayı ziyaret edemez, noindex etiketini okuyamaz ve sayfayı URL biçiminde dizinde tutmaya devam eder. - Sitemap İçinde Hatalı URL'lerin Bulunması: Yönlendirilmiş (301), silinmiş (404) veya canonical etiketi başka bir sayfayı işaret eden URL'lerin site haritasında bulunması tarama bütçesini tüketir. Özellikle alan adı değişikliklerinde sitemap listelerinin titizlikle temizlenmesi gerekir; bu konuda site taşıma SEO süreçleri içeriğimiz kritik ipuçları sunmaktadır. - Site Haritası Boyut Sınırının Aşılması: Tek bir sitemap dosyası en fazla 50.000 URL veya sıkıştırılmamış halde 50 MB olabilir. Bu sınır aşıldığında site haritası dizini (sitemap index) kullanılarak haritalar alt bölümlere (örneğin post-sitemap.xml, product-sitemap.xml) ayrılmalıdır.

Paro Medya olarak çalıştığımız markalarda en sık karşılaştığımız teknik aksaklık, test ortamında unutulan engelleme kurallarının canlıya taşınması ya da e-ticaret sitelerinde filtre parametrelerinin robots.txt üzerinden yanlış kurgulanarak botların asıl ürün sayfalarına ulaşmasının geciktirilmesidir. Taranabilirlik sorunlarını kökten engellemek adına periyodik olarak 25 maddelik teknik SEO kontrol listesi üzerinden geçmek hayati önem taşır.

Modern arama ekosisteminde robots.txt ve sitemap: GEO ve yapay zekâ boyutu

ChatGPT Search, Perplexity, Gemini ve Google AI Overviews gibi yeni nesil yanıt motorları, sitenizdeki verileri doğrulamak için hem standart tarayıcıları hem de özel yapay zekâ botlarını robots.txt izinlerine göre yönlendirir. Taranabilirlik artık yalnızca geleneksel mavi bağlantılarda çıkmak için değil, yapay zekâ yanıtlarında kaynak gösterilmek için de ön koşuldur.

Üretken arama optimizasyonu (GEO) süreçlerinde arama botları ile yapay zekâ eğitim botları birbirinden ayrışmaya başlamıştır. Örneğin OpenAI tarafından kullanılan GPTBot web verilerini modellerini eğitmek ve arama yanıtlarını beslemek için tararken, OAI-SearchBot doğrudan arama sonuçları için anlık dizinleme yapar. Benzer şekilde Google'ın Google-Extended belirteci, içeriklerinizin Gemini ve Vertex AI eğitiminde kullanılmasını kontrol etmenizi sağlar.

Bir web sitesi tüm yapay zekâ botlarını robots.txt üzerinden engellediğinde, modellerin yanıt üretirken bu siteden alıntı yapması ve markayı tavsiye etmesi imkânsız hale gelebilir. Markanızın hem geleneksel arama motorlarında üst sıralara çıkması hem de yapay zekâ yanıtlarında önerilen kaynak olması için teknik altyapınızı profesyonel SEO ajansı desteğiyle optimize etmeli, bot direktiflerinizi stratejik bir dengede tutmalısınız.

Paro Medya ile teknik SEO ve taranabilirlik altyapınızı güçlendirin

Paro Medya, web sitenizin arama motorları ve yapay zekâ asistanları tarafından kusursuz biçimde taranması, anlaşılması ve dizine eklenmesi için teknik altyapınızı baştan uca optimize eder. Arama motorlarının sitenizi tararken karşılaştığı tüm engelleri ortadan kaldırarak organik trafiğinizi ve yapay zekâ görünürlüğünüzü sürdürülebilir biçimde artırıyoruz.

Bu doğrultuda sunduğumuz teknik çözümler şunları kapsar:

• Kapsamlı Tarama ve İndeksleme Denetimi: Sitenizin robots.txt direktifleri, XML site haritası mimarisi, HTTP yanıt kodları ve tarama bütçesi derinlemesine taranarak arama motoru botlarının erişim sorunları giderilir.
• Paro AI Destekli Mimari Analizi: Paylaştığınız web sitesi ve hedef anahtar kelimeler, Paro AI ve uzman ekibimiz tarafından analiz edilerek sitenizin teknik eksikleri ve rekabet zorlukları net bir şekilde ortaya konur.
• İki İş Günü İçinde Özel Teklif: Şablon paket fiyatları yerine, sitenizin gerçek teknik ihtiyaçlarına ve hedeflerinize göre özelleştirilmiş şeffaf yol haritası ve teklif en geç 2 iş günü içinde hazırlanır.
• Şeffaf Müşteri Paneli Takibi: Sitenizde yapılması gereken tüm teknik düzeltmeler ve güncellemeler size özel müşteri paneline adım adım yansıtılır; her ay düzenli performans raporlarıyla ilerleme izlenir.
• GEO ve Geleceğe Hazır Yapılandırma: robots.txt ve sitemap mimariniz yalnızca Google için değil, ChatGPT, Gemini ve Perplexity gibi yapay zekâ asistanlarının içeriklerinizi doğru kaynak olarak alıntılamasını sağlayacak şekilde kurgulanır.

Sitenizin taranabilirlik ve yapay zekâ hazır bulunuşluk düzeyini hemen görmek için ücretsiz 12 soruluk SEO + GEO testi aracımızı tamamlayabilirsiniz. Web sitenizin taranma altyapısını güçlendirmek ve kelimelerinize özel strateji oluşturmak için ücretsiz analiz ve teklif formunu doldurarak ekibimizle iletişime geçin.