Robots.txt nedir? Robot.txt dosyası arama motoru tarayıcılarına web sitenizim hangi noktalarının taranması gerektiğini bildirir. Bu dosya, ana dizindeki ve içerdiği komut sistemindeki dosyaları arama motoru botlarına görünür hale getirir.
Robots.txt ‘nin SEO için Önemi
Robots.txt dosyası doğrudan SEO standartlarından biridir. Google botlarının sitenize girdiklerinde doğrudan dosyaya göz atacaklarını söylemiştik. Güvenlik açısından bu da çok önemlidir. Çünkü web sitenizin yönetim panelinin SERP sonuçlarına dahil edilmesini istemiyoruz. Bu içerikteki Robots.txt nedir? Robots.txt nasıl oluşturulur? sorularını yanıtladık. Başka sorunuz varsa sitemizdeki diğer makaleleri inceleyebilirsiniz.
Robots.txt nedir?
Robots.txt’deki kodla tutarlı olarak, web sitenizdeki hangi sayfaların indeksleneceğini ve hangi bölümlerin olmadığını gösterir.
Robots.txt ne işe yarar?
Arama motoru robotlarının sitedeki arama motorları tarafından indekslenen sayfaların listesine erişebildiği dosyanın adıdır. Bu dosyaya dayanarak botlar, arama motorları aracılığıyla erişilebilen adres verilerini oluşturacak ve paylaşacaktır. Arama motoru optimizasyonu için dizin yapısı çok önemlidir. Yanlışlıkla oluşturulan Robots.txt dosyası, web sitesinin arama motorlarında istenen sıralamayı alamamasına neden olabilir.
Robots.txt Nasıl Oluşturulur?
İlk adım, site adresiniz aracılığıyla oluşturulan bağlantının doğrudan /robots.txt dosyasını göstermesidir.
Örnek
https://ozztech.net/robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ozztech.net/sitemap.xml
Robots.txt dosyası, UTF-8 karakter kodlarıyla düz metin biçiminde oluşturulması gerekmektedir. Bunun için ek yazılım dilleri kullanmanıza ihtiyaç yoktur. Doğrudan oluşturduğunuz metin dosyasından yapabilirsiniz.
Robots.txt Komutları
Robots.txt’de motorları doğrudan arayabilen belirli komutlar vardır. Bu komutları kullanarak, arama motoru robotlarına komut verebilir veya gerektiğinde belirli içeriği gizleyebilirsiniz.
Grup komutları: Arama motoru robotlarının sitenizdeki içeriğe erişimi, indeksleme, izinler ve tarama gecikmeleri gibi ayarları yapmak için kullanılır.
Grup dışı komutlar: Site haritasını belirtmek için kullanılır.
User-agent: Bu komut ile sitenizde taramaya izin verilip verilmeyeceğini belirtebilirsiniz. İzlenecek yolu görüntülemek için * simgesini de tercih edebilirsiniz.
Dizin engelleme: Bir “izin verme(Disallow)” veya “izin ver(Allow)” komutu oluşturarak, sitedeki belirli sayfalara ana dizinden erişebilir veya bunları kaldırabilirsiniz.
Tarama geciktirme: Robotların web sitenizde oluşturacağı arama ve tarama süresini sınırlamak için bu komutu kullanınız.
