ozztech_logo_white

Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt nedir? Robot.txt dosyası arama motoru tarayıcılarına web sitenizim hangi noktalarının taranması gerektiğini bildirir. Bu dosya, ana dizindeki ve içerdiği komut sistemindeki dosyaları arama motoru botlarına görünür hale getirir.

Robots.txt ‘nin SEO için Önemi

Robots.txt dosyası doğrudan SEO standartlarından biridir. Google botlarının sitenize girdiklerinde doğrudan dosyaya göz atacaklarını söylemiştik. Güvenlik açısından bu da çok önemlidir. Çünkü web sitenizin yönetim panelinin SERP sonuçlarına dahil edilmesini istemiyoruz. Bu içerikteki Robots.txt nedir? Robots.txt nasıl oluşturulur? sorularını yanıtladık. Başka sorunuz varsa sitemizdeki diğer makaleleri inceleyebilirsiniz.

Robots.txt nedir? 

Robots.txt’deki kodla tutarlı olarak, web sitenizdeki hangi sayfaların indeksleneceğini ve hangi bölümlerin olmadığını gösterir.

Robots.txt ne işe yarar? 

Arama motoru robotlarının sitedeki arama motorları tarafından indekslenen sayfaların listesine erişebildiği dosyanın adıdır. Bu dosyaya dayanarak botlar, arama motorları aracılığıyla erişilebilen adres verilerini oluşturacak ve paylaşacaktır. Arama motoru optimizasyonu için dizin yapısı çok önemlidir. Yanlışlıkla oluşturulan Robots.txt dosyası, web sitesinin arama motorlarında istenen sıralamayı alamamasına neden olabilir.

Robots.txt Nasıl Oluşturulur?

İlk adım, site adresiniz aracılığıyla oluşturulan bağlantının doğrudan /robots.txt dosyasını göstermesidir.

Örnek

https://ozztech.net/robots.txt

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.ozztech.net/sitemap.xml

Robots.txt dosyası, UTF-8 karakter kodlarıyla düz metin biçiminde oluşturulması gerekmektedir. Bunun için ek yazılım dilleri kullanmanıza ihtiyaç yoktur. Doğrudan oluşturduğunuz metin dosyasından yapabilirsiniz.

Robots.txt Komutları

Robots.txt’de motorları doğrudan arayabilen belirli komutlar vardır. Bu komutları kullanarak, arama motoru robotlarına komut verebilir veya gerektiğinde belirli içeriği gizleyebilirsiniz.

Grup komutları: Arama motoru robotlarının sitenizdeki içeriğe erişimi, indeksleme, izinler ve tarama gecikmeleri gibi ayarları yapmak için kullanılır.

Grup dışı komutlar: Site haritasını belirtmek için kullanılır.

User-agent: Bu komut ile sitenizde taramaya izin verilip verilmeyeceğini belirtebilirsiniz. İzlenecek yolu görüntülemek için * simgesini de tercih edebilirsiniz.

Dizin engelleme: Bir “izin verme(Disallow)” veya “izin ver(Allow)” komutu oluşturarak, sitedeki belirli sayfalara ana dizinden erişebilir veya bunları kaldırabilirsiniz.

Tarama geciktirme: Robotların web sitenizde oluşturacağı arama ve tarama süresini sınırlamak için bu komutu kullanınız.

İlginizi Çekebilecek Makaleler​

Message Broker Nedir?

Message broker, birçok farklı uygulama veya sistem arasında iletişim kurmak için kullanılan bir yazılım aracıdır. Bu araç, bir uygulama tarafından gönderilen mesajları bir veya daha

Devamı »
Loglama Nedir?

Loglama, bilgisayar sistemlerindeki olayları, hataları ve diğer önemli durumları kaydetme işlemidir. Bu kayıtlar, sistem yöneticileri ve geliştiriciler tarafından, sistemlerin işleyişini anlamak, hataları tespit etmek ve

Devamı »
Vcenter Üzerinden ESXI Upgrade’i Nasıl Yapılır?

Öncelikle herkese merhaba arkadaşlar, sizlere Vcenter üzerinde ESXI hostunuzu nasıl upgrade edeceğinizi anlatacağım. Öncelikle hangi versiyona yükselteceksek o versiyonun ISO dosyasını indiriyoruz. Ardından Vcenter’ımızı açıyoruz.

Devamı »
.OrianaLOG Nedir?

.OrianaLOG Nedir? ve Ne işe Yarar?  .OrianaLOG bir sistem veya uygulamanın çalışması sırasında oluşan log (kayıt) dosyalarının toplanması, depolanması, analiz edilmesi ve incelenmesine olanak sağlayan bir

Devamı »