Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt nedir? Robot.txt dosyası arama motoru tarayıcılarına web sitenizim hangi noktalarının taranması gerektiğini bildirir. Bu dosya, ana dizindeki ve içerdiği komut sistemindeki dosyaları arama motoru botlarına görünür hale getirir.

Robots.txt 'nin SEO için Önemi

Robots.txt dosyası doğrudan SEO standartlarından biridir. Google botlarının sitenize girdiklerinde doğrudan dosyaya göz atacaklarını söylemiştik. Güvenlik açısından bu da çok önemlidir. Çünkü web sitenizin yönetim panelinin SERP sonuçlarına dahil edilmesini istemiyoruz. Bu içerikteki Robots.txt nedir? Robots.txt nasıl oluşturulur? sorularını yanıtladık. Başka sorunuz varsa sitemizdeki diğer makaleleri inceleyebilirsiniz.

Robots.txt nedir? 

Robots.txt'deki kodla tutarlı olarak, web sitenizdeki hangi sayfaların indeksleneceğini ve hangi bölümlerin olmadığını gösterir.

Robots.txt ne işe yarar? 

Arama motoru robotlarının sitedeki arama motorları tarafından indekslenen sayfaların listesine erişebildiği dosyanın adıdır. Bu dosyaya dayanarak botlar, arama motorları aracılığıyla erişilebilen adres verilerini oluşturacak ve paylaşacaktır. Arama motoru optimizasyonu için dizin yapısı çok önemlidir. Yanlışlıkla oluşturulan Robots.txt dosyası, web sitesinin arama motorlarında istenen sıralamayı alamamasına neden olabilir.

Robots.txt Nasıl Oluşturulur?

İlk adım, site adresiniz aracılığıyla oluşturulan bağlantının doğrudan /robots.txt dosyasını göstermesidir.

Örnek

https://ozztech.net/robots.txt

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.ozztech.net/sitemap.xml

Robots.txt dosyası, UTF-8 karakter kodlarıyla düz metin biçiminde oluşturulması gerekmektedir. Bunun için ek yazılım dilleri kullanmanıza ihtiyaç yoktur. Doğrudan oluşturduğunuz metin dosyasından yapabilirsiniz.

Robots.txt Komutları

Robots.txt'de motorları doğrudan arayabilen belirli komutlar vardır. Bu komutları kullanarak, arama motoru robotlarına komut verebilir veya gerektiğinde belirli içeriği gizleyebilirsiniz.

Grup komutları: Arama motoru robotlarının sitenizdeki içeriğe erişimi, indeksleme, izinler ve tarama gecikmeleri gibi ayarları yapmak için kullanılır.

Grup dışı komutlar: Site haritasını belirtmek için kullanılır.

User-agent: Bu komut ile sitenizde taramaya izin verilip verilmeyeceğini belirtebilirsiniz. İzlenecek yolu görüntülemek için * simgesini de tercih edebilirsiniz.

Dizin engelleme: Bir "izin verme(Disallow)" veya "izin ver(Allow)" komutu oluşturarak, sitedeki belirli sayfalara ana dizinden erişebilir veya bunları kaldırabilirsiniz.

Tarama geciktirme: Robotların web sitenizde oluşturacağı arama ve tarama süresini sınırlamak için bu komutu kullanınız.


İlginizi Çekebilecek Makaleler
VMware Ortamında “swap” Dosyası Problemi Nasıl Giderilir?
Vmware VCenter

VMware Ortamında “swap” Dosyası Problemi Nasıl Giderilir?

Mart 23, 2021 5:56

Aşağıda bahsedeceğim tüm işlemleri yapmadan önce, sorun yaşadığınız sanal makinenin “Powered Off” konumda olmasına...

Microsoft Exchange Server “The system cannot find the file specified” Hatası Hakkında
Microsoft Exchange Server

Microsoft Exchange Server “The system cannot find the file specified” Hatası Hakkında

Şubat 11, 2021 10:17

Microsoft Exchange Server yönetimi sırasında, genellikte CU yükseltmeleri sonrasında meydana gelen ancak Exchange üzerinde...

Fortigate Firewall’da Replacement Message’ı Kapatabilmek
Siber Güvenlik

Fortigate Firewall’da Replacement Message’ı Kapatabilmek

Aralık 21, 2020 12:52

Fortigate Firewall’da Replacement Message’ı kapatilmek aslında önemli bir durumdur. Bunun sebebini bu yazıda değineceğim...

Vmware VCenter Kurulumu
Vmware VCenter

Vmware VCenter Kurulumu

Aralık 21, 2020 12:46

Bu yazımızda sizlere Vmware vCenter kurmanın çok basit bir yolunu detaylı bir şekilde anlatacağım....

FortiGate IPS Nedir?
Siber Güvenlik

FortiGate IPS Nedir?

Aralık 20, 2020 10:49

Saldırı Önleme Sistemi (IPS) nedir? Bir İzinsiz Girişi Önleme sistemi (IPS), kuruluşların kötü niyetli...

FortiGate Firewall Modelleri Nelerdir?
Siber Güvenlik

FortiGate Firewall Modelleri Nelerdir?

Aralık 18, 2020 11:27

FortiGate Firewall Modelleri Nelerdir? Fortigate Firewall’un oldukça fazla modeli bulunmaktadır. Güvenliğinizi sağlayan fortigate firewall...

.Net Core – Worker Servis Nedir?
Yazılım Geliştirme

.Net Core – Worker Servis Nedir?

Aralık 18, 2020 6:59

Worker, .Net uygulamalarının çalışmaya başladığı andan çalışmayı durdurma anına kadar ki geçen süreçte arka...

Fortigate HA Üzerinde LACP Yapılandırması Nasıl Yapılır?
Siber Güvenlik

Fortigate HA Üzerinde LACP Yapılandırması Nasıl Yapılır?

Aralık 17, 2020 4:56

Yapımızda HA olarak Active – Passive modda çalışan 2 adet Fortigate cihazımız bulunmaktadır. Bu...

Fortigate Üzerinde DOS Policy Yapılandırması
Siber Güvenlik

Fortigate Üzerinde DOS Policy Yapılandırması

Aralık 6, 2020 7:43

Bu yazımızda sizlere Fortigate üzerinde Dos policy yapılandırmasının nasıl yapılacağını anlatacağız. Öncelik Dos’un ne...

İletişim
OZZTECH Bilgi Teknolojileri olarak siber güvenlik danışmanlığı ve bilgi güvenliği eğitimleri alanlarında 10 yılı aşkın bir süredir ülkemizin önde gelen kurumlarına hizmet vermeye devam etmektedir. Detaylı bilgi ve danışmanlık hizmetlerimiz için aşağıdaki formu kullanarak veya [email protected] adresimiz üzerinden bizlerle iletişime geçebilirsiniz.