OzzTech - Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt nedir? Robot.txt dosyası arama motoru tarayıcılarına web sitenizim hangi noktalarının taranması gerektiğini bildirir. Bu dosya, ana dizindeki ve içerdiği komut sistemindeki dosyaları arama motoru botlarına görünür hale getirir.

Robots.txt 'nin SEO için Önemi

Robots.txt dosyası doğrudan SEO standartlarından biridir. Google botlarının sitenize girdiklerinde doğrudan dosyaya göz atacaklarını söylemiştik. Güvenlik açısından bu da çok önemlidir. Çünkü web sitenizin yönetim panelinin SERP sonuçlarına dahil edilmesini istemiyoruz. Bu içerikteki Robots.txt nedir? Robots.txt nasıl oluşturulur? sorularını yanıtladık. Başka sorunuz varsa sitemizdeki diğer makaleleri inceleyebilirsiniz.

Robots.txt nedir? 

Robots.txt'deki kodla tutarlı olarak, web sitenizdeki hangi sayfaların indeksleneceğini ve hangi bölümlerin olmadığını gösterir.

Robots.txt ne işe yarar? 

Arama motoru robotlarının sitedeki arama motorları tarafından indekslenen sayfaların listesine erişebildiği dosyanın adıdır. Bu dosyaya dayanarak botlar, arama motorları aracılığıyla erişilebilen adres verilerini oluşturacak ve paylaşacaktır. Arama motoru optimizasyonu için dizin yapısı çok önemlidir. Yanlışlıkla oluşturulan Robots.txt dosyası, web sitesinin arama motorlarında istenen sıralamayı alamamasına neden olabilir.

Robots.txt Nasıl Oluşturulur?

İlk adım, site adresiniz aracılığıyla oluşturulan bağlantının doğrudan /robots.txt dosyasını göstermesidir.

Örnek

https://ozztech.net/robots.txt

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.ozztech.net/sitemap.xml

Robots.txt dosyası, UTF-8 karakter kodlarıyla düz metin biçiminde oluşturulması gerekmektedir. Bunun için ek yazılım dilleri kullanmanıza ihtiyaç yoktur. Doğrudan oluşturduğunuz metin dosyasından yapabilirsiniz.

Robots.txt Komutları

Robots.txt'de motorları doğrudan arayabilen belirli komutlar vardır. Bu komutları kullanarak, arama motoru robotlarına komut verebilir veya gerektiğinde belirli içeriği gizleyebilirsiniz.

Grup komutları: Arama motoru robotlarının sitenizdeki içeriğe erişimi, indeksleme, izinler ve tarama gecikmeleri gibi ayarları yapmak için kullanılır.

Grup dışı komutlar: Site haritasını belirtmek için kullanılır.

User-agent: Bu komut ile sitenizde taramaya izin verilip verilmeyeceğini belirtebilirsiniz. İzlenecek yolu görüntülemek için * simgesini de tercih edebilirsiniz.

Dizin engelleme: Bir "izin verme(Disallow)" veya "izin ver(Allow)" komutu oluşturarak, sitedeki belirli sayfalara ana dizinden erişebilir veya bunları kaldırabilirsiniz.

Tarama geciktirme: Robotların web sitenizde oluşturacağı arama ve tarama süresini sınırlamak için bu komutu kullanınız.


İlginizi Çekebilecek Makaleler
FortiGate ACME Sertifika Desteği
Siber Güvenlik

FortiGate ACME Sertifika Desteği

Ocak 24, 2022 1:22

Otomatik Sertifika Yönetim Ortamı (ACME), RFC 8555’te tanımlandığı üzere, ücretsiz SSL sunucu sertifikaları sağlamak için genel Let’s...

Android Reverse Mühendisliği Araçları Örnek Vakalar
Siber Güvenlik

Android Reverse Mühendisliği Araçları Örnek Vakalar

Ocak 24, 2022 12:39

Bir önceki yazıda yeni çıkan android reverse mühendisliği araçları hakkında bilgi vermiştim. Bu yazımda...

Emotet Artık Alışılmadık IP Adreslerini Kullanıyor
Siber Güvenlik

Emotet Artık Alışılmadık IP Adreslerini Kullanıyor

Ocak 24, 2022 9:44

Emotet kötü amaçlı yazılım botnetinin dağıtımını içeren sosyal mühendislik kampanyaları, güvenlik çözümlerinin tespitinden kaçınmak...

FortiWeb Kurulumu 5-Operation Modu
Siber Güvenlik

FortiWeb Kurulumu 5-Operation Modu

Ocak 24, 2022 7:49

FortiWeb kurulumunu anlattığımız beşinci yazımızda operation modu ve FortiWeb cihazı açıldıktan sonra, FortiWeb cihazını...

FortiWeb Kurulumu 4- Admin Şifresi Değiştirme
Siber Güvenlik

FortiWeb Kurulumu 4- Admin Şifresi Değiştirme

Ocak 23, 2022 10:21

FortiWeb kurulumunu anlattığımız serinin dördüncü yazısında Admin şifresi nasıl değiştirceğinizi, saat ve günü nasıl...

Metasploittable 2
Siber Güvenlik

Metasploittable 2

Ocak 22, 2022 11:57

Metasploittable 2 Nedir? Neden Kullanılır? Nasıl Kurulur? Metasploittable 2 Metasploit firması tarafından bizlerin güvenli...

FortiWeb Kurulumu 3- Firmware Güncellenmesi
Siber Güvenlik

FortiWeb Kurulumu 3- Firmware Güncellenmesi

Ocak 22, 2022 11:56

FortiWeb kurulumunu anlattığımız serinin üçüncü yazısında Firmware güncellemesini anlatacağız. FortiWeb cihazınız gönderildiğinde en son...

FortiWeb Kurulumu 2- Web UI ve CLI Bağlama
Siber Güvenlik

FortiWeb Kurulumu 2- Web UI ve CLI Bağlama

Ocak 21, 2022 7:50

FortiWeb kurulumu yazımızın ikinci serisinde Web UI veya CLI bağlamanın nasıl yapılacağını anlatacağız. Eğer...

Yapay Zeka Nedir?
Yazılım Geliştirme

Yapay Zeka Nedir?

Ocak 20, 2022 10:57

Sürekli olarak değişen, gelişen ve oldukça hızlı bir şekilde boyut atlayan, günümüze kadar gelen...

İletişim
OZZTECH Bilgi Teknolojileri olarak siber güvenlik danışmanlığı ve bilgi güvenliği eğitimleri alanlarında 10 yılı aşkın bir süredir ülkemizin önde gelen kurumlarına hizmet vermeye devam etmektedir. Detaylı bilgi ve danışmanlık hizmetlerimiz için aşağıdaki formu kullanarak veya [email protected] adresimiz üzerinden bizlerle iletişime geçebilirsiniz.