Arama motoru botların sitenize gelmeden önce uğradıkları yerdir. Robots.txt dosyası arama motoru botlarına hangi bölümlerin taranması veya taranmaması gerektiğini söyleyen komut dosyasıdır. Arama motoru botlarına bilgi vermek amacıyla kullanılan dosyadır.
Robots.txt Dosyası Nasıl Kullanılır?
Allow: / : Tüm sayfaları indexle demektir.
User-agent: * : İndexlemesini istemediğimiz arama motoru botlarını buradan engelleyebiliriz.
Örnek:
User-agent: Googlebot
User-agent: YandexBot
Burada yapmış oluğumuz işlem ise Google botları ve Yandex botlarının web sitemizi taramaması için kısıtlama veya erişim getirebiliriz.
Disallow: Engellemek istediğimiz dosyayı, sayfayı buradan engelleriz.
Disallow: /örnek* ise URL’mize örnek ile başlayan tüm sayfaları engeller.
Disallow: /*.html$ ile belirli bir dosya türünü engelleyebiliriz.
Örnek:
User-agent: Googlebot
Disallow: /admin
Disallow: /sayfayı.engelle.html
Google botlarına web sitemizde admin ve sayfa.engelle.html sayfasını taramaması için komut göndermiş oluruz.
User-agent:*
Disallow:/Erkan/Eren.html*
Tüm arama motoru botları eren.html dosyasını indexlemeyecektir. Yalnız Erkan dizindeki Eren.html hariç tüm dosyaları tarar ve indexler.
User-Agent: *
Allow: /
Disallow: index.php?p=search&search=*
Disallow: /tmp*
Site Haritası: https://www.orneksite.com.tr/sitemap.xml
Site Haritası: https://www.orneksite.com.tr/image_sitemap.xml
Arama motoru botlarına tüm sayfalarımı indexle, site içerisindeki aramaları indexleme ve tmp ile başlayan tüm sayfaları indexlememesi gerektiğini söylemiş oluruz.
Robots.txt dosyamızda site haritası ve image site haritasında yer veririz. Bunun nedeni arama motoru botları robots.txt dosyamıza geldiğinde hangi sayfaları tarayacak, hangi sayfaları taramayacağını açık bir şekilde belirtmemiz gerekir. Bu sayede arama motoru botları web sitemizi daha hızlı taraması için yardımcı olmuş oluruz.
Demo Siteler İçin Robots.txt Dosyası Nasıl Olmalıdır?
User-agent: *
Disallow: /
Burada yapmış olduğumuz işlem tüm arama motoru botlarına indeksleme için izin verilse de, ikinci satırda “disallow / ” komutunun verilmesi robot txt folder dissallow anlamına gelir ve web sitesindeki tüm dosyalar böylece indekslenmez.
Bir Web Sitesinde Robots.txt Dosyasını Nasıl Kontrol Ederiz?
Bir web sitesinde robots.txt dosyası olup olmadığını kontrol etmemiz için arama motoru çubuğuna
http://www.greymedya.com/robots.txt
Yazarak robots.txt dosyası olup olmadığını kolayca görebiliriz.
Robots.txt Dosyası Nereye Eklenir?
Robots.txt dosyasını Ftp den ana dizine kolayca ekleyebiliriz.
Wordpress temalar da ise eklenti ile eklenebilir.
Özel yazılım web siteleri için robots.txt dosyasını nasıl ekleriz 4 adımda haydi birlikte ekleyelim…
- İlk olarak cpanel’e giriş yapalım.
- Cpanel’e giriş yaptıktan sonra açılan sayfada Dosyalar menüsünün altında Dosya Yöneticisi’ne tıklıyoruz.
- Daha sonra açılan sayfada sol tarafta Public_html klasörüne tıklıyoruz.
- Açılan yeni pencerede yükle seçeneğine tıklayıp, yükleyeceğimiz dosyayı seçerek kolay bir şekilde robots.txt dosyasını yükleyebiliriz. Dosya yükleme işlemi artık bitti.
Web siteniz için arama motoru botlarını çağırabilir veya indexlemesini istemediğiniz arama motoru botlarını engelleyebilirsiniz.
