Back to Question Center
0

Sement: Darodar Robots.txt'yi necə bağlamaq olar?

1 answers:

Robots.txt faylı, web tarayıcılarının və ya botların bir siteyi taraması haqqında talimatları ehtiva edən tipik bir metin dosyasıdır. Onların tətbiqi çox sayda optimallaşdırılmış veb-saytlarda yayılmış olan axtarış motorunda bots-da aydındır. Robotlar Dışlama Protokolu (REP) bir parçası olaraq, robots.txt faylı bir web sitesinin içeriğinin endekslenmesinin önemli bir yönünü oluşturur ve bir serverin kullanıcı isteklerini doğrulamasına imkan verir.

Julia Vashneva, Semalt Baş Müştərilər Müvəffəqiyyət Meneceri, əlaqənin sizin yerinizdeki digər alanlardan trafik əldə etməsini ehtiva edən Search Engine Optimization (SEO) bir aspekti olduğunu izah edir. Bağlantı şirəsinin köçürülməsi üçün "izləmək" linkləri üçün, veb saytınızdakı bir robots.txt faylını serverinizin saytınızla necə qarşılıqlı əlaqələndirici bir təlimatçı kimi çıxış etməsi vacibdir. Bu arxivdən, bəzi xüsusi istifadəçilərin necə davrandığına icazə vermək və ya qadağan etməklə təlimatlar mövcuddur.

Robots.txt faylının əsas formatı

robots.txt faylı iki əsas xətanı ehtiva edir:

İstifadəçi agent: [user-agent adı]

İzinsiz: [URL döyülməyəcəyəm]

Tam robots.txt faylında bu iki xətt olmalıdır. Bununla belə, bəziləri bir çox istifadəçi agentləri və direktivləri ehtiva edə bilər. Bu əmrlər icazə verir, icazə vermir və ya sürüşmə gecikdirmə kimi aspektləri ehtiva edə bilər. Hər bir təlimat dəstini ayıran bir sıra fasilə var. Xüsusilə bir neçə xəttli robots.txt üçün, bu təlimatın hər birinə icazə verilir və ya icazə verilmir.

Nümunələr

Məsələn robots.txt faylı aşağıdakı kimi kodları ehtiva edə bilər:

İstifadəçi agenti: darodar

Disallow: / plugin

Disallow: / API

İzinsiz: / _comments

Bu halda, bu Darodar web tarayıcısını veb saytınıza daxil olmaqdan məhrum edən bir robots.txt fayl blokudur. Yuxarıda göstərilən sintaksiyada kod, plugins, API və şərhlər bölməsi kimi veb saytın aspektlərini blok edir. Bu məlumatdan robotun mətn faylını effektiv yerinə yetirməkdən çox faydalar əldə etmək mümkündür. Robotlar..txt faylları çoxsaylı funksiyaları yerinə yetirə bilir. Məsələn, onlar hazır ola bilər:

1. Bütün veb tarayıcıların veb səhifəsinə daxil olmasına icazə verin. Məsələn:

İstifadəçi agenti: *

Uydurma:

Bu halda, bütün istifadəçi məzmununa bir web saytına daxil olmaq istənən hər hansı bir veb tarayıcıdan istifadə edilə bilər.

2. Belirli bir qovluqdan müəyyən bir web məzmunu bloklayın. Məsələn,

İstifadəçi agenti: Googlebot

İzinsiz: / misal-alt qapı /

Googlebot-istifadəçi adı olan bu sözdizim Google-a məxsusdur. Bu botu www.ourexample.com/example-subfolder/ səhifəsinə daxil olan hər hansı bir web səhifəsinə daxil olmaqdan məhdudlaşdırır

3. Belirli bir web sayfasından müəyyən bir web browserı bloklayın. Məsələn,

İstifadəçi agenti: Bingbot

İzinsiz: /example-subfolder/blocked-page.html

İstifadəçi agenti Bing bot Bing web tarayıcılarına aiddir. Bu növ robots.txt faylı, Bing web browserının www.ourexample.com/example-subfolder/blocked-page.

simli xüsusi bir səhifəyə daxil olmasını məhdudlaşdırır.

Vacib məlumat

  • Hər bir istifadəçi robts.txt faylını istifadə etmir. Bəzi istifadəçilər onu görməməyə qərar verə bilərlər. Belə veb-brauzerlərin əksəriyyəti troyanlara və zərərli proqramlara daxildir.
  • Bir Robots.txt faylının görünür olması üçün üst səviyyəli veb-sayt kataloqunda olmalıdır.
  • "robots.txt" simvolları halda həssasdır. Nəticədə, hər hansı bir şəkildə dəyişməməlisiniz, o cümlədən bəzi aspektlərin kapitallaşdırılması.
  • "/robots.txt" ictimai xarakter daşıyır. Hər hansı bir URL-nin hər hansı bir məzmununa əlavə edilərək bu məlumatı tapa bilərik. Fərqli məlumatları və ya gizli qalmasını istədikləri səhifələri endirməməlisiniz.
November 29, 2017
Sement: Darodar Robots.txt'yi necə bağlamaq olar?
Reply