آموزش فایل robots.txt و چیست؟

فایل robots.txt چیست؟

از فایل robots.txt برای مدیریت ترافیک مصرفی توسط ربات ها استفاده می شود بسته به نوع فایل شما می توانید از جدول زیر راهنمایی اولیه را دریافت کنید:

فایل robots.txt چه محدودیت هایی دارد؟

باید بدانید در استفاده از robots.txt محدودیت هایی دارید که باید دقیق آشنا بشید با این محدودیت ها تا دچار اشتباه نشوید این 3 گزینه را دقیق به یاد داشته باشید:

• دستورات robots.txt ممکن است توسط همه موتورهای جستجو پشتیبانی نشود. دستورالعمل‌های موجود در فایل‌های robot.txt نمی‌توانند رفتار خزنده را در سایت شما اعمال کنند. این به خزنده بستگی دارد که از آنها اطاعت کند. در حالی که Googlebot و سایر خزنده‌های وب معتبر از دستورالعمل‌های این فایل پیروی می‌کنند، خزنده‌های دیگر ممکن است این کار را نکنند. بنابراین، اگر می‌خواهید اطلاعات را از خزنده‌های مخفی نگه دارید، بهتر است از روش‌های مسدودسازی دیگر مانند محافظت از فایل‌های خصوصی با رمز عبور روی سرور خود استفاده کنید.
• هر خزنده ای ممکن است سینتکس کد شما را متفاوت تفسیر کند اگرچه خزنده‌های وب معتبر دستورالعمل‌های موجود در فایل robots.txt را قبول می‌کنند، اما هر خزنده ممکن است دستورالعمل‌ها را متفاوت تفسیر کند. شما باید سینتکس مناسب برای آدرس دادن به خزنده های وب مختلف را بدانید زیرا ممکن است برخی دستورالعمل های خاصی را درک نکنند.
• url ای که در robots.txt نوایندکس شده است، در صورت لینک به سایت‌ یا urlهای دیگر، همچنان می‌تواند ایندکس شود. در حالی که Google محتوای مسدود شده توسط یک فایل robots.txt را نمی‌خزد یا فهرست‌بندی نمی‌کند، اما اگر از مکان‌های دیگر در وب لینک داده شده باشد، ممکن است URL غیرمجاز را پیدا کرده و فهرست‌بندی کند. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات عمومی در دسترس مانند متن انکرتکست در پیوندهای صفحه همچنان می توانند در نتایج جستجوی Google ظاهر شوند. برای جلوگیری از نمایش صحیح URL خود در نتایج جستجوی Google، از فایل های سرور خود با رمز عبور محافظت کنید ، باز هم تاکید میکنیم از متای noindex برای حذف کامل استفاده کنید.

آموزش ساخت فایل robots.txt

برای ساخت فایل robots.txt و دسترسی موتورهای جستجو این فایل باید در ریشه اصلی سایت قرار بگیرد یعنی نقطه شروع سایت شما از پوشه ای در هاست یا سرور فعلیتون مثلا سایت jobteam.ir آدرس سایت فعلی ما است که از طریق آدرس jobteam.ir/robots.txt قابل دسترسی خواهد بود. دقت کنید این فقط یک فایل ساده با پسوند txt است.

همه مسیرها در حالت عادی برای ربات ها قابل دسترسی هستند مگر اینکه شما با دستوراتی ساده قوانینی برای دسترسی ایجاد کنید در مثال ذیل فایل robots.txt با دو قانون ساده را مشاهده می کنید:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://jobteam.ir/sitemap.xml

در کد بالا Googlebot (خط 1 و 2) مجاز به خزیدن در url ای که با nogooglebot شروع می شود نخواهد بود در دستور دوم (خط 3 و 4) سایر ربات ها قادر به خزیدن در هر نوع url ای هستند که اگر نوشته نمی شد هم همین تاثیر را داشت خط آخر نیز فایل نقشه سایت را به خزنده ها معرفی می کند.

مراحل ساخت و تست فایل robots.txt

1. فایلی به نام robots.txt ایجاد کنید (دقت کنید دقیقا نام باید robots باشد با پسوند فایل txt)
2. قوانین مدنظر خود را به فایل اضافه کنید
3. این فایل را در مسیر اصلی سایت خود اضافه کنید
4. در آخر فایل را تست کنید تا از درستی قوانین خود مطلع شوید

در cms هایی مثل وردپرس و wix این فایل را خود cms میسازد و از طریق خود cms به راحتی قابلیت تغییرات هست اما باز هم می توانید به صورت دستی تغییرات را از طریق هاست به این فایل اعمال کنید.

ساخت فایل robots.txt با پسوند txt

برای ساخت فایل robots.txt می توانید از ویرایشگر های مختلفی استفاده کنید مثل vi،notepad و ... که برای موتورهای جستجو نیز معتبر خواهد بود به هیچ عنوان از برنامه هایی مثل word و دیگر واژه پردازها استفاده نکنید چون این برنامه ها نحوه کدگزاری متفاوتی دارند و در برخی موارد کاراکترهای به فایل اضافه می کنند که ربات ها را دچار مشکل خواهد کرد

حتما دقت کنید که فایل را با کدگزاری UTF-8 ایجاد کنید.

قوانین فایل robots.txt

• نام فایل باید robots.txt باشد.
• فقط یک فایل به این اسم می توانید داشته باشید
• باید در مسیر اصلی سایت قرار داشته باشد
• پورت و ساب دامنه ها می توانند برای خود فایل robots.txt داشته باشند
• فایل شما فقط بر روی پورت فعلی یا ساب دامینی که اعمال کردید قوانین را اعمال خواهد کرد و برای ساب دامین ها و پورت های دیگر بی اثر خواهد بود
• فایل robots.txt باید یک فایل متنی کدگذاری شده UTF-8 باشد (که شامل ASCII است). Google ممکن است نویسه‌هایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد، و احتمالاً قوانین robot.txt را نامعتبر می‌کند.

فرمت فایل robots.txt

فایل robots.txt باید یک فایل متنی ساده با کدگذاری UTF-8 باشد و خطوط باید با CR یا CR/LF یا LF از هم جدا شوند.

Google خطوط نامعتبر را در فایل‌های robots.txt، از جمله علامت ترتیب بایت یونیکد (BOM) در ابتدای این فایل نادیده می‌گیرد و فقط از خطوط معتبر استفاده می‌کند. به عنوان مثال، اگر محتوای دانلود شده به جای قوانین robots.txt HTML باشد، گوگل سعی می کند محتوا را تجزیه کند و قوانین را استخراج کند و هر چیز دیگری را نادیده بگیرد.

به طور مشابه، اگر رمزگذاری نویسه فایل robots.txt UTF-8 نباشد، Google ممکن است نویسه‌هایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد و قوانین این فایل را نامعتبر کند.

Google در حال حاضر محدودیت اندازه فایل robots.txt را 500 کیلوبایت (KiB) اعمال می کند. محتوایی که پس از حداکثر اندازه فایل است نادیده گرفته می شود. می‌توانید با ادغام دستورالعمل‌هایی که منجر به ایجاد یک فایل بزرگ‌تر می‌شود، اندازه فایل را کاهش دهید. به عنوان مثال، مطالب حذف شده را در یک فهرست جداگانه قرار دهید.

سینتکس و قوانین دستورات robots.txt برای ربات گوگل

فایل robots.txt یکسری قوانین در نوشتن دستورات دارد این دستورات برای ربات های موتورهای جستجو قابل هضم و اجراست خطوط معتبر robot.txt از یک فیلد، یک کولون و یک مقدار تشکیل شده است. فضاهای خالی اختیاری هستند، اما برای بهبود خوانایی توصیه می شود. فاصله در ابتدا و انتهای خط نادیده گرفته شود 

گوگل از فیلدهای زیر پشتیبانی می کند:

• user-agent: مشخص می کند که قوانین روی کدام خزنده اعمال می شود.
• allow: یک مسیر URL که ممکن است خزیده شود.
• disallow: یک مسیر URL که ممکن است خزیده نشود.
• sitemap: URL کامل نقشه سایت.

دستورالعمل های ذیل را برای این مورد در نظر بگیرید:

• یک فایل robots.txt از یک یا چند مجموعه دستور تشکیل شده است.
• هر مجموعه دستور از چندین قانون یا دستورالعمل (دستورالعمل) تشکیل شده است، یک دستورالعمل در هر خط. هر مجموعه دستور با یک User-agent خط شروع می شود که هدف مجموعه دستور ها را مشخص می کند.
• یک مجموعه دستور اطلاعات زیر را می دهد:
  • مجموعه دستور برای چه کسانی اعمال می شود (user-agent).
  • کدام دایرکتوری ها یا فایل هایی که user-agent می تواند به آن دسترسی داشته باشد.
  • کدام دایرکتوری ها یا فایل هایی که user-agent نمی تواند به آن دسترسی داشته باشد.
• خزنده ها مجموعه دستور ها را از بالا به پایین پردازش می کنند. یک user-agent می تواند تنها با یک مجموعه قوانین مطابقت داشته باشد، که اولین و خاص ترین مجموعه دستوری است که با یک user-agent مشخص مطابقت دارد.
• فرض پیش‌فرض این است که یک user-agent می‌تواند هر صفحه یا فهرستی را که توسط یک disallow قانون مسدود نشده است بخزد.
• قواعد دستوری به حروف کوچک و بزرگ حساس هستند. به عنوان مثال، disallow: /file.asp در مورد اعمال می شود https://jobteam.ir/file.asp، اما نه https://jobteam.ir/FILE.asp.
• با علامت # می توانید کامنت بنویسید در واقع شروع کامنت رو نشون میده و هیچ تاثیری برای ربات ها نخواهد داشت

دستوراتی که ربات گوگل در فایل robots.txt پشتیبانی می کند:

user-agent : [الزامی، یک یا چند مورد در هر مجموعه دستور] این دستورالعمل نام انجین خودکار شناخته شده به عنوان خزنده موتور جستجو را مشخص می کند که این قانون برای آن اعمال می شود. این اولین خط برای هر مجموعه دستور است. استفاده از یک ستاره (*) با همه خزنده ها به جز خزنده های مختلف AdsBot که باید به صراحت نامگذاری شوند مطابقت دارد. مثلا:

# Example 1: Block only Googlebot
User-agent: Googlebot
Disallow: /

# Example 2: Block Googlebot and Adsbot
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /

# Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly)
User-agent: *
Disallow: /

Sitemap: https://jobteam.ir/sitemap.xml
Sitemap: http://www.jobteam.ir/sitemap.xml

user-agent: googlebot-news
disallow: /fish

user-agent: *
disallow: /carrots

user-agent: googlebot-news
disallow: /shrimp

user-agent: googlebot-news
disallow: /fish
disallow: /shrimp

user-agent: *
disallow: /carrots

user-agent: a
sitemap: https://example.com/sitemap.xml

user-agent: b
disallow: /

user-agent: a
user-agent: b
disallow: /

بعد از بارگذاری این فایل در هاست خود نیازی به هیچ فعالیت دیگری برای معرفی به گوگل ندارید خود این موتور جستجو در همین مسیر استاندارد آپدیت های شما را نیز دریافت خواهد کرد.

گروه بندی خطوط و قوانین در robots.txt

می توانید قوانینی را که برای چندین انجین اعمال می شود با تکرار user-agent خطوط برای هر خزنده، گروه بندی کنید. مثلا:

user-agent: a
disallow: /c

user-agent: b
disallow: /d

user-agent: e
user-agent: f
disallow: /g

user-agent: h

در این مثال چهار گروه قانون متمایز وجود دارد:

• یک گروه برای انجین کاربر "a".
• یک گروه برای انجین کاربر "b".
• یک گروه برای عوامل کاربر "e" و "f".
• یک گروه برای انجینکاربر "h".

ترتیب تقدم برای انجین های کاربران در فایل robots.txt

فقط یک گروه برای یک خزنده خاص معتبر است. خزنده‌های Google با یافتن گروهی با خاص‌ترین انجین کاربر که با انجین کاربر خزنده مطابقت دارد، در فایل robots.txt گروه درستی از قوانین را تعیین می‌کنند. گروه های دیگر نادیده گرفته می شوند. همه متن‌های غیر منطبق نادیده گرفته می‌شوند (به عنوان مثال، هر دو googlebot/1.2 و *googlebot معادل هستند با googlebot). ترتیب گروه ها در این فایل بی ربط است.

اگر بیش از یک گروه خاص برای یک انجین کاربر اعلام شده باشد، همه قوانین از گروه های قابل اعمال برای انجین کاربر خاص به صورت داخلی در یک گروه واحد ترکیب می شوند. گروه های خاص انجین کاربر و گروه های عمومی (*) با هم ترکیب نمی شوند. مثال ها:

تطبیق فیلدهای user-agent در فایل robots.txt

user-agent: googlebot-news
(group 1)

user-agent: *
(group 2)

user-agent: googlebot
(group 3)

به این ترتیب خزنده ها گروه مربوطه را انتخاب می کنند:

قوانین دستوری برای فایل robots.txt

User-agent: *
Disallow: /

User-agent: *
Disallow: /calendar/
Disallow: /junk/
Disallow: /books/fiction/contemporary/

User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /

User-agent: Unnecessarybot
Disallow: /

User-agent: *
Allow: /

User-agent: *
Disallow: /jquery.html
Disallow: /jquery/jquery-new.html

User-agent: *
Disallow: /
Allow: /public/

User-agent: Googlebot-Image
Disallow: /img/logo.png

​
User-agent: Googlebot-Image
Disallow: /

​

User-agent: Googlebot
Disallow: /*.gif$

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Googlebot
Disallow: /*.xls$

مطابقت URL بر اساس مقادیر مسیر در robots.txt

Google از مقدار مسیر در دستورالعمل‌ها allow و disallow به‌عنوان مبنایی برای تعیین اینکه آیا یک قانون برای یک URL خاص در یک سایت اعمال می‌شود یا خیر، استفاده می‌کند. این کار با مقایسه قاعده با مؤلفه مسیر URL که خزنده سعی در واکشی آن را دارد کار می کند.

گوگل، بینگ و سایر موتورهای جستجوی اصلی از شکل محدودی از حروف عام برای مقادیر مسیر پشتیبانی می کنند. این کاراکترهای wildcard عبارتند از:

• * 0 یا بیشتر از هر کاراکتر معتبر را مشخص می کند.
• $ انتهای URL را مشخص می کند.

ترتیب تقدم برای قوانین فایل robots.txt

هنگام تطبیق قوانین robots.txt با URL ها، خزنده ها از خاص ترین قانون بر اساس طول مسیر قانون استفاده می کنند. در صورت وجود قوانین متناقض، از جمله مواردی که دارای حروف عام (*) هستند، Google از حداقل قانون محدودکننده استفاده می کند.

مثال‌های زیر نشان می‌دهند که خزنده‌های Google کدام قانون را روی یک URL خاص اعمال می‌کنند.

allow: /p
disallow: /

allow: /folder
disallow: /folder

allow: /page
disallow: /*.htm

allow: /page
disallow: /*.ph

allow: /$
disallow: /

allow: /$
disallow: /

نحوه دانلود robots.txt

به روش های مختلفی می توانید این فایل را دانلود کنید:

• وارد مسیر فعلی این فایل شوید در سایت جاب تیم این آدرس https://jobteam.ir/robots.txt میشه بعد میتونید با کلید های ctrl + s را بزنید این فایل توسط مرورگر با پسوند txt قابل ذخیره هستش
• با استفاده از دستور ذیل در ترمینال لینوکس اقدام به دانلود این فایل کنید (با ابزار گیت در ویندوز هم می توانید این دستور را اجرا کنید)

curl https://jobteam.ir/robots.txt -o robots.txt

• برای دانلود یک کپی از این فایل از تستینگ robots.txt در سرچ کنسول استفاده کنید .
  1. روی ارسال در گوشه سمت راست پایین ویرایشگر robots.txt کلیک کنید. این عمل یک گفتگوی ارسال را باز می کند.
  2. کد خود را از صفحه robots.txt تستر با کلیک روی دانلود در کادر گفتگوی ارسال دانلود کنید.

به روز رسانی robots.txt برای موتورهای جستجو

ربات های گوگل هر 24 ساعت یکبار عملیات خزیدن این فایل را انجام می دهند اگر نیاز دارید سریعتر این فایل توسط گوگل بازبینی شود مراحل ذیل را در robots.txt tester انجام دهید:

1. روی مشاهده نسخه آپلود شده (View uploaded version) کلیک کنید تا ببینید robots.txt زنده شما نسخه ای است که می خواهید Google آن را بخزد.
2. روی ارسال (Submit) کلیک کنید تا به Google اطلاع دهید که تغییراتی در فایل robots.txt شما ایجاد شده است و از Google درخواست کنید آن را بخزد.
3. با بازخوانی صفحه در مرورگر خود برای به روز رسانی ویرایشگر ابزار و دیدن کد این فایل به صورت زنده، بررسی کنید که جدیدترین نسخه شما با موفقیت توسط Google خزیده شده است. پس از بازخوانی صفحه، همچنین می‌توانید روی منوی کشویی کلیک کنید تا مُهر زمانی را که Google برای اولین بار آخرین نسخه فایل robots.txt شما را مشاهده کرده است، مشاهده کنید.

محل ذخیره سازی و محدوده اعتبار یک فایل robots.txt

شما باید فایل robots.txt را در دایرکتوری سطح بالای یک سایت، روی یک پروتکل پشتیبانی شده قرار دهید. آدرس این فایل (مانند سایر URL ها) به حروف کوچک و بزرگ حساس است. در مورد جستجوی گوگل، پروتکل های پشتیبانی شده HTTP، HTTPS و FTP هستند. در HTTP و HTTPS، خزنده ها این فایل را با یک درخواست غیرشرطی HTTP واکشی می کنند مثل درخواست از نوع GET. در FTP، خزنده ها از یک استاندارد استفاده می کنند RETR (RETRIEVE).

قوانین فهرست شده در فایل robots.txt فقط برای میزبان، پروتکل و شماره پورتی که این فایل در آن میزبانی می شود اعمال می شود.

نمونه هایی از آدرس های معتبر و غیرمعتبر در فایل robots.txt

جدول زیر شامل نمونه‌هایی از آدرس‌های اینترنتی robots.txt و مسیرهای URL است که برای آنها معتبر هستند. ستون یک شامل URL است و ستون دو شامل دامنه‌هایی است که آن برای آنها اعمال می‌شود و نمی‌خواهد.

خطاها و کدهای وضعیت http برای فایل robots.txt

هنگام درخواست فایل robots.txt، کد وضعیت HTTP پاسخ سرور بر نحوه استفاده از این فایل توسط خزنده‌های Google تأثیر می‌گذارد. جدول زیر نحوه برخورد ربات Googlebot با این فایل‌ها را برای کدهای وضعیت مختلف HTTP خلاصه می‌کند.

معمولا صفحاتی که در این فایل قرار میگیرند آدرس هایی هستند که امکان ایجاد آدرس های متفاوتی را ایجاد میکنن، مثل صفحات پنل ادمین، سرچ، فیلتر، utm و...

نکته: یک اشتباه رایج که در پروژه ها تکرار میشود این است که کاراکتر ؟ رو توی فایل برای محدود کردن صفحات سرچ محدود می کنند!
این کار اشتباهه چون خیلی از فایل های css, js توی آدرسشون علامت سوال هست و با این کار اونا هم محدود میشن (البته در هر سایتی هم صدق نمیکنه)

نمونه فایل robots.txt سایت جاب تیم

در سایت جاب تیم بخش هایی رو disallow کردیم مثلا مسیر سبد خرید، که در سایت ما بر چند مورد اضافه شده و ما همه مسیرهای ختم شده به سبد خرید رو disallow کردیم بخش بعدی مسیر جستجو هست و بخش آخر مسیر public که نمیخایم این مسیر هم توسط کراولرها بررسی شود:

user-agent: *
disallow: /Cart
disallow: /Cart/*
disallow: /CartPackage
disallow: /CartPackage/*
disallow: /CartCourse
disallow: /CartCourse/*
disallow: *?*
disallow: /search?q=*
disallow: /public
disallow: /public/*

Sitemap: https://jobteam.ir/sitemap.xml

آخر سر هم حتما فایل robots.txt خودتون رو توی robots.txt tester گوگل تست کنید تا از محدود شدنشون مطمئن بشید. 

مثال از feed ها در robots.txt

اگر نگران این مورد هستید که feed ها باعث هدر رفتن بودجه خزش سایت شما میشه این دستور رو توی فایل robots.txt سایتتون بزارین : 

Disallow : *feed*

جلوگیری از کراول کل سایت توسط موتورهای جستجو با robots

گاهی نیاز داریم در سایت های تخصصی و یا در سایت هایی که امکان نوایندکس در قالب وجود ندارد جلوی خزش ربات موتور جستجو رو بگیریم در مثال ذیل نمونه کدی برای اینکار برای شما آماده شده است:

User-agent: * 
Disallow: /

جلوگیری از کراول یک آدرس صفحه در سایت با فایل robots.txt

گاهی نیاز هست یک آدرس خاص را برای کراول موتورهای جستجوی محدود کنیم این عمل عموما بخاطر عدم دسترسی به حذف یا ریدایرکت صفحه مورد نظر اتفاق خواهد افتاد. که در مثال ذیل این روش به صورت ساده برای شما آماده شده است تا مفهوم کاملتری درک کنید:

user-agent: *

Disallow: /index_test.php
Disallow: /products/test_product.html

برای آشنایی بیشتر فرض کنید همین صفحه robots.txt در جاب تیم را می خواهیم برای موتورهای جستجو غیرقابل کراول کنیم پس به صورت ذیل عمل خواهیم کرد:

User-agent: * 
Disallow: ProductUser/752-robots$

جلوگیری از خواندن اطلاعات سایت توسط ربات های چت جی پی تی با robots.txt

با استفاده از robots.txt وب سایتها میتونن از خوانده شدن محتواشون توسط چت جی بی تی (chat gpt) جلوگیری کنند.

User-agent: GPTBot 
Disallow: /