کراول باجت یا بودجه خزش چیست؟ ترفندهای بهینه سازی آن (crawl budget)

کراول باجت (crawl budget) یا بودجه خزش چیست؟

در گذشته عبارت کراول باجت یا بودجه خزش، یک عمل چرخش در قلمرو سئو بوده است، به گونه‌ای که کسی تعریف درستی از این عبارت را تا سال ۲۰۱۷، ارائه نداده بود. در سال ۲۰۱۷، آقای  Gary Illyes، معنی کراول باجت را در بلاگ خود به ۲ فاکتور مهم مانند crawl demand و crawl limit وابسته دانست که در ادامه آن‌ها را توضیح خواهیم داد. به صورت کلی، کراول باجت تعدادی از صفحاتی هستند که ربات گوگل آن‌ها را برای ایندکس کردن در بازه زمانی مشخصی خزش می‌کند. بهینه سازی crawl budget، مراحلی هستند که به صورت خاص می‌توان برای افزایش نرخ بازدید ربات‌های موتورهای جستجو در آن صفحات انجام داد. هر چه تعداد بازدید یک صفحه بیشتر باشد، آپدیت و بروزرسانی آن صفحه برای خزیدن بالاتر می‌رود. اما شاید بپرسید آیا این مورد سایت فاکتور تاثیرگذاری در بهینه سازی سایت است؟ در پاسخ می‌گوییم سایت شما زمانی با کلمات کلیدی مختلف در صفحات نتایج گوگل نمایش داده می‌شود که این صفحات از سوی ربات‌های گوکل ایندکس شده باشند. می‌توانید راه‌های افزایش ایندکس صفحات در گوگل را در جاب تیم آموزش ببینید.

چرا کراول باجت برای سئو مهم است؟

به صورت خلاصه می‌توان گفت اگر گوگل نتواند یک صفحه‌ را ایندکس کند، نمی‌تواند به آن صفحه رتبه‌ای را اختصاص دهد. اگر تعداد صفحات از کراول باجت بیشتر باشند، تعدادی از صفحات ایندکس نمی‌شوند. نیازی نیست نگران کرال باجت باشید، زیرا گوگل یکی از بهترین موتورهای جستجو برای پیدا کردن و ایندکس کردن صفحات یک سایت است. مواردی وجود دارد که به هنگام کرال باجت باید به آن توجه داشت:

• اداره کردن یک سایت بزرگ: اگر یک سایت بزرگ با +۱۰K دارید، ممکن است گوگل در پیدا کردن تمامی صفحات دچار مشکل می‌شود.
• اضافه کردن دسته‌ای از صفحات: اگر اخیرا بخش جدیدی به سایت خود اضافه کرده‌اید که دارای صفحات زیادی است، قطعا می‌خواهید بدانید که آیا این صفحات ایندکس شده‌اند یا نه.
• داشتن تعداد زیادی ریدایرکت: داشتن ریدایرکت زیاد، باعث از دست رفتن کراول باجت خواهد شد.

در ادامه این مطلب از جاب تیم، مواردی که برای بهینه سازی کرال باجت و افزایش رنک سایت نیاز هستند را مطالعه خواهید نمود.

بهترین ترفندهای افزایش نرخ کراول باجت وب سایت

در این بخش ترفندهای حرفه‌ای افزایش نرخ کرال باجت را بررسی می‌کنیم تا به سادگی بتوانید بهترین استفاده را از بودجه خزش وب سایت‌ خود به دست آورید.

1. بهبود سرعت
   اگر سرعت لود صفحات مهم سایتتان پایین بیاید کراولرهای گوگل هنگامی که به سایتتان سر می‌زنند معطل می‌شوند و بدون اینکه صفحات هدف مهم سایت را بررسی کنند آن را ترک خواهند کرد، برای جلوگیری از این مشکل باید هر چه سریع‌تر راه‌حلی برای بهینه‌سازی سرعت سایتتان پیدا کنید.
   برخی از کارهایی که برای افزایش سرعت سایتتان می‌توانید انجام دهید شامل موارد زیر می‌باشند:

• استفاده از هاست خوب
• به کار بردن CDN
• بهینه‌سازی تصاویر
• کاهش درخواست ریکوئست‌ها
• فعال‌سازی لیزی لود

2. زنجیره ریدایرکت ممنوع
   یکی از مهم‌ترین دلایلی که باعث می‌شود بودجه خزش در سایت هدر رود، وجود داشتن زنجیره ریدایرکت است. به جای ایجاد زنجیره ریدایرکت یا همان ریدایرکت چنج را از صفحات مبدا به مقصد به صورت مسقیم ریدایرکت کنید تا کراولرهای گوگل صفحه بتوانند سریع‌تر به مقصد مورد نظر برسند.

3. پیدا کردن لینک های شکسته
   لینک‌‌های شکسته یا بروکن لینک‌‌ها، لینک‌‌های داخلی و خارجی هستند که به مقصدی که دیگر وجود ندارد لینک‌ داده‌ شده‌‌اند، وجود لینک‌‌های شکسته در سایت، باعث می‌شود که بودجه خزش وب سایت هدر رود، پس بهتر است سریع‌تر دست به کار شوید و با استفاده از بروکن لینک چکر، لینک‌‌های شکسته سایت‌ خود را پیدا کنید و به حذف آن‌ها بپردازید.
4. انتخاب هاست مناسب
   هاست نقش قلب تپنده یک سایت را بر عهده دارد، برای انتخاب هاست باید میزبان وبی را انتخاب شود که دارای کم‌ترین میزان ارور و داون شدن باشد، اگر از هاست اشتراکی استفاده ‌کنید تعداد هاست‌هایی که روی سرور اصلی فعال هستند بر میزان کراول باجت تاثیرگذار است. پیشنهاد جاب تیم این است که قبل از خرید هاست دقت و تحقیق کافی داشته باشید تا خیالتان بابت کیفیت هاست و خدمات پشتیبانی آن راحت باشد و در آینده با مشکلات کرال باجت مواجه نشوید.
5. بهینه سازی سایت مپ
   سایت مپ، برای کراولرهای گوگل مانند نقشه راهنمایی برای پیدا کردن مسیر حرکت عمل می‌کند. وجود آدرس‌‌هایی در سایت مپ که غیر ضروری هستند مانند صفحات حذف شده با ارور 404، برگه‌‌های نو ایندکس  و … باعث می‌شوند بودجه خزش سایت هدر برود.
   پس سری به فایل سایت مپ سایتتان بزنید و آن را بهینه‌سازی کنید تا از هدر رفت آن جلوگیری کنید.
6. ساختار لینک داخلی اصولی
   لینک‌‌های داخلی در ساختار سایت مانند یک پل ارتباط صفحات مختلف سایت عمل می‌کنند. بهتر است همیشه از لینک‌های داخلی با انکرتکست‌های متنوع، به شکل اصولی و درست در ساختار سایت‌ خود استفاده کنید، این لینک‌‌ها به کراولرهای گوگل برای چرخ زدن درست و اصولی در صفحات مختلف سایت کمک می‌کنند.
7. لینک سازی خارجی حرفه‌ای
   علاوه بر لینک‌‌های داخلی یکی از موارد کمک‌کننده کراول باجت سایت، لینک‌سازی خارجی است. پیشنهاد می‌شود با پیاده‌سازی یک فرایند لینک‌سازی خارجی حرفه‌‌ای با کمک لینک‌سازی در سایت‌‌های معتبر یا انتشار ریپورتاژ آگهی در رسانه‌‌هایی با دامنه قوی، اعتبار سایت‌ خود را نزد گوگل بالاتر ببرید تا به میزان بالاتری از کرال باجت برسید.

البته نباید فراموش کنید که فرایند لینک‌سازی بیشتر به ایندکسینگ صفحات مختلف سایت کمک می‌کند، به همین دلیل از این راهکار باید به عنوان یک مکمل قوی در کنار دیگر ترفندهای بهینه‌سازی کراول باجت مانند افزایش سرعت، بهینه‌سازی سایت مپ و …. استفاده کرد.

8. رفع مشکل زامبی پیج ‌ها
   زامبی پیج‌‌ها صفحاتی در داخل سایت هستند که هیچ‌گونه ورودی از گوگل ندارند و کاربران هم با آن‌ها کاری ندارند. در واقع این صفحات هیچ فایده‌ای برای سایت ندارند و تنها آن را شلوغ می‌کنند و قدرت سایت را نیزکاهش می‌دهند، برای افزایش میزان کرال باجت سایت‌ خود باید از شر این صفحات نجات پیدا کنید.
   یک راه حل این است که با کمک آپدیت محتوای این صفحات یا ایجاد لینک داخلی از دیگر بخش‌ها آن‌ها را از حالت زامبی پیج بودن خارج کنید، اما اگر هیچ راهی برای تبدیل کردن این صفحات به محتوای مفید ندارید، جاب تیم پیشنهاد می‌کند که با روش‌هایی مانند حذف دائمی و ریدایرکت ۳۰۱ برای همیشه با زامبی‌ پیج‌های سایتتان رهایی یابید.
9. تولید محتوای یونیک
   کراولرهای گوگل به هیچ وجه محتوای کپی در سایت را دوست ندارند به همین دلیل بعد از مشاهده چنین محتواهایی سایت را ترک می‌‌کنند و آن را ایندکس نیز نمی‌کنند، اگر به فکر بهینه سازی نرخ کراول باجت سایت‌ خود هستید بهتر است از همین امروز قید تولید محتوای کپی و بی‌کیفیت را بزنید و سعی کنید بهترین محتوای یونیک باکیفیت را منتشر کنید.
10. از تگ نو ایندکس کمک بگیرید
    بعضی مواقع در ساختار سایت، برخی از صفحات وجود دارند که نیازی به ایندکس شدن در گوگل ندارند. صفحاتی مانند درباره ما، تماس با ما و …  از این نوع صفحات هستند که با کمک تگ نوایندکس می‌توان دسترسی خزنده‌های گوگل به این صفحات را ببندید و در مصرف کرال باجت سایت‌ صرفه‌جویی کنید.

11. انتشار محتوا در زمان منظم
    یکی از روش‌هایی که باعث کمک به مدیریت بهتر نرخ کراول باجب  سایت به صورت غیر مستقیم می‌شود، انتشار محتوا با زمان‌‌بندی منظم است. این ترفند برای بالا بردن سرعت ایندکس محتواهای تولید شده توسط  سایت نیز کارساز است و فرقی ندارد که در چه روز و ساعتی می‌خواهید به انتشار محتوا بپردازید، زمان‌بندی منظم به بهبود وضعیت ایندکس محتواهای سایتتان بسیار کمک می‌کند.
12. صفحات یتیم را دریابید
    صفحاتی از سایت که هیچ لینک داخلی از آن‌ها خارج نشده و هیچ لینکی از دیگر صفحات نیز دریافت نکرده‌‌اند صفحات یتیم نامیده می‌شوند، با استفاده از ابزار اسکمرینگ فراگ می‌توانید به سادگی این نوع صفحات را پیدا کنید. برای استفاده بهتر از کراول باجت سایت‌ خود به فکر این صفحه‌‌ها باشید و با ایجاد لینک داخلی و خارجی به آپدیت آن‌‌ها بپردازید.
13. استفاده مناسب از robots.txt
    فایل robots.txt یکی از راه حل های کنترل بودجه خزش است ابتدا سعی کنید به دستورات این فایل مسلط شوید سعی کنید مسیرهایی که به محتوایی مفید از سایت برای کاربر ارائه نمیکنند را با این فایل از خزش جلوگیری کنید.