Crawl Budget یا بودجه خزش به میزان توجه و منابعی گفته می‌شود که موتور جستجوی گوگل برای بررسی و خزش صفحات یک وب‌سایت در یک بازه زمانی اختصاص می‌دهد.

Googlebot نمی‌تواند تمام صفحات تمام سایت‌ها را بدون محدودیت و در هر زمانی بررسی کند. بنابراین گوگل برای خزش وب از منابع محاسباتی خود به شکل بهینه استفاده می‌کند.

این موضوع برای همه سایت‌ها به یک اندازه مهم نیست.

اگر یک سایت چند ده یا چند صد صفحه داشته باشد، معمولاً نیازی نیست مدیر سایت دائماً نگران Crawl Budget باشد. اما در سایت‌های بزرگ، فروشگاه‌های اینترنتی، سایت‌هایی با هزاران یا میلیون‌ها URL و سایت‌هایی که صفحات زیادی به‌صورت خودکار تولید می‌کنند، مدیریت خزش اهمیت بیشتری پیدا می‌کند.

قبل از هر چیز؛ Crawl با Indexing چه تفاوتی دارد؟

یکی از اشتباهات رایج این است که Crawling و Indexing را یک فرآیند بدانیم.

در حالی که این دو مرحله با یکدیگر تفاوت دارند.

Crawling یعنی Googlebot صفحات و URLهای سایت را پیدا و بررسی می‌کند.

Indexing یعنی گوگل پس از بررسی یک صفحه، در صورت مناسب بودن شرایط، اطلاعات آن را در فهرست خود قرار می‌دهد.

بنابراین:

Crawling ≠ Indexing

ممکن است گوگل یک URL را Crawl کند، اما آن صفحه در نهایت در نتایج جستجو ایندکس نشود.

اگر می‌خواهید این فرآیند را از ابتدا بهتر بشناسید، پیشنهاد می‌کنیم مقاله «گوگل چگونه سایت‌ها را Crawl و Index می‌کند؟» را نیز مطالعه کنید.

چرا Crawl Budget به وجود آمده است؟

گوگل باید میلیاردها صفحه وب را بررسی کند. انجام این کار به منابع پردازشی، پهنای باند و زمان نیاز دارد.

از طرف دیگر، خزش بیش از حد یک سایت نیز می‌تواند فشار غیرضروری به سرور وارد کند.

به همین دلیل گوگل تلاش می‌کند بین دو موضوع تعادل ایجاد کند:

بررسی صفحات مهم سایت

و

جلوگیری از ایجاد بار غیرضروری روی سرور

در نتیجه، Crawl Budget را می‌توان بخشی از سیستم مدیریت منابع خزش گوگل دانست.

آیا Crawl Budget برای همه سایت‌ها مهم است؟

خیر.

این یکی از مهم‌ترین نکاتی است که باید درباره Crawl Budget بدانیم.

اگر سایت شما:

• تعداد صفحات محدودی دارد
• ساختار ساده‌ای دارد
• URLهای بی‌نهایت تولید نمی‌کند
• سرور پایدار و مناسبی دارد
• صفحات مهم آن به‌درستی قابل دسترسی هستند

احتمالاً نیازی نیست زمان زیادی را صرف مدیریت Crawl Budget کنید.

اما موضوع در سایت‌های بزرگ‌تر متفاوت است.

Crawl Budget بیشتر برای این سایت‌ها اهمیت دارد:

• فروشگاه‌های اینترنتی بزرگ
• سایت‌های خبری
• سایت‌های آگهی
• سایت‌های چندزبانه بزرگ
• سایت‌هایی با هزاران صفحه
• سایت‌هایی که URLهای زیادی به‌صورت خودکار تولید می‌کنند
• سایت‌هایی با پارامترهای متعدد در URL
• سایت‌هایی با صفحات تکراری یا کم‌ارزش فراوان

چه عواملی روی Crawl Budget تأثیر می‌گذارند؟

گوگل در مستندات خود درباره خزش، دو مفهوم مهم را مطرح می‌کند که هنگام صحبت درباره Crawl Budget باید به آنها توجه کرد:

۱. Crawl Rate Limit

این محدودیت به این موضوع مربوط است که Googlebot با چه سرعتی می‌تواند سایت را Crawl کند.

اگر سرعت خزش بیش از حد بالا باشد، ممکن است فشار بیشتری به سرور وارد شود.

بنابراین گوگل باید سرعت خزش را با شرایط سایت هماهنگ کند.

۲. Crawl Demand

گوگل فقط به ظرفیت خزش نگاه نمی‌کند؛ بلکه میزان نیاز به خزش صفحات را نیز در نظر می‌گیرد.

برای مثال، صفحاتی که:

• مرتب تغییر می‌کنند
• محبوب‌تر هستند
• اهمیت بیشتری دارند
• یا محتوای آنها به‌روزرسانی شده است

ممکن است نیاز بیشتری به خزش داشته باشند.

سرعت و وضعیت سرور چه ارتباطی با Crawl Budget دارد؟

یکی از عوامل مهم، توانایی سرور برای پاسخ‌گویی به درخواست‌ها است.

اگر سرور مرتباً با خطا مواجه شود یا پاسخ‌گویی آن بسیار کند باشد، Googlebot ممکن است سرعت خزش خود را کاهش دهد تا فشار بیشتری به سرور وارد نشود.

بنابراین عملکرد فنی سایت فقط مسئله تجربه کاربر نیست؛ بلکه می‌تواند روی نحوه خزش موتورهای جستجو نیز اثر بگذارد.

مواردی مانند:

• خطاهای 5xx
• زمان پاسخ‌گویی بسیار بالا
• قطعی‌های مکرر
• مشکلات DNS
• ظرفیت ناکافی سرور

باید بررسی شوند.

صفحات تکراری چگونه Crawl Budget را هدر می‌دهند؟

فرض کنید یک فروشگاه اینترنتی هزار محصول دارد، اما برای هر محصول URLهای مختلفی به دلیل فیلترها و پارامترهای URL ایجاد می‌شود.

در این حالت ممکن است تعداد URLها بسیار بیشتر از تعداد صفحات واقعی سایت شود.

برای مثال:

example.com/product

و:

example.com/product?color=red

و:

example.com/product?sort=price

ممکن است از دید سیستم سایت، URLهای متفاوتی باشند.

اگر تعداد زیادی URL کم‌ارزش یا تکراری ایجاد شود، موتور جستجو ممکن است منابع خزش خود را روی URLهایی صرف کند که ارزش چندانی برای نتایج جستجو ندارند.

لینک‌سازی داخلی چه نقشی در خزش دارد؟

لینک‌های داخلی فقط برای انتقال اعتبار یا کمک به کاربران نیستند.

آنها یکی از مسیرهای مهم برای کشف صفحات سایت نیز محسوب می‌شوند.

اگر صفحه‌ای هیچ لینک داخلی نداشته باشد، پیدا کردن آن برای موتورهای جستجو می‌تواند دشوارتر شود.

به چنین صفحاتی معمولاً Orphan Page یا صفحه یتیم گفته می‌شود.

بنابراین بهتر است صفحات مهم سایت از صفحات مرتبط دیگر لینک دریافت کنند.

Sitemap چه نقشی در Crawl دارد؟

نقشه سایت یا XML Sitemap فهرستی از URLهای مهم سایت است که به موتورهای جستجو کمک می‌کند صفحات موردنظر را بهتر پیدا کند.

Sitemap می‌تواند برای سایت‌های بزرگ یا سایت‌هایی که صفحات زیادی دارند مفید باشد.

اما یک نکته مهم:

وجود URL در Sitemap به معنی ایندکس قطعی آن صفحه نیست.

Sitemap به کشف URL کمک می‌کند، اما تضمین نمی‌کند که صفحه حتماً Crawl یا Index شود.

آیا robots.txt می‌تواند Crawl Budget را مدیریت کند؟

فایل robots.txt می‌تواند به موتورهای جستجو اعلام کند که دسترسی به برخی مسیرها را Crawl نکنند.

اما استفاده نادرست از آن می‌تواند مشکل ایجاد کند.

مثلاً اگر به اشتباه مسیر مهمی را مسدود کنیم، Googlebot ممکن است نتواند آن صفحه یا منابع موردنیاز آن را به‌درستی بررسی کند.

بنابراین robots.txt نباید بدون شناخت ساختار سایت تغییر داده شود.

آیا Noindex همان robots.txt است؟

خیر.

این دو ابزار عملکرد متفاوتی دارند.

robots.txt درباره اجازه یا عدم اجازه خزش یک مسیر صحبت می‌کند.

noindex به موتور جستجو اعلام می‌کند که صفحه نباید در نتایج جستجو قرار بگیرد.

بنابراین:

robots.txt = کنترل دسترسی برای Crawl

noindex = دستور مربوط به Index

در نتیجه استفاده از robots.txt به‌عنوان جایگزین مستقیم noindex همیشه تصمیم درستی نیست.

چگونه Crawl Budget سایت را بهینه کنیم؟

برای سایت‌های بزرگ، چند اقدام می‌تواند به استفاده بهتر از منابع خزش کمک کند.

۱. صفحات تکراری را کنترل کنید

صفحات تکراری یا URLهایی که ارزش مستقلی ندارند باید شناسایی و مدیریت شوند.

۲. لینک‌های داخلی را اصولی کنید

صفحات مهم باید از صفحات مرتبط لینک دریافت کنند.

۳. خطاهای سرور را کاهش دهید

خطاهای مکرر 5xx می‌توانند تجربه Googlebot و کاربران را تحت تأثیر قرار دهند.

۴. URLهای غیرضروری را کنترل کنید

فیلترها، پارامترها و URLهای تولیدشده خودکار باید با توجه به ساختار سایت مدیریت شوند.

۵. Sitemap را به‌روز نگه دارید

Sitemap باید شامل URLهایی باشد که واقعاً می‌خواهید موتورهای جستجو آنها را بشناسند.

۶. صفحات کم‌ارزش را شناسایی کنید

اگر سایت هزاران صفحه بسیار کم‌ارزش تولید می‌کند، بهتر است معماری محتوا و روش تولید URLها بررسی شود.

۷. وضعیت خزش را در Search Console بررسی کنید

Search Console یکی از ابزارهای اصلی برای بررسی وضعیت سایت در Google Search است.

Crawl Budget و سایت‌های وردپرسی

در سایت‌های وردپرسی معمولاً سایت‌های کوچک نیازی به نگرانی جدی درباره Crawl Budget ندارند.

اما در سایت‌های بزرگ وردپرسی، عواملی مانند:

• صفحات جستجوی داخلی
• فیلترهای محصولات
• صفحات آرشیو
• پارامترهای URL
• صفحات تکراری
• افزونه‌هایی که URLهای متعدد ایجاد می‌کنند

می‌توانند باعث افزایش تعداد URLهای قابل خزش شوند.

بنابراین در سایت‌های بزرگ وردپرسی، معماری اطلاعات و کنترل URLها اهمیت بیشتری پیدا می‌کند.

از کجا بفهمیم سایت مشکل خزش دارد؟

اگر احساس می‌کنید Googlebot صفحات مهم سایت را به‌خوبی بررسی نمی‌کند، بهتر است قبل از هر اقدامی داده‌های واقعی سایت بررسی شوند.

برخی نشانه‌هایی که ارزش بررسی دارند:

• صفحات مهم مدت زیادی Crawl نمی‌شوند
• تعداد زیادی URL کم‌ارزش در گزارش‌های مربوط به خزش دیده می‌شود
• خطاهای سرور وجود دارد
• تعداد زیادی URL تکراری ایجاد شده است
• صفحات مهم لینک داخلی مناسبی ندارند
• Sitemap وضعیت مناسبی ندارد

البته کاهش بازدید یا افت رتبه به‌تنهایی به معنی مشکل Crawl Budget نیست.

باید علت واقعی از طریق داده‌های Search Console و بررسی فنی سایت مشخص شود.

Crawl Budget را با چه ابزارهایی بررسی کنیم؟

Google Search Console

برای بررسی وضعیت ایندکس، URLها و برخی گزارش‌های مربوط به سایت، مهم‌ترین ابزار رایگان برای مدیران سایت است.

URL Inspection

با ابزار URL Inspection می‌توان وضعیت یک URL مشخص را بررسی کرد و دید گوگل درباره آن صفحه چه اطلاعاتی ارائه می‌دهد.

Server Logs

در سایت‌های بزرگ، بررسی لاگ‌های سرور می‌تواند اطلاعات بسیار دقیق‌تری درباره درخواست‌های Googlebot ارائه کند.

با بررسی لاگ‌ها می‌توان متوجه شد Googlebot بیشتر به چه URLهایی مراجعه می‌کند و آیا منابع خزش روی صفحات کم‌ارزش مصرف می‌شوند یا خیر.

یک مثال ساده از Crawl Budget

فرض کنید یک سایت ۵۰۰ صفحه واقعی دارد.

اگر ساختار سایت سالم باشد و بیشتر URLها ارزش واقعی داشته باشند، مدیریت Crawl Budget معمولاً مسئله بزرگی نیست.

حالا تصور کنید همین سایت به دلیل فیلترها و پارامترهای مختلف، ۵۰ هزار URL قابل دسترسی تولید کند.

در این شرایط تعداد URLهایی که Googlebot باید با آنها مواجه شود بسیار بیشتر شده است.

مشکل اصلی دیگر «کم بودن بودجه خزش» نیست؛ بلکه معماری نامناسب URLها و ایجاد تعداد زیادی URL غیرضروری است.

بنابراین در بسیاری از پروژه‌ها، بهترین راهکار برای Crawl Budget این نیست که بخواهیم گوگل را مجبور به Crawl بیشتر کنیم؛ بلکه باید کاری کنیم که خزش منابع گوگل روی URLهای مهم‌تر متمرکز شود.

آیا Crawl Budget روی رتبه سایت تأثیر مستقیم دارد؟

نباید Crawl Budget را با Ranking اشتباه گرفت.

اینکه Googlebot یک صفحه را Crawl می‌کند، به معنی رتبه بهتر آن صفحه نیست.

Crawling، Indexing و Ranking مراحل متفاوتی هستند.

ممکن است یک صفحه:

Crawl شود → Index شود → اما رتبه خوبی نگیرد.

بنابراین اگر هدف افزایش رتبه است، فقط روی Crawl Budget تمرکز نکنید.

کیفیت محتوا، ارتباط صفحه با جستجوی کاربر، تجربه کاربری، ساختار سایت و بسیاری عوامل دیگر نیز اهمیت دارند.

چه زمانی باید Crawl Budget را جدی بگیریم؟

یک قانون ساده:

سایت کوچک:

معمولاً نیازی به نگرانی جدی نیست.

سایت متوسط:

وضعیت خزش و ایندکس را در Search Console زیر نظر داشته باشید.

سایت بزرگ:

معماری URL، لینک‌سازی داخلی، Sitemap، پاسخ سرور و URLهای غیرضروری را به‌صورت جدی بررسی کنید.

سایت بسیار بزرگ:

علاوه بر موارد بالا، بررسی Server Log و رفتار Googlebot نیز می‌تواند اهمیت زیادی داشته باشد.

چک‌لیست سریع Crawl Budget

اگر سایت بزرگی دارید، این موارد را بررسی کنید:

☐ URLهای تکراری کنترل شده‌اند
☐ صفحات کم‌ارزش شناسایی شده‌اند
☐ لینک‌های داخلی منطقی هستند
☐ صفحات مهم لینک داخلی دارند
☐ Sitemap به‌روز است
☐ خطاهای 5xx کنترل شده‌اند
☐ سرور پایدار است
☐ robots.txt بدون خطای مهم تنظیم شده است
☐ URLهای دارای پارامتر بررسی شده‌اند
☐ وضعیت ایندکس صفحات مهم در Search Console بررسی شده است
☐ در صورت نیاز Server Log بررسی شده است

جمع‌بندی

Crawl Budget یا بودجه خزش به منابع و میزان خزی گفته می‌شود که موتور جستجو برای بررسی صفحات یک سایت اختصاص می‌دهد.

این موضوع برای سایت‌های کوچک معمولاً دغدغه اصلی نیست، اما در سایت‌های بزرگ با هزاران یا میلیون‌ها URL می‌تواند اهمیت زیادی داشته باشد.

بهترین راه مدیریت Crawl Budget، ایجاد یک ساختار منطقی و جلوگیری از تولید URLهای غیرضروری است.

لینک‌سازی داخلی اصولی، Sitemap مناسب، کنترل صفحات تکراری، کاهش خطاهای سرور و مدیریت URLها می‌توانند به استفاده بهتر از منابع خزش کمک کنند.

در نهایت باید به خاطر داشت که Crawling، Indexing و Ranking سه مفهوم متفاوت هستند و بهینه‌سازی Crawl Budget به‌تنهایی باعث افزایش رتبه سایت نمی‌شود.

❓ سوالات متداول

آیا Crawl Budget برای سایت‌های کوچک مهم است؟

معمولاً سایت‌های کوچک با تعداد صفحات محدود نیازی به مدیریت ویژه Crawl Budget ندارند، مگر اینکه مشکل فنی خاصی در خزش یا ایندکس داشته باشند.

آیا افزایش Crawl Budget باعث افزایش رتبه می‌شود؟

خیر. Crawl Budget مستقیماً عامل رتبه‌بندی نیست. خزش بیشتر به معنی رتبه بهتر نیست.

آیا Sitemap Crawl Budget را افزایش می‌دهد؟

Sitemap می‌تواند به کشف URLهای مهم کمک کند، اما به‌خودی‌خود باعث افزایش Crawl Budget نمی‌شود.

آیا robots.txt برای افزایش Crawl Budget استفاده می‌شود؟

robots.txt می‌تواند از خزش برخی مسیرها جلوگیری کند، اما استفاده از آن باید با شناخت دقیق ساختار سایت انجام شود.

آیا همه سایت‌ها باید Crawl Budget خود را بررسی کنند؟

خیر. اهمیت Crawl Budget بیشتر برای سایت‌های بزرگ، سایت‌هایی با تعداد URL بسیار زیاد یا سایت‌هایی با مشکلات خزش مطرح می‌شود.