Google در مورد استفاده از خطاهای 404 و سایر خطاهای وضعیت سرور مشتری 4xx، مانند 403s، به منظور تلاش برای تعیین محدودیت نرخ خزیدن برای Googlebot هشدار داده است. گری ایلیز از تیم روابط جستجوی گوگل، “لطفا این کار را نکنید.” نوشت.
اگر نمیتوانید این کار را انجام دهید، گوگل میگوید «نرخ خزیدن را برای مدت کوتاهی کاهش دهید (مثلاً چند ساعت یا 1-2 روز)، سپس یک صفحه خطای اطلاعاتی را با 500، 503 یا کد وضعیت پاسخ HTTP 429.”
گوگل توضیح داد: «برای کاهش سریع نرخ خزیدن، میتوانید نرخ خزیدن Googlebot را در کنسول جستجو تغییر دهید. تغییرات ایجاد شده در این تنظیم معمولاً در عرض چند روز منعکس می شود. برای استفاده از این تنظیمات ابتدا مالکیت سایت خود را تأیید کنید. اطمینان حاصل کنید که از تنظیم نرخ خزیدن روی مقداری که برای نیازهای سایت شما بسیار پایین است، خودداری کنید. بیشتر بدانید منظور از بودجه خزیدن برای Googlebot چیست. اگر تنظیمات نرخ خزیدن برای سایت شما در دسترس نیست، درخواست ویژه را ثبت کنید برای کاهش سرعت خزیدن شما نمی توانید درخواست افزایش نرخ خزیدن را داشته باشید.”
چرا ما اهمیت می دهیم. اگر متوجه مشکلات خزیدن شدید، ممکن است ارائه دهنده میزبانی یا CDN شما اخیراً این تکنیک ها را به کار گرفته باشد. ممکن است بخواهید با آنها یک درخواست پشتیبانی ارسال کنید تا پست وبلاگ Google را در مورد این موضوع به آنها نشان دهید تا مطمئن شوید که از 404s یا 403s برای کاهش نرخ خزیدن استفاده نمی کنند.