گوگل موارد استفاده را برای انواع مختلف خزنده خود توضیح می دهد

چرا ما اهمیت می دهیم. من معتقدم گوگل این تغییر را پس از مشاهده برخی از واکنش‌ها نسبت به ربات GoogleOther که روز گذشته اعلام کرد، انجام داد. اکنون این توضیح می‌دهد که خزنده‌های Google چگونه عمل می‌کنند، زمانی که به robots.txt احترام می‌گذارند و چگونه آنها را بهتر شناسایی کنند.

انواع خزنده های گوگل در بالای این صفحه Googlebot، گوگل این سه نوع خزنده را فهرست کرده است:

• Googlebot – خزنده اصلی محصولات جستجوی گوگل. گوگل می گوید این خزنده همیشه به قوانین robots.txt احترام می گذارد.
• خزنده های مورد خاص – خزنده هایی که عملکردهای خاصی را انجام می دهند (مانند AdsBot)، که ممکن است به قوانین robots.txt احترام بگذارند یا نکنند.
• واکشی های راه اندازی شده توسط کاربر – ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند یا برخی از ابزارهای کنسول جستجوی Google، Google را برای واکشی صفحه بر اساس اقدامی که کاربر انجام می دهد، می فرستند.

علاوه بر این، گوگل اکنون یک فایل با فرمت JSON را فهرست می کند که حاوی لیستی از آدرس های IP است که هر یک از انواع مختلف خزنده استفاده می کنند.