Google در حال بررسی جایگزین ها یا راه های تکمیلی برای کنترل خزیدن و فهرست بندی فراتر از استاندارد 30 ساله پروتکل robots.txt است. Google: «ما معتقدیم زمان آن فرا رسیده است که وب و جوامع هوش مصنوعی ابزارهای قابل خواندن ماشینی اضافی برای انتخاب ناشر وب و کنترل موارد استفاده از هوش مصنوعی و تحقیقاتی در حال ظهور را کشف کنند.» نوشت.
چرا ما اهمیت می دهیم. همه ما متهم شدهایم که با استفاده از robots.txt و دیگر اشکال دادههای ساختار یافته جدیدتر، اجازه دسترسی رباتها به وبسایتهایمان را میدهیم. اما ممکن است در آینده به دنبال روش های جدیدی باشیم. این روش ها و پروتکل ها چگونه ممکن است به نظر برسند در حال حاضر ناشناخته است، اما بحث در حال وقوع است.
منبع: https://searchengineland.com/google-to-explore-alternatives-to-robots-txt-in-wake-of-generative-ai-and-other-emerging-technologies-429123
مشکل محتوای Paywalled. اخیراً، Open AI مرور با ویژگی Bing را در ChatGPT غیرفعال کرد، زیرا توانست بدون اجازه ناشر به محتوای دارای دیوار پرداخت دسترسی داشته باشد. این یکی از دلایل متعددی است که ممکن است گوگل به دنبال جایگزین هایی برای پروتکل robots.txt باشد.
درگیر شدن با جامعه. گوگل گفت که از اعضای وب و جوامع هوش مصنوعی دعوت می کند تا در یک پروتکل جدید بحث کنند. گوگل گفت که “یک بحث عمومی را آغاز می کند” با “طیف وسیعی از صداها از سراسر ناشران وب، جامعه مدنی، دانشگاه ها و زمینه های دیگر از سراسر جهان.”
زمان سنجی. گوگل گفت که این گفتگوها برای پیوستن به این بحث در حال انجام است و ما کسانی را که علاقه مند به شرکت در این بحث هستند در ماه های آینده دعوت خواهیم کرد. بنابراین هیچ چیز خیلی زود اتفاق نمی افتد و هیچ چیز فردا تغییر نمی کند.