ما زواحف الذكاء الاصطناعي التي يمكنها الوصول إلى موقعك؟

هو عميل آلي تشغّله شركة ذكاء اصطناعي. بعضها يجمع المحتوى لتدريب النماذج (مثل GPTBot أو ClaudeBot)، وبعضها يبني فهارس بحث لإجابات الذكاء الاصطناعي (مثل OAI-SearchBot أو Claude-SearchBot أو PerplexityBot)، وبعضها لا يجلب الصفحة إلا عندما يطلب المستخدم ذلك (مثل ChatGPT-User أو Claude-User).

يعتمد ذلك على أهدافك. إذا أردت أن يُستشهَد بك في إجابات الذكاء الاصطناعي، فاسمح لوكلاء البحث والوكلاء الذين يعملون بطلب المستخدم. أما حظر زواحف التدريب فهو قرار تجاري منفصل؛ إذ يوثّق مشغّلون مثل OpenAI وAnthropic وGoogle رموزًا منفصلة لتتمكن من الاختيار.

أضف مجموعة لكل رمز تدريب، مثل "User-agent: GPTBot" متبوعًا بـ "Disallow: /". وتوضّح Google أن رمز Google-Extended يتحكم في الاستخدام لتدريب Gemini وتأصيل إجاباته، ولا يؤثر في الترتيب في Google Search.

لا. robots.txt معيار طوعي. ويؤكد المشغّلون المذكورون هنا أنهم يلتزمون به، لكنه ليس وسيلة للتحكم في الوصول؛ استخدم المصادقة أو قواعد جدار الحماية للمحتوى الذي يجب أن يبقى خاصًا.

نعم. يمكن استخدامه مجانًا دون حساب، مع حد يومي سخي لمنع إساءة الاستخدام.