ملف robots.txt: منع تدريب الذكاء الاصطناعي دون إخفاء متجر PrestaShop

ثلاثة أمور مختلفة

تدريب النماذج يعني استخدام المحتوى لتعديل المعلمات التي تعلّمها نموذج توليدي. أما الزحف والبحث فيتعلقان بزيارة الصفحات وإظهارها في نتائج البحث. والتجارة عبر الوكلاء تعني تمكين مساعد مخوّل من الاستعلام عن بيانات المنتجات العامة من خلال واجهات مثل MCP أو UCP أو REST. لا تتحكم قاعدة واحدة في هذه الأمور جميعاً.

قد يرفض التاجر استخدام محتوى متجره لتدريب النماذج، وفي الوقت نفسه يرغب في بقاء منتجاته قابلة للاكتشاف والاستعلام. ينبغي أن يكون هذا الاختيار واضحاً وصادراً عن صاحب المتجر، لا تغييراً يفرضه أي ملحق تلقائياً.

ما الذي أُعلن فعلاً في 30 أكتوبر؟

يقترح مشروع وثيقة فردية لدى IETF بإصداره الأول 00 رمز السياسة __usage_ai-training ضمن ملف robots.txt باستخدام الصيغة المعتادة لقواعد User-agent. المقترح ليس معياراً نهائياً معتمداً من IETF وقد تتغير تفاصيله. وهو يعبّر عن تفضيل يتعلق باستخدام المحتوى في التدريب، ولا يمثل حاجزاً أمنياً أو منعاً عاماً لزيارة الصفحات.

User-agent: __usage_ai-training
Disallow: /

يعبر المثال عن رغبة في عدم استخدام صفحات الموقع لتدريب النماذج لدى الجهات التي تدعم هذه الآلية. لكنه لا يضمن امتثال جميع الروبوتات، ولا يمحو محتوى استُخدم سابقاً، ولا يمنع وكيلاً مصرحاً له من قراءة صفحة منتج عامة. لا تضف هذه القاعدة إلى متجر فعلي قبل مراجعة سياسة الموقع وقواعد الزحف الحالية.

مواعيد التطبيق ليست واحدة

أعلنت OpenAI نيتها دعم الإشارة خلال الأشهر المقبلة من دون موعد محدد، مع استمرار أدوات التحكم الحالية. وتستهدف Google عام 2027، وقد تتقدم تعليمات Google-Extended الصريحة على الإشارة المشتركة. أما Microsoft Bing فأعلنت بدء احترام تفضيلات التدريب والاستناد إلى الصفحات في 1 فبراير 2027، مع ضرورة مراجعة الانتقال من NoArchive وNoCache قبل 1 مارس 2027.

الاستناد إلى صفحات الويب أثناء توليد إجابة، أو grounding، يختلف عن التدريب. وتحذر Microsoft من أن تقييده قد يقلل ظهور الموقع في تجارب الذكاء الاصطناعي. وتوضح Google أيضاً أن قواعد Google-Extended قد تؤثر في أهلية بعض استخدامات Gemini. لا يوجد زر واحد يضمن الظهور في جميع المساعدين.

قائمة فحص عملية لمتجر PrestaShop

1. حدد الهدف: هل تريد رفض التدريب أم الحفاظ على الظهور أم إتاحة كتالوج المنتجات العامة للوكلاء؟
2. راجع ملف robots.txt: قواعد الروبوتات المحددة، والقواعد العامة، والتخزين المؤقت، ووجود Google-Extended.
3. اختبر قابلية الاكتشاف بشكل مستقل: صفحات المنتجات، وإعدادات البحث، وملفات التعريف ونقاط النهاية الخاصة بـ MCP وUCP.
4. اختبر بصفة زائر غير مسجّل: الأسعار العامة والضرائب والمخزون والخيارات، مع التأكد من عدم كشف أسعار الشركات أو المنتجات المقيدة.
5. احتفظ بأدلة قابلة للمراجعة: نسخة من الملف الفعلي، وتواريخ وثائق المزوّدين، ونتائج الاختبارات، ثم راجعها عند تطور المقترح.

لا تُغني تفضيلات robots.txt عن التحقق من الصلاحيات على الخادم. يجب أن تبقى بيانات العملاء والطلبات والأسعار الخاصة محمية بقواعد PrestaShop.

ما الذي يقدمه Fondouk اليوم؟

يتيح Fondouk المجاني للوكلاء الاستعلام عن كتالوج المنتجات العام في متاجر PrestaShop المتوافقة، بوضع القراءة فقط ومن خلال واجهات موثقة. لا يحدد الملحق سياسة تدريب النماذج نيابة عن التاجر، ولا يكشف البيانات الخاصة، ولا يضمن الزيارات أو المبيعات. والإشارة الجديدة الخاصة بالتدريب لا تحل محل MCP أو UCP.

ابدأ بدليل لماذا لا يرى الوكلاء متجرك؟، ثم اطّلع على دليل تنفيذ UCP في PrestaShop، وعلى شرح الفروق بين MCP وUCP وACP. ويمكنك مراجعة الملحق المجاني وشيفرته المصدرية لاختبار إتاحة الكتالوج العام من دون تغيير تفضيلات التدريب.