ملف robots.txt هو ملف نصي بسيط يخبر برامج زحف محركات البحث ما يمكنها الزحف إليه وما لا يمكنها الزحف إليه على الموقع الإلكتروني الخاص بك. يمكن استخدامه لتحسين أداء محركات البحث، ومنع الزحف إلى الصفحات التي لا تريد أن تظهر في نتائج البحث، ومنع الزحف إلى الصفحات التي لا تزال قيد التطوير.
جاء في تعريف ويكيبيديا لملفّ robots.txt ما يلي:
معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات (بالإنجليزية: Robots exclusion standard أو robots exclusion protocol أو ببساطة robots.txt) وهو معيار يستخدم بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تُستخدَم بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع
يقع ملف robots.txt عادة في الجذر (المستوى الأعلى) للموقعك الإلكتروني الخاص بك. يتم كتابة ملف robots.txt بلغة بسيطة.
ويتضمن ملف تعريف البرامج الأوامر التالية:
- Allow: يسمح للزحف إلى مسار معين.
- Disallow: يمنع الزحف إلى مسار معين.
- User-agent: يحدد برنامج زحف معين.
على سبيل المثال، إذا كنت تريد منع الزحف إلى جميع الصور على موقع الويب الخاص بك، فيمكنك إضافة السطر التالي إلى ملف robots.txt الخاص بك:
Disallow: /images/
إذا كنت تريد السماح بالزحف إلى جميع الصور في مجلد معين، فيمكنك إضافة السطر التالي إلى ملف robots.txt الخاص بك:
Allow: /images/
إذا كنت تريد السماح بالزحف إلى موقع الويب الخاص بك بواسطة برنامج زحف معين، فيمكنك إضافة السطر التالي إلى ملف robots.txt الخاص بك:
User-agent: Googlebot Allow: /
يجب ملاحظة أن ملف robots.txt ليس أمرا إلزاميا. إذا لم يكن لديك ملف robots.txt، فسيتم السماح لجميع برامج زحف محركات البحث بالزحف إلى جميع صفحات موقع الويب الخاص بك. تعرّف على معلومات أكثر حول هل ملف robots.txt ضروري.
تمّ إنشاء ملفّ استبعاد الرّوبوتات (robots.txt) بواسطة مارتن كوستر (بالإنجليزيّة: Martin Koster) -وهو كاتب وشاعر هولندي- عندما كان يعمل في نكسور.
 |
| الصّورة الشّخصية لمارتن كوستر |
ونكسوور (بالإنجليزيّة: Nexor) هي شركة خاصة تمّ إنشاؤها سنة 1989 مقرها في نوتنغهام، وتوفر المنتجات والخدمات لحماية أنظمة الكمبيوتر الحكومية والدفاعية والبنية التحتية الوطنية الحيوية. كانت تُعرف في الأصل باسم X-Tel Services Limited.
لقد ساعد جوجل بارد في إنشاء هذه الصّفحة.
مصادر ومراجع:
مدوّنة الدّعم العَربي: لفهم منتجات جوجل، تحقيق الرّبح من الإنترنت وتحسين الظّهور على نتائج محرّكات البحث العالميّة...
ليست هناك تعليقات
إرسال تعليق
شارك رأيك مع مدوّنة الدّعم العَربي! يرجى الالتزام بقواعد التعليقات. التعليقات التي تحتوي على إساءة أو تشهير أو دعاية أو محتوى مسيء لن يتم نشرها بعد المراجعة اليدويّة.