تم الحظر باستخدام robots.txt حالة من حالات الصّفحات التي تظهر ضمن الصّفحات المستبعدة من تقرير تغطية الفهرسة في أدوات مشرفي المواقع جوجل، ولا تتمّ فهرسة هذا النّوع من الصّفحات ولا عرضه على نتائج بحث جوجل. وبشكل عامّ لا تشير حالة "تم الحظر باستخدام robots.txt" إلى وجود مشكلة ما دام مشرف الموقع نفسه من قام بحظر تلك الصّفحات باستخدام ملف الرّوبوت أو تمّ حظرها آليا عن طريق نظام إدارة المحتوى مثل بلوجر.
الهدف من هذه الصّفحة سيكون التّعرّف على حالة (تم الحظر باستخدام robots.txt) التي تظهر ضمن تقرير تغطية الفهرسة في أدوات مشرفي المواقع جوجل.
تعريف جوجل لملفّ robots.txt
تقول جوجل في تعريف ملف robots.txt ما يلي:
يتم استخدام ملف robots.txt بشكل أساسي لإدارة عدد زيارات الزاحف إلى موقعك الإلكتروني، ويتم استخدامه عادةً لإخفاء ملف من نتائج البحث على Google، حسب نوع الملف:
- صفحة ويب
- ملفّ وسائط
- ملفّ موارد.
لمحة حول حالة تم الحظر باستخدام robots.txt
حالة "تم الحظر باستخدام robots.txt" هي نوع من أنواع الصّفحات المستبعدة في تقرير تغطية الفهرسة التي لا يقوم محرّك البحث بفهرستها أو إظهارها على نتائج البحث نظرا لأنّ هناك أوامر في ملف robots.txt تمنع فهرستها وظهورها على محرّك بحث جوجل.
ولا تعني حالة (تم الحظر باستخدام robots.txt) وجود مشكلة بالضّرورة لأن بعض الصّفحات يكون من المفترض أن يتمّ استبعادها من نتائج البحث للحفاظ على حالة جيّدة للموقع الإلكتروني.
وتختلف أنواع ملفّات robots.txt باختلاف احتياجات مشرفي المواقع وقد يختلف الملفّ من موقع إلكتروني إلى آخر ومن مدوّنة إلى أخرى.
إذا كنت تستخدم بلوجر وكانت مدوّنتك تضمّ أقلّ من 500 صفحة فريدة فلا داعي لإنشاء ملفّ robots.txt لأن بلوجر يوفّر ملفّ robots.txt تلقائيّا يقوم بحظر ما يراه غير مناسب للظّهور على نتائج بحث جوجل. وإذا أخبرك شخص ما أنه لتسريع الفهرسة في المدوّنات الجديدة يحتاج إنشاء ملفّ robots.txt فيُمكنك إخباره بأنّ هذا غير صحيح.
استخدام ملفّ robots.txt بطريقة غير صحيحة قد يُعرّض ظهور الموقع الإلكتروني -أو المدوّنة- للخطر على نتائج البحث وقد يحرم الموقع من الظّهور بشكل كلّي.
يُمكن لمشرف الموقع حظر محرّكات البحث من الوصول إلى أي صفحة أو قسم يريد من موقعه الإلكتروني، وفي ما يلي بعض الصّفحات التي يقوم جوجل بوضع أوامر تلقائية لاستبعادها:
- صفحات أقسام المدوّنة.
- صفحات نتائج بحث المدوّنة.
تقول جوجل في تعريف حالة تم الحظر باستخدام robots.txt ما يلي:
تم حظر عنوان URL باستخدام ملف robots.txt
تم حظر هذه الصفحة باستخدام ملف robots.txt على موقعك الإلكتروني. يمكنك التحقّق من ذلك باستخدام أداة اختبار ملف robots.txt.يُرجى العِلم أنّ ذلك لا يمنع فهرسة الصفحة باستخدام وسائل أخرى. إذا تمكّن محرّك بحث جوجل من العثور على معلومات أخرى حول هذه الصفحة بدون تحميلها، هناك احتمال ضئيل جدًا بأن تتم فهرسة الصفحة. للتأكّد من أنّ محرّك بحث جوجل لن يفهرس الصفحة، يمكنك إزالة ملف robots.txt واستخدام التوجيه noindex.
هل تُعتبَر حالة تم الحظر باستخدام robots.txt مشكلة؟
لا تُعتبر حالة "تم الحظر باستخدام robots.txt" مشكلة ما دام مشرف الموقع -أنت في هذه الحالة- يعلم بأمرها ويعلم أنه لم يتمّ حظر إلّا الصّفحات التي من حقّها أن تُحظَر.
وإذا وجدنا انّه قد تمّ حظر صفحة كان من المفترض أن لا يتمّ حظرها بواسطة ملف robots.txt ففي هذه الحالة يجب الرّجوع إلى ملفّ الرّوبوت وتعديله بما يناسب.
أسئلة شائعة
كيف يُمكنني العثورعلى ملفّ الرّوبوت الذي يحظر بعض الصّفحات في مدوّنتي بلوجر؟
في حال وجدتَ حقل ملفّ robots.txt فارغا في إعدادات المدوّنة، فيُمكنك العثور عليه عن طريق الانتقال إلى نافذة جديدة في المتصفّح وكتابة رابط الصّفحة الرّئيسيّة للمدوّنة متبوعا بـ:
/robots.txt
على سبيل المثال:
https://www.arsoporte.com/robots.txt
وسيكون بإمكانك الوصول إلى ملفّ robots.txt التّلقائي للمدوّنة.
هل سيكون في الصّالح عدم استخدام ملف robots.txt بالمرّة؟
لا. يُنصح باستخدام ملفّ robots.txt لحظر الصّفحات التي قد تؤثّر سلبا على ظهور الموقع الإلكتروني او المدوّنة على نتائج البحث أو الصّفحات التي لا يُريد مشرف الموقع أن تزحف إليها محرّكات البحث. وبالنّسبة لبلوجر، فرغم أنه يبدو أنْ لا ملفّ robots.txt يظهر فإنّ بلوجر وغالب منصّات إدارة المحتوى تستخدم ملفّات robots.txt تلقائية بحيث لا داعي لإنشائها مرّة أخرى دون داعي. يُمكنك الاطّلاع على مزيد من المعلومات حول هل ملف robots.txt ضروري؟
خلاصة الصّفحة
تم الحظر باستخدام robots.txt في تقرير تغطية الفهرسة في ادوات مشرفي المواقع جوجل هي أنواع صفحات يتمّ استبعادها من الظّهور على نتائج بحث جوجل وفي الغالب يكون ذلك عن قصد إمّا مشرف الموقع أو منصّة إدارة المحتوى، ولا تعتبر مشكلة. والحظر بواسطة robots.txt ليس مثل الحظر باستخدام علامة noindex.
مصادر ومراجع:
كما قد يثير انتباهك الانتقال للآتي:
- هل الصّفحات المستبعدة مشكلة في أدوات مشرفي المواقع جوجل.
- خطوات إضافة البيانات المنظمة للأسئلة الشّائعة يدويّا.
- مختارات حول خيار طلب الفهرسة.
تاريخ آخر تعديل: الأحد 20 نوفمبر 2022 على السّاعة 02:08 بتوقيت المملكة المغربيّة
مدوّنة الدّعم العَربي: لفهم منتجات جوجل، تحقيق الرّبح من الإنترنت وتحسين الظّهور على نتائج محرّكات البحث العالميّة...