أسفرت نتيجة استطلاع رأي تجريبي قمتُ بنشره على بعض المجموعات المهتمّة بالـSEO على فيسبوك، وسط بعض مشرفي المواقع، على نتيجة خطيرة بعد سؤالهم حول ملف robots.txt وعلاقته بالفهرسة في محرّكات البحث.
الهدف من هذه الصّفحة التّأكيد على أن ليست جميع النّصائح والإرشادات التي تصادفها تكون صحيحة، والخطر التي يرافق هذه المعلومات ونصائح مفيدة.
تمّ طرح السّؤال الآتي: "هل ملفّ robots.txt ضروري لفهرسة مقالات الموقع الإلكتروني وظهورها على نتائج محرّكات البحث؟"فكانت النتيجة كالآتي:
- 70 بالمائة = نعم
- 20 بالمائة = لا
- 10 بالمائة = أخرى
لقطة شاشة من استطلاع مجموعة "مدونات بلوجر Blogger" على فيسبوك
في ما يلي استبيان آخر تظهر عليه نفس النّتيجة للأسف، وهذا يعني أن المجتمع العربي لمشرفي المواقع -خصوصا المقبلون الجدد منهم- يحتاج إلى عناية خاصّة ومعلومات دقيقة وموثوقة:
لقطة شاشة من استطلاع مجموعة "قناة أبو ملك" على فيسبوك
كيف تبدو لك النتيجة؟ هل تعتقد أن ملف robots.txt ضروري للفهرسة؟ إذا كانت إجابتك "نعم" أيضا، فدعني أوجّه عنايتك إلى أنّ هذا غيرُ صحيحٍ للأسف، والإجابة الصّحيحة هي "لا".
وبينما لا يوجد ما يُثبت أن هذا الملفّ ضروريّ للفهرسة، فإنّ المستندات الرّسمية لمحرّكات البحث العالميّة تؤكّد على أنّ ملف robots.txt دوره هو منع الزّواحف بالدّرجة الأولى، إضافة إلى مهامّ أخرى لا علاقة لها بالفهرسة بشكل مباشر، بحيث لا يُعتبر ملف الروبوت ضروريا من أجل فهرسة الصّفحات أو ظهورها على نتائج البحث.
لا تتحدّث هذه الصّفحة حول هل ملفّ الرّوبوت ضروري للفهرسة، لكن يُمكنك الاطّلاع على معلومات بالانتقال إلى هل ملف robots.txt ضروري؟ أو أيضا هل موقعي بحاجة إلى خريطة موقع؟
ما الذي يُمكن استفادته من هذا الاستطلاع؟
للأسف، وبسبب قلّة الصّبر والقراءة لدى نسبة ليست صغيرة مِن مَن يديرون المواقع الإلكترونية أو المقبلون على التّدوين، فقد أثّر تناقل المعلومات بشكل غير دقيق إلى تحريفها بدرجة أصبحت تشكّل خطرا على مشرفي المواقع أنفسِهم.
فعلى سبيل المثال لا الحصر، تعتقد أغلبيّة مشرفي المواقع أنه بدون ملفّ الرّوبوت لا تتمّ فهرسة الصّفحات وظهورها على نتائج البحث، بينما البعض الآخر يعتقد أن ملفّ الرّوبوت تسرّع عمليّة الفهرسة والظّهور أيضا.
وبما أنّ الملفّ معقّد فهمه نوعا ما -ما لم يتم قراءة المستندات حوله- فإنّه يتمّ استخدامه بشكل غير دقيق، الأمر الذي أدّى إلى اختفاء وتراجع صفحات عديدة من مواقعَ إلكترونية على نتائج البحث مثل جوجل.
الآن، أهمّ ما يُمكن استفادته من هذه الصّفحة هو عدم أخذ المعلومات بعيون مغلقة وتطبيقها -بما فيها معلومات الصّفحة التي بين يديك- قبل أن يتمّ فحصُها -أقصد المعلومة- من طرفك ومطابقتُها مع مصادرَ موثوقة ذات صلة. (مستندات محرّكات البحث حَول ملفّ robots.txt في هذه الحالة).
لا يُقصد بهذه الصّفحة الإساءة إلى أي شخص أو جهة وأبدا لست محاولة تشهير، إنّما كان نشرُها لزاما لبيان الخطر الذي تشكّله المعلومات غير الدّقيقة على مستخدِمِها.
كيف أتجنّب المعلومات غير الصّحيحة؟
من الصّعب العثور على معلومات موثوقة أكثر من معلومات المصادر، لهذا يجب البحث في المصادر بالدّرجة الأولى. على سبيل المثال: إذا كنت تبحث عن معلومات بخصوص ملف robots.txt وعلاقتُه بفهرسة الصّفحات على نتائج بحث جوجل، فيُمكنك البدء بالبحث في مستندات جوجل نفسها، وفي هذه الحالة سيكون أوّل مكان للبدء هو دليل robots.txt من جوجل.
في حال لم تجد مصادر متعلّقة بالسّؤال، فيُمكنك البحث عن أوثق مصدر، ومقارنة المعلومة بمصادر جديرة بالثّقة أخرى. ويُنصح أن تكون تلك الصّفحات منشورة حديثا، لأنّه قد تطرأ تغييرات على المحتوى القديم غير المحدَّث مما قد يتسبب في مشكلة.
اسأل أصدقاءك المقرّبين ممن تثق فيهم وممن طبّقوا نفس الشّيء أو جرّبوه بشكل عامّ واستفد من خبرتهم.
كيف أجد معلومات المصدر لمشرفي المواقع (جوجل مثالاُ)
هناك طرق عديدة للوصول إلى المعلومة الدّقيقة مباشرة من مصدرها، فإذا أخذنا جوجل مثالا، يُمكنك استخدام واحد أو أكثر مما يلي:
- البحث مباشرة في المصادر العربية المعروفة، مثل:
- مركز مساعدة أدوات مشرفي المواقع جوجل.
- منتدى مساعدة مجموعة خدمات بحث جوجل
-
الموقع الإلكتروني لمجموعة خدمات بحث جوجل. (يُمكنك
إنشاء ملفّ في مطوّري جوجل فيه بالمناسبة!)
- إضافة كلمات مفتاحية لآخر عبارة البحث في المحرّكات، مثل:
- معلومات حول خريطة الموقع مشرفي المواقع جوجل
- معلومات حول خريطة الموقع مجموعة خدمات بحث جوجل
- معلومات حول خريطة الموقع مستندات مشرفي المواقع جوجل
- معلومات حول خريطة الموقع مركز مساعدة جوجل
خلاصة الموضوع:
كانت هذه نصائح شخصيّة -أرجو أن تكون مفيدة- فيما يتعلّق بجودة ومصداقيّة المعلومات التي يتناقلها الأشخاص والتي قد تكون مضرّة في بعض الأحيان ما لم يتمّ التّحقّق منها بشكل جدّي، ويجب الحرص دائما على تقديم معلومات المصادر الموثوقة عن غيرها، لهذا قامت جوجل بإطلاق نظام ترتيب الموثوقية الذي يرتب المحتوى على نتائج البحث باعتماد E-A-T.
شكر جدا أستاذ محمد علي طرح هذه الموضوع الهام جدا ولكن السؤال هنا في اهم موقع وهو الدعم العربي مصدر موثوق هل ملف robots.txt مهم ألي مدونة بلوجر او يتم حذف ملف نهائي او يتم تعديل علي ملف robots.txt ومنتظر ردكم الكريم
ردحذفمرحبا بك عزيزي mohamed sayed
حذفستجد الجواب الكافي على هذه الصّفحة التي تجيب -بشكل وافٍ- عن سؤال هل ملف robots.txt ضروري لمدونات بلوجر.
شكرا على كلماتك الطّيّبة
تسرّني زيارتك دائما :-)
خالص الشكر والتقدير أستاذ Medelinor
ردحذفشكرا جزيلا لك على التّعليق الطّيّب والإيجابيّ.
حذفيسرّني وجودكم دائما.