كيفية إنشاء وتعديل ملف robots.txt

1 أكتوبر، 2017 نورس علي

الوسوم:robots.txt, Yoast SEO, تحسين أداء الموقع الإلكتروني

يحتوي ملف robots.txt على تعليمات معينة، ترشد هذه التعليمات روبوتات الزحف على كيفية زيارة صفحات الموقع الإلكتروني. حيث يمكن منع أو السماح لبعض أو كل روبوتات الزحف لزيارة بعض أو كل صفحات الموقع الإلكتروني.

يتطرق هذا الشرح إلى كيفية إنشاء ملف robots.txt وتعديله:

1- في أي موقع بإنشاء الملف ورفعه إلى الموقع.

2- في موقع ووردبريس من خلال إضافة Yoast SEO.

يمكنك مشاهدة فيديو الشرح حول كيفية إنشاء وتعديل ملف robots.txt في نهاية هذه المقالة.

كيفية إنشاء وتعديل ملف robots.txt لأي موقع إلكتروني

1- قم بإنشاء ملف نصي على جهازك الحاسوب، قم بتسمية هذا الملف robots.txt.
2- اكتب بهذا الملف التعليمات التي تريد وضعها لروبوتات الزحف. راجع شرح ويكي إدارة مواقع الويب حول كيفية كتابة تعليمات ملف robots.txt
3- بعد حفظ ملف التعليمات، قم برفعه إلى مجلد موقعك الإلكتروني الرئيسي (عادة ما يكون public_html). راجع شرح كيفية رفع ملفات الموقع الإلكتروني إلى الاستضافة لمعرفة كيفية رفع الملف.

للتأكّد من رفع الملف بشكل صحيح. قم بعرض محتويات الملف عن طريق المتصفح بكتابة التالي في شريط العنوان في المتصفح:
http://your-domain.com/robots.txt
استبدل your-domain.com باسم النطاق/المجال الخاص بموقعك. بعد ذلك، ستظهر لك التعليمات التي قمت بكتابتها في الخطوة الثانية في المتصفح.
في حالة لم تظهر لك هذه التعليمات، هذا يعني أنك لم تقم برفع ملف robots.txt في مجلد الموقع الإلكتروني الرئيسي.

كيفية إنشاء وتعديل ملف robots.txt في Yoast SEO

في حالة كنت تستخدم برمجية ووردبريس لإدارة محتوى موقعك، فيمكنك تثبيت إضافة Yoast SEO التي تساعدك في تحسين أداء موقعك في محركات البحث. ومن ثم يمكنك تفعيل الخيارات المتقدمة في Yoast SEO و التعديل على ملف robots.txt في محرر الملفات بنفس الإضافة.

حمّل الدليل الشامل المجاني لإنشاء موقع ووردبريس لمعرفة كيفية تثبيت أي إضافة في ووردبريس (في الصفحة 90 من الدليل).

تفعيل صفحة الخيارات المتقدمة في Yoast SEO

1- اختيار Dashboard من القائمة الفرعية لإضافة SEO.

كيفية إنشاء وتعديل ملف robots.txt في موقع ووردبريس من خلال إضافة Yoast SEO وصفحتها الرئيسية.

اختيار Dashboard من القائمة الفرعية لخيارات إضافة Yoast SEO

2- اختيار تبويب Features | الخصائص في الأعلى كما يظهر في الصورة التالية.
قم بالانتقال إلى قسم صفحات الإعدادات المتقدمة | Advanced settings pages
تأكّد من اختيار خيار Enabled أي يعني مُفعّل.