ما هو ملف robots.txt وفائدته ؟

في هذا الفيديو ستتعرف على ملف robots.txt.
كما ستتعرف على فائدته في إرشاد روبوتات الزحف على كيفية تصفح الموقع الإلكتروني وفهرسته تمهيداً لإظهاره في صفحة النتائج.