ملف robots.txt يستخدم لتحسين عمل محركات البحث , وهوعبارة عن مجموعة من الإرشادات توجه محركات البحث الى روابط صفحات الويب المراد فهرستها أو العكس .
على سبيل المثال :
User-agent: *
Allow: /
توجيه بفهرسة كامل روابط الموقع اذا ترك ما تحته فارغ ,, أو يحدد تحته مايراد فهرسته مثل رابط خارطة الموقع وغيره .
User-agent: *
Disallow: /
توجيه بمنع فهرسة كل الروابط بالموقع اذا ترك ما تحته فارغ ,, أو يحدد تحته مايراد منع فهرسته .
المزيد من التفاصيل : developers.google.com
https://tinyurl.com/eshvfjnc
