شرح استخدام robots.txt في الدومين الفرعي

سنتعرف هنا على طريقة اضافة ملف robots.txt بداخل الـ subdomain او الدومين الفرعي للموقع

اولا لتعرف ما هو ملف robots.txt ؟ ان هذا الملف له من الاهمية البالغة التي يغفل عنها اغلب اصحاب المواقع , بأختصار مهمة هذا الملف اخبار محركات البحث ان تقوم بأرشفة مانريد وعدم ارشفة مانريد ايضا

مثلا انا لا اريد محركات البحث ان تؤرشف مجلدات او صفحات وتظهر في بحث قوقل مثل روابط الدخول الى لوحة التحكم او مجلد به صور خاصة وهكذا , ولكن الاهم مافي الموضوع هو ان بعض السكربتات والبرامج الخاصة بالمواقع تعتبر محتوى مكرر ” Duplicate Content ” وهذا الشيء يقتل تعبك في الموقع بسبب ان المجتوى المكرر يبعد موقعك من الظهور في اول نتائج البحث ان لم يقم قوقل بطردك اصلا بسبب كثرة الصفحات التي تحتوى على نفس الوصف والكلمات الدالة !!

الآن سأتكلم عن طريقة اضافة هذا الملف في الـ Subdomain او الدومين الفرعي ,,

بداية يجب ان تسجل دومينك الفرعي مثال pic.mysite.com في أدوات أصحاب المواقع

ثم قم بتعريف ملكيتك للموقع من خلال رفع صفحة html او ميتا كما هو في مطلوب منك

بعد تعريفك للموقع , قم بوضع ملف robots.txt بداخل المجلد المحتوي على السبدومين ليصبح رابطه بهذا الشكل pic.mysite.com/robots.txt

وضع بداخله ماتريد من اوامر لمحركات البحث ( يعتمد عليك وعلى روابط سكربتك ) , لايوجد ملف robots.txt جاهز لكل المواقع !! كل شخص يضع به مايريد ,, مثلا انا لا اريد قوقل ان يؤرشف الـ tags بينما غيري يفعل العكس

تستطيع ان تصنع الملف من لوحة تحكم اصحاب المواقع في قوقل بالذهاب الى Tools > Generate robots.txt

طبعا الشغلة تأخذ لها فترة على ما يقوم قوقل بأرشفة الروابط من جديد وأزالة الروابط التي امرته بأزالتها وأرشفة الروابط التي طلبت منه ارشفتها , يعني اصبر لن يحدث التغير بالسرعة الي تتصورها  ولكن لكي تعرف ان العمل يجري كما يرام شاهد ما يحدث في ادوات اصحاب المواقع كما في الصورة التالية :

شاهد الى الرابط التي تم منعها بسبب ملف robots.txt اضغط على Detalis لكي تشاهد ماهي الروابط ؟ هل هي التي طلبت من قوقل عدم ارشفتها ام لا !! وبذلك ستضمن عدم ظهورها عندما يقوم شخص بالبحث في قوقل , وستتجنب المحتوى المكرر المضر بموقعك ان شاء الله

رابط يفيدك  The Web Robots Pages