الشرح المفصل لملف الـrobots.txt وعناكب محركات البحث

هذا الموضوع سنجيب فيه عن معظم ااسئلة التى قد تتبادر فى ذهنك عن ملف الـ robots.txt ومحركات البحث فتابع بتركيز
اذا كنت تشعر بالملل من القراءة فيكفيك قراءة الاسئلة التى امامها كلمة (هام)

بسم الله
اسئلة تتعلق بعناكب محركات البحث واكيد الكل منك عايز يعرف متكسفوش تعالو اسالو وانا اجاوب عنكم
=====================
ما هى عناكب محركات البحث؟
عناكب محركات البحث عبارة عن برامج تعمل اوتوماتيكيا على استعراض محتويات صفحات الويب عن طريق المرور بأحد هذه الصفحات ومراجعة كل الصفحات التى تتصل بها

ما هو الوكيل "agent" ?
هذه الكلمة لها العديد من المعانى هذه الايام لكن ما يهمنا هو الـ user-agent وهو اسم تقنى للبرامج لاتى تقوم بمهام محددة على شبكة الانترنت ولصالح شخص معين مثل العناكب فهى تقوم بمهام الارشفة لصالح محركات البحث

ما هو محرك البحث؟
يقصد به اى فورم تستخدم للبحث خلال قاعدة بيانات تحتوى على روابط تم جمعها بواسطة عناكب محرك البحث

فى اى شىء تستخدم العناكب؟"هام"
تستخدمالعناكب لمهام متعددة هى :

1. الفهرسة "الارشفة"
2. التحقق من تكوين الصفحات
3. التحقق من الروابط
4. المراقبة والتتبع
5. تتبع ارتباط الصفحات ببعضها

هل العناكب تضر الموقع؟
فى الماضى كانت العناكب تسبب ضغط كبير على الشبكات والسيرفرات لكن الان تطورت كثيرا ولم تعد تسبب اى ضغط على السيرفرات وخاصة عناكب محركات ابحث لكن الاخطار قد تأتى من العناكب التى تأتى الموقع لتسحب الايمبلات او لتبحث عن ثغرات امنيه

اسئلة حول عناكب محركات البحث:
================
كيف تقرر العناكب زيارة رابط معين ؟"هام"
هذا يتوقف على استراتيجية محرك البحث ولكن فى معظم الاحوال اذا لم تخبرها بوجود رابط جديد فهى تنطلق من مجموعة من الروابط تقوم بتحديدها على حسب استراتيجية محرك البحث ثم تتنقل بين الروابط وغابا اروابط التى تبدأ بزياراتها هى اشهر المواقع على الويب او الصفحات التى تحتوى على روابط كثيره او الصفحات التى لها روابط فى مواقع اخرى كثيره "الباك لينك"

كيف تحدد العناكب المحتوى الذى ستقوم بأرشفته؟
القاعدة العامة ان عناكب محركات البحث اذا علمت بوجود رابط جديد فإنها تذهب اليه لتقوم بأرشفته ولكن الاسلوب يختلف من محرك بحث لآخر : بعض المحركات تقوم بأرشفة العناوين فقط او الاسطر الاولى من محتوى الصفحة والبعض الاخر يقوم بأرشفة جميع محتويات الصفحة وهذا يعتمد على كيفية بناء الصفحة وبعض المحركات يهتم بوصف الصفحة او الكلمات المفتاحية وهى اشياء خفية لا يراها الزائر ولكن بعض محركات البحث يهتم بها وتتطور هذه الايام الاوامر التى يمكنك توجيه العناكب بها والسماح لها بأرشفة محتوى معين او تجاهل محتوى معين عن طريق كيفية بناءك للصفحة

كيف يمكننى اضافة موقعى لمحرك بحث معين؟
تقوم انت كصاحب موقع بأضافة موقعك او تنتظر حتى تأتى العناكب اليه عن طريق اى رابط اخر يتصل بموقعك وبعض محركات البحث تمكنك من متابعة موقعك مثل Google عن طريق عرضة لخدمات اصحاب المواقع

كيف يمكننى الحصول على ارشفة مثالية لموقعى بمحركات ابحث؟"هام"
هذا ما يسمى بالـ SEO " Search Engine Optimisation" ,وهوكيفية تهيئة موقعك لمحركات البحث وتوجد الاف النصائح والتعليمات والمعلومات التى يتداولها البعض وهى خاطئة وأليك مجموعة من اهم التعليمات التى يجب ان ترعيها كصاحب موقع:

1. حاول بتصميم موقعك ان تستخدم النصوص بدلا من الصور والفلاشات
2. حاول تنظيم موقعك والتركيز على الصفحات الهامة والرئيسية
3. لا تستخدم الاطارات فى تصميم صفحات موقعك frames and ******s
4. حاول ان تكون روابط موقعك بصيغة html ولا تستخدم روابط طويلة وتحتوى على علامات استفهام
5. حاول ان تنشر موقعك بمواقع لها محتوى مشابة لموقعك او من نفس التخصص
6. لا تحاول ابدا خداع محركات البحث والتزم جيدا بالقوانين

هل يمكننى حذف روابط موقع يمتلكه شخص اخر من محركات البحث؟
لا يمكنك فعل ذلك من تلقاء نفسك ابدا ولكن يمكنك اخبار محرك البحث نفسه اذا وجدت موقع يخالف قوانين وشروط هذا المحرك ولكل محرك بحث طريقة يمكنك اخباره بها

اسئلة تتعلق بمدير الموقع
===========
كيف اعرف ان احد عناكب محركات البحث زار موقعى؟
يمكنك مراجعة سجل اداء السيرفر "logs" لمعرفة مصادر الزيارات لموقعك وفى الغالب اذا تكررت زيارة من مصدر معين ووجدت الزيارة قد استغرقت نفس المدة تقريبا فتأكد ان هذه عناكب لمحركات البحث ويمكنك الكشف عن المصدر للتأكد من ذلك ,ايضا اذا كان السيرفر يحتوى على تسجيل لأداء الـ User-agent فيمكنك من معرفة ذلك ايضا
, وهناك طريقة اخرى تمكنك من زلك اذا وجدت تكرار كثير لزيارة ملف الـ robots.txt
كل الطرق السابقة طرق بدائيه جدا يمكنك متابعة زوارك بمنتهى السهولة عن طريق بعض البرمجيات كما ان معظم البرمجيات الان تهتم بتوضيح وتفصيل زيارات عناكب محركات البحث نظرا لأهميتها

اذا زار موقعى احد عناكب محركات البحث ماذا افعل؟
لا كانت هذه العناكب معروفة لديك مثل عناكب google او yahoo فلا تفعل شىء فقط حاول ان تهتم بالـSEO ,اما اذا كانت العناكب مجهولة بالنسبة لك ولا تدرى هل هى خطيرة ام لا يمكنك حجبها عن طريق ملف الـrobots.txt

احد العناكب يستهلك موارد السيرفر بشكل كبير ماذا افعل؟"هام"
فى هذه الحالة لديك بعض الحلول او حل هو ان تقوم بأستخدام هذا الامر Crawl-delay: 1 للتقليل من سرعة تواجد هذه العناكب الضارة , ثانى حل: ان تقوم بحب هذه العناكب نهائيا , ثالث حل ان تتصل بمحرك البحث التابع له العناكب لتخبرهم بما تسببه لك عناكبهم من مشاكل

كيف يمكننى حجب احد العناكب؟"هام"
عن طريق هذا الامر