ما هي وظيفة ملف robots.txt
طريقه عمل ملف Robots.txt جاهز لارشفة سريعة جدا هو ملف نصي الغرض منه التحكم فى حركة روبوتات البحث . والتى ترد لمدونتك من خلال محركات البحث والتى تقوم بفهرسة مواضيع مدونتك . مثل جوجل أو بينج أو خلافه ، حيث يمكنك من خلال بعض الأوامر البسيطه التى تقوم بكتابتها بملف الروبوتس التحكم فى كل شىء بمدونتك . بخصوص الروابط التي لا يجب تضمينها في نتائج البحث.
يعني ذلك أنه يمكنك تقييد برامج روبوت محرك البحث للزحف إلى بعض الصفحات أو المواضيع بمدونتك.
بمساعدة ملف robots.txt ، نخبر محرك البحث بالصفحات التي يجب أو لا ينبغي الزحف إليها. ومن ثم يسمح لنا بالتحكم في عمل روبوتات محرك البحث.
في ملف robots.txt ، نستخدم وظيفة للإعلان عن روبوتات محرك البحث ، والصفحات المسموح لها بالزحف ، والصفحات غير المسموح لها بالزحف.
عادة ، نستخدم أوامر لجميع برامج الزحف لمحركات البحث لفهرسة الصفحات عبر الويب.
أفضل ملف robots txt جاهز
لإنشاء ملف robots.txt مخصص مثالي بلوجر. أولاً ، علينا أن نفهم طريقة عمل مدونة بلوجر. لهذا ، دعنا نحلل ملف robots.txt الافتراضي
بشكل افتراضي ، يبدو هذا الملف مثل يلي:
علينا منع مشكلة المحتوى المكرر هذه التي يسببها قسم الأرشيف.
يمكن تحقيق ذلك عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف.
لهذا ، يتعين علينا تطبيق قاعدة Disallow / 20 * في ملف robots.txt. لكن هذه القاعدة ستوقف الزحف إلى الصفحات.
ولتجنب ذلك.
يتعين علينا تطبيق قاعدة سماح جديدة لقسم /*.html تسمح لبرامج الروبوت بالزحف إلى المشاركات والصفحات
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: $#@#$
ملحوظه
يجب حذف هذا الكود$$##@ وضع لينك موقعك انت .
تتضمن خريطة الموقع الافتراضية منشورات وليست صفحات. لذلك يجب عليك إضافة خريطة موقع للصفحات الموجودة ضمن https://example.blogspot.com/sitemap-pages.xml
أو
https://www.example.com/sitemap-pages.xml
للمجال المخصص.
كيف نقوم بتفعيل الملف
يتم ذلك عبر خطوة واحده بسيطة من خلال لوحة تحكم مدونتك بلوجر .
- اضغط اعدادات او Setting .
- من خلال القائمة حرك مؤشر الصفحة إلى اسفل حتى تصل الى برامج الزحف والفهرسة.
- ملف روبوتس مخصص فى لوحة بلوجر الجديدة.
- امام تفعيل محتوى ملف robots.txt مخصص حرك المؤشر الرمادى بالماوس حتى يصبح لونة أخضر.كما بالصورة التالية.
- وهكذا تم تفعيل محتوى ملف robots.txt مخصص فى مدونتك ووفقا للوحة تحكم بلوجر الجديدة.
- اضغط على جملة ملف robots.txt مخصّص ستفتح معك نافذه منبثقة .
- تستطيع من خلالها التعديل على ملف الروبوتس سواء بتعديلة كاملا او بالحذف او بالإضافة ثم حفظ .
ملف روبوتس فى لوحة تحكم بلوجر الجديدة
وبهذه الطريقة يتم تعديل ملف الروبوتس لمدونات بلوجر. عمل ملف Robots.txt جاهز لارشفة سريعة ا
اذا كنت تبحث عن افضل القوالب الاضافات اذهب من هنا الي قسم شروحات بلوجر
