تجارة إلكترونية

كل ما تحتاج إلى معرفته عن ملف robots.txt

كل ما تحتاج لمعرفته حول ملفات bot .txt

إذا كنت تمتلك موقعا على الويب ، فلا شك في أن تحسين رؤية موقع الويب الخاص بك على الصفحة الأولى من نتائج محرك البحث أمر بالغ الأهمية بالنسبة لك. يمكنك تحقيق ذلك فقط إذا كنت قادرا على تسريع فهرسة صفحات موقع الويب الخاص بك ، لذلك .txt برامج الروبوت أهمية الملفات. لذا ، ما هو ملف txt bot؟ هل هو حقا بهذه الأهمية؟

دليل:

ما هو ملف txt بوت؟

البوت txt هو ملف نصي عادي يتم فيه وضع بعض التعليمات البرمجية البسيطة لمنع الزحف إلى صفحات معينة لا نريد ظهورها في محركات البحث. لذلك ، قم بتقليل كمية البيانات أو الصفحات التي يجب تتبعها من عناكب محرك البحث ، وبالتالي فهرسة مواقع الويب بسرعة على محركات البحث.

تمتلك عناكب البحث حصة معينة من صفحات موقع ويب واحد يجب ألا تتجاوز هذه الصفحات في عملية زحف واحدة. لذلك ، كلما قل عدد الصفحات ، كلما كان الفهرس أسرع. تتضمن الصفحات غير المهمة في عملية الفهرسة صفحات المسؤول ومجلدات المكونات الإضافية وقوالب السمات وصفحات مواصفات نواة WordPress نفسها ، من بين أمور أخرى.

تساعد .txt Bot موقع الويب الخاص بك على الحصول على نتائج مفيدة عن طريق زيادة سرعة الفهرسة عن طريق منع فهرسة الملفات والمجلدات غير المهمة. إنه يحسن استخدام الخادم من خلال منع الروبوتات التي تهدر الموارد ، لأنه يمنع الطلبات المتعددة المستلمة من زاحف Google من أن تصبح محملة بشكل زائد على الخادم.

ملفات Bot .txt إذا كانوا يعرفون نقاط ضعف WordPress ، فقد لا يخفون صفحتك عن الزوار ، ولكنه يساعد بشكل كبير في منع الجمهور من العثور على الصفحة التي لا تريد ظهورها.

ما هو محتوى ملف الروبوت .txt؟

يتكون ملف bot txt من مجموعة بسيطة من أسطر التعليمات البرمجية ، وتوضح الصورة التالية أحد أبسط أشكال الملف:

محتويات ملف الروبوت .txt

يمكن أن يحتوي الملف على عدة أسطر أخرى من التعليمات البرمجية الأكثر استخداما، مثل:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: https://Your_Domin/sitemap.xml

هذه هي:

  • يسمح لعنكبوت البحث بعرض الملفات التي تم تحميلها، مثل الصور ووسائط الفيديو، عبر الأمر السماح في مجلد التحميل أسفل المجلد الأصل لمحتوى wp.
  • يمنعهم الأمر Disallow لمجلد المكون الإضافي أسفل المجلد الأصل لمحتوى wp من عرض الملحق ومجلداتهم وملفاتهم.
  • امنعهم من رؤية المجلدات المسؤولة عن الوصول إلى موقع WP-admin ، وامنعهم من رؤية العديد من الملفات التمهيدية والروابط التابعة.

هل سيقوم ملف .txt الروبوت بحظر الوصول إلى الصفحة المحددة بشكل دائم؟

قد لا يمنع ملف .txt الروبوت صفحتك من الظهور بشكل دائم على محركات البحث، لأن موقعا آخر أو أكثر من مواقع الويب الأخرى قد يشير إلى .txt من خلال رابط إلى الصفحة المحظورة في ملف البوت. لذلك ، تزحف روبوتات محرك البحث إلى الصفحات ضد إرادتك وملفاتك.

في هذه الحالة ، يتمثل الحل في إنشاء علامات وصفية بإشارات noindex ، وهو نهج بسيط للغاية. للقيام بذلك عن طريق إضافة Yoast SEO ، انتقل إلى الإعدادات المتقدمة في أسفل الصفحة حيث تريد حظر الفهرسة. ويظهر ذلك في الشكل التالي:

002 noindex 1

بمجرد فتح الإعدادات المتقدمة ، ما عليك سوى تحديد الزر “لا” من عبارة “يجب على محركات البحث اتباع الروابط الموجودة في هذه المقالة أو الصفحة” ، كما هو موضح في الصورة.

003 noindex 2 e1624432520228

كيفية إنشاء ملف TXT بوت

يمكن إنشاء ملف الروبوت .txt يدويا أو بواسطة المكونات الإضافية الشائعة لكبار المسئولين الاقتصاديين مثل Yoast SEO أو الكل في واحد كبار المسئولين الاقتصاديين. ومع ذلك ، إذا كنت لا ترغب في كتابة التعليمات البرمجية الخاصة بك لمنع الأخطاء أو توفير الوقت ، فيمكنك بسهولة توظيف مطور محترف من خلال موقع العمل الحر ، وهو أكبر منصة عربية مستقلة للقيام بذلك بشكل احترافي.

1. إنشاء روبوت .txt من المفكرة

لنفترض أنك تقوم بتطوير وتصميم موقع ويب جديد ، وفي هذه الحالة لا تحتاج إلى فهرسة أي صفحات من هذا الموقع على محرك بحث. لذلك ، تريد منع برنامج التتبع من الوصول إلى موقعك بالكامل ، ويمكنك إنشاء ملف روبوت .txt باستخدام الأمر التالي:

User-agent: *

Disallow: /

إنشاء روبوت txt من المفكرة بسيط للغاية. ما عليك سوى كتابة الأمر باسم “robots” والامتداد “txt” في ملف المفكرة ، وتذكر أن الملف هو UTF-8 وليس ASCII العادي ، لمعرفة كيفية اختيار الترميز ، راجع الشكل التالي:

إنشاء روبوت .txt من المفكرة

2. إنشاء ملف روبوت .txt عبر أداة مولد txt الروبوت

هناك العديد من المواقع التي يمكنها إنشاء ملفات روبوت.txt مثل مواقع sureoak، حيث مع بعض الخبرة البسيطة يصبح من السهل إنشاء الملفات ثم تنزيلها، ثم إضافة ملفات الروبوت.txt ثم إضافتها إلى المجلد الجذر في مضيف الموقع، والذي عادة ما يكون المجلد public_html.

للقيام بذلك، انتقل إلى sureoak وأضف رابط ملف Sitemap، ثم أضف شفرة لحظر أي صفحات ومجلدات مثل هذه:

إنشاء ملف بوت .txt من خلال أداة إنشاء روبوت txt

3. إنشاء ملف بوت .txt عبر المكون الإضافي

تساعدك المكونات الإضافية الشائعة لكبار المسئولين الاقتصاديين مثل Yoast SEO أو محسنات محركات البحث الكل في واحد على منع برامج التتبع السيئة الأكثر شيوعا من الاستيلاء على بياناتك .txt من خلال التعليمات البرمجية المكتوبة في ملفات الروبوت. هناك نوعان من الروبوتات أو العناكب ، إما سيئة أو جيدة.

النوع الجيد هو ما نعرفه ، تماما مثل محرك الروبوت لبحث Google و Bing و Yondeks. جنبا إلى جنب مع الروبوتات من الشركات والمنظمات العالمية مثل Alexa ، اهتم بترتيب موقع الويب الخاص بك عالميا ومحليا. بالإضافة إلى روبوت موقع MOZ الذي يوفر مقاييس لموقع الويب الخاص بك بطريقة أخرى ، وهي هيئة أسماء النطاقات والشركات الأخرى التي تدعم موقع الويب الخاص بك.

من ناحية أخرى ، هناك روبوتات ضارة تبرمجها لأسباب مثل حذف محتوى موقع الويب الخاص بك ، وتنزيل أرشيفات كاملة من موقع الويب الخاص بك ، واستخراج الصور ، وغيرها من المحتويات المصممة لسرقة أو تدميرها.

يعد تثبيت ملف txt الروبوت أمرا بسيطا للغاية ، وهو أحد أسهل الطرق لمعالجته من خلال المكون الإضافي. كلا الملحقين لديهما القدرة على كتابة التعليمات البرمجية في ملفات .txt الروبوت. دعونا نرى كيف يتم ذلك:

أ. عن طريق إضافة جوست كبار المسئولين الاقتصاديين

بعد تثبيت وتفعيل ملحق Yoast SEO ، انتقل إلى القائمة الفرعية لكبار المسئولين الاقتصاديين وحدد “أدوات”:

006 robots txt by Yoast e1624433408877

سترى ما يلي، انقر على الرابط محرر الملفات:

007 robots txt by Yoast 2 e1624433500162

ثم انقر فوق الزر “إنشاء روبوت .txt”:

إنشاء .txt بوت مع ملحقات

يمكنك الآن كتابة التعليمة البرمجية التي تريدها من خلال المحرر ثم حفظ التغييرات التي أجريتها على ملف الروبوت .txt:

009 robots txt by Yoast 4 e1624433733112

ب. التحسين من قبل الكل في محرك بحث واحد

بعد تثبيت وتنشيط ملحق تحسين محركات البحث الكل في واحد ، انتقل إلى القائمة الفرعية وحدد الأدوات كما هو موضح في الشكل:

010 robots txt by All In One SEO e1624433813392

بتحديد علامة التبويب محرر .txt Bot، يمكنك النقر فوق تمكين .txt Bot المخصص وتنشيطه كما يلي:

011 robots txt by All In One SEO 2 e1624433908225

سترى حقلا في البداية يضيف سطرا من التعليمات البرمجية للسماح بملفات أو مجلدات معينة أو حظرها لزيادة عدد الحقول، انقر فوق إضافة تعليمات كما يلي:

إنشاء .txt بوت مع ملحقات

يمكنك الآن كتابة أسماء الملفات أو المجلدات التي تريد السماح بها أو حظرها كما يلي:

013 robots txt by All In One SEO 4 e1624434062837

انقر فوق حفظ التغييرات للحفظ وسيظهر الرمز في ملف الروبوت .txt.

كيفية اختبار ملف TXT بوت

لاختبار ما إذا كان ملف .txt الروبوت قد نجح في منع ظهور المرفقات، أكمل هذا الاختبار من خلال أداة اختبار روبوت Google Search Console. إذا تم إنشاء noindex لصفحة ويب تم اختبارها من خلال Google Search Console. تم إجراء الاختبار باستخدام الأدوات التالية:

اختبار ملف الروبوت الخاص بك .txt

تعد .txt ملفات الروبوتات مهمة جدا لمحركات البحث، خاصة بالنسبة لعملية الفهرسة، على سبيل المثال، يمكنك حظر محركات البحث مثل Bing من الوصول إلى أي صفحة تريدها، ويمكنك السماح للمحركات الأخرى بفهرسة المحتوى. ومع ذلك ، كقاعدة عامة ، فإن الملف ليس فعالا مثل منع المستخدمين من الوصول إلى مجلدات الموقع وصفحاته.

نشرت في: دليل شامل ، كبار المسئولين الاقتصاديين قبل عام

زر الذهاب إلى الأعلى