الطريقة الوحيدة للتواصل مع عنكبوت محرك البحث أو ملف الزاحف، من خلال ملف يسمى ملف robots.txt. أو أفضل. عندما تقدم اقتراح موقع الويب الخاص بك إلى Google ، فإنه يواجه ببساطة قدرًا هائلاً من المعلومات.

كيف تستشير كتابًا مدرسيًا كبيرًا لدرجة أنك تشعر أنك لن تجد كل ما تحتاجه أبدًا؟ أنت تستشير مؤشر. حسنًا: ملف robots.txt هو فهرس موقع الويب الخاص بك.

هذا مستند سهل الملء يخبر برنامج تتبع ارتباطات محرك البحث بما يجب البحث عنه. باختصار: ستساعده في فهم ما يتكون منه موقعك ، بحيث يمكن أن تمنحك الخوارزمية تصنيفًا يتوافق مع العمل الذي قمت به.

هل يمكن لأي شخص كتابة ملف robots.txt؟

الإجابة القصيرة هي نعم. الجواب الصادق هو لا. على الرغم من أن القواعد النحوية لملف robots.txt بسيطة للغاية ، ويتكون تكوينها من بضعة أسطر ، فمن الأفضل الاعتماد على رعاية مشرف موقع خبير يعرف مكان وضع يديه. بعد كل شيء ، هناك خطأ صغير كافٍ للتنازل عن تحديد موقع موقع الويب الخاص بك ، وبالتالي إرسال جميع عمليات تحسين محركات البحث إلى التوقف قبل البدء.

قبل أن تبدأ ، اعرف شيئًا واحدًا: يمكن لأي شخص الرجوع إلى ملف robots.txt لأي موقع عن طريق كتابة /robots.txt بعد المجال. يمكنك حتى استشارة جوجل!

يمكنك كتابة مثل هذا الملف دون تنزيل برامج خاصة. في الواقع ، يكفي استخدام المفكرة الخاصة بك وحفظها بتنسيق txt.

لنكتب معًا ملف robots.txt: العنوان

لنبدأ من البداية ، كما هو منطقي دائمًا. فتح الملف ، أو بالأحرى الرأس ، مخصص بالكامل لاسم العنكبوت ، مسبوقًا بصيغة صغيرة هي نفسها دائمًا. لنفترض أنك تريد أن تحظى باهتمام Google. لذلك سيكون السطر الأول:

وكيل المستخدم: Googlebot

تخبر هذه السلسلة القصيرة جدًا Google أن كل ما يليها سيكون بالتأكيد ذا فائدة لها. إذا كنت تريد أن تتمكن جميع برامج الزحف التي تقرأ هذا النوع من الملفات من الرجوع إلى المستند ، فاستبدل Googlebot بعلامة * أو a asterisco.

الآن بعد أن أشرت إلى أي عنكبوت ، أي منظمة الصحة العالمية ، ستحتاج إلى الإشارة أيضا ما سيقرأه.

كل سطر من التعليمات البرمجية ، حسب التعريف ، يتوافق مع إجراء للجهاز. وغني عن القول أن كل أمر في ملف robots.txt يتوافق مع ما لا يجب على الجهاز فعله. وهذا هو المفتاح الذي يسمح لك بكتابة واحدة فعالة حقًا. نحن نتحدث عن الأمر DISALLOW.

ما هو الأمر DISALLOW؟

Il أمر عدم السماح يسمح لك بالتفكير عن طريق الاستبعاد. بعبارة أخرى ، عندما يقال إنه أولًا من يقول ما لا ينبغي فعله - حسنًا ، أنت تفكر بالاستبعاد. بالإضافة إلى عدم السماح ، هناك أيضًا السماح ، وهو استثناء للكتلة.

إذا كنت تريد كتابة ملف روبوت جيد ، فسيتعين عليك التفكير في الاتجاه المعاكس ، لذلك عليك إخبار Google بما لا ينبغي قراءته. إذا كتبت:

عدم السماح:

سيقرأ العنكبوت موقعك بالكامل ، دون أي مكابح.

إذا قمت بعد "Disallow:" بإدخال شرطة مائلة (وبالتالي Disallow: /) ، فلن يتم إدخال الموقع في محركات البحث ، بنقطة.

Disallow: / الدلائل /

استبدل دليل الكلمات بالمجلد الذي تريد رفضه من عرض العنكبوت. يمكنك أن تفعل الشيء نفسه مع ملف معين.

Disallow: /myfile.html

الانتباه إلى علامات الترقيم والحروفأو الأحرف الكبيرة أو الصغيرة. هذا النوع من الملفات يحمل هذه الأنواع من "التفاهات" في الاعتبار بشكل كبير ، لكنها تحدث فرقًا كبيرًا.

لماذا تمنع Google من قراءة جزء كبير من موقعك؟ عند كتابة ملف من هذا النوع ، من المهم أن تفهم الملفات التي لا يجب أن تظهر على محرك البحث ، ولكن دون إساءة استخدامها. ومع ذلك ، اعلم أن أي شخص يعرف العنوان الدقيق لهذا الملف المحدد سيكون قادرًا على الوصول إليه في أي حال.

ما هو الأمر "السماح"؟

في الملف يمكنك إضافة استثناء مع الأمر السماح. القواعد متطابقة ، لكنها ستخلق بعض الاستثناءات لـ DISALLOW والتي ستسمح بفتح هوامش استكشاف مثيرة للاهتمام للعنكبوت.

ملف عينة صغير:

وكيل المستخدم: Googlebot

Disallow: / images /

السماح: /images/holidays.jpg

أخبرنا Googlebot بشكل أساسي ألا يأخذ في الاعتبار مجلد الصور ، باستثناء صورة معينة بداخله ، أي صورة الأعياد.

وهذا هو ، يا شباب. كتبنا أول ملف robots.txt لدينا. بالتأكيد ، قد يكون ما سنفعله للموقع الفعلي مختلفًا بعض الشيء ، ولكن ليس كثيرًا. إذا كنت في شك ، احصل دائمًا على المشورة من مشرف موقع متخصص. ننصحك بمحاولة كتابتها بنفسك ، أولاً وقبل كل شيء ، وإرسالها إليه للتحقق ، وذلك لإتقان الأساسيات وفهم كيفية عمل موقعك بشكل أفضل.

ما هي العلاقة بين ملف robots.txt وخرائط الموقع؟

ملف Sitemap هو ملف تم إنشاؤه بواسطة مكونات إضافية خاصة تحتوي على جميع الروابط الموجودة على الموقع. عندما يدخل العنكبوت إلى الموقع ، يقرأ أولاً الروبوتات ، ثم يزحف إلى الموقع. إذا عثر الروبوت أثناء الزحف على عنوان خريطة الموقع ، فستكون العملية برمتها أسهل بكثير.

أضف ما يلي إلى الكود أعلاه:

خريطة الموقع: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

في الختام

جميع ملفات الروبوتات هي نفسها. هذا يعني أن ملف Robots المكتوب لـ Google سيعمل أيضًا بشكل جيد مع Bing ، ويتبع نفس القواعد.

يتيح لك ملف robots.txt المنظم جيدًا القيام بذلك توفير وقت الزاحف. لا تحبط: هذه هي الخطوة الأولى نحو النجاح!

فيما يلي ثلاث أفكار قد تهمك:

تطور محركات البحث: تأثير الذكاء الاصطناعي ، دور جوجل
خرائط Google أكثر اخضرارًا ، حيث تستكشف… المتنزهات الوطنية
إليك كيف يفوز الذكاء الاصطناعي من Google في كل تحد