आपकी वेबसाइट की जड़ में संग्रहीत एक robots.txt फ़ाइल वेब रोबोट्स को खोज इंजन स्पाइडर बताएगी कि कौन सी निर्देशिकाएं और फ़ाइलों को क्रॉल करने की अनुमति है। Robots.txt फ़ाइल का उपयोग करना आसान है, लेकिन कुछ चीजें आपको याद रखना चाहिए:
- ब्लैक टोपी वेब रोबोट आपकी robots.txt फ़ाइल को अनदेखा कर देगा। सबसे आम प्रकार मैलवेयर बॉट और रोबोट हैं जो फसल के लिए ईमेल पते की तलाश में हैं।
- कुछ नए प्रोग्रामर रोबोट लिखेंगे जो robots.txt फ़ाइल को अनदेखा करते हैं। यह आमतौर पर गलती से किया जाता है।
- कोई भी आपकी robots.txt फ़ाइल देख सकता है। उन्हें हमेशा robots.txt कहा जाता है और हमेशा वेबसाइट की जड़ पर संग्रहीत किया जाता है।
- अंत में, अगर कोई फ़ाइल या निर्देशिका से लिंक करता है जो आपके robots.txt फ़ाइल द्वारा किसी पृष्ठ से बाहर रखा गया है जो उनके robots.txt फ़ाइल से बाहर नहीं है, तो खोज इंजन इसे वैसे भी पा सकते हैं।
कुछ भी छिपाने के लिए robots.txt फ़ाइलों का उपयोग न करें। इसके बजाए, आपको सुरक्षित पासवर्ड के पीछे महत्वपूर्ण जानकारी डालना चाहिए या इसे वेब से पूरी तरह से छोड़ देना चाहिए।
इन नमूना फ़ाइलों का उपयोग कैसे करें
पाठ को उस नमूना से कॉपी करें जो आप करना चाहते हैं उसके करीब है, और इसे अपनी robots.txt फ़ाइल में पेस्ट करें। अपनी पसंदीदा कॉन्फ़िगरेशन से मेल खाने के लिए रोबोट, निर्देशिका और फ़ाइल नाम बदलें।
दो मूल Robots.txt फ़ाइलें
उपभोक्ता अभिकर्ता: *
अस्वीकार करें: /
यह फ़ाइल कहती है कि किसी भी रोबोट (उपयोगकर्ता-एजेंट: *) जो इसे एक्सेस करता है उसे साइट पर प्रत्येक पृष्ठ को अनदेखा करना चाहिए (अस्वीकार करें: /)।
उपभोक्ता अभिकर्ता: *
अनुमति न दें:
यह फ़ाइल कहती है कि किसी भी रोबोट (उपयोगकर्ता-एजेंट: *) जो इसे एक्सेस करता है उसे साइट पर प्रत्येक पृष्ठ को देखने की अनुमति है (अस्वीकार करें:)।
आप अपनी robots.txt फ़ाइल को खाली छोड़कर या अपनी साइट पर कोई भी नहीं छोड़कर ऐसा भी कर सकते हैं।
रोबोट से विशिष्ट निर्देशिकाओं की रक्षा करें
उपभोक्ता अभिकर्ता: *
अस्वीकार करें: / cgi-bin /
अस्वीकार करें: / temp /
यह फ़ाइल कहती है कि किसी भी रोबोट (उपयोगकर्ता-एजेंट: *) जो इसे एक्सेस करता है उसे निर्देशिका / cgi-bin / और / temp / (अस्वीकार करें: / cgi-bin / अस्वीकृति: / temp /) को अनदेखा करना चाहिए।
रोबोट से विशिष्ट पेजों को सुरक्षित रखें
उपभोक्ता अभिकर्ता: *
अस्वीकार करें: /jenns-stuff.htm
अस्वीकार करें: /private.php
यह फ़ाइल कहती है कि किसी भी रोबोट (उपयोगकर्ता-एजेंट: *) जो इसे एक्सेस करता है उसे फ़ाइलों / jenns-stuff.htm और /private.php को अनदेखा करना चाहिए (अस्वीकार करें: /jenns-stuff.htm अस्वीकार करें: /private.php)।
अपनी साइट तक पहुंचने से एक विशिष्ट रोबोट को रोकें
उपयोगकर्ता-एजेंट: लाइकोस / एक्सएक्स
अस्वीकार करें: /
यह फ़ाइल कहती है कि लाइकोस बॉट (उपयोगकर्ता-एजेंट: लाइकोस / एक्सएक्स) साइट पर कहीं भी पहुंच की अनुमति नहीं है (अस्वीकार करें: /)।
केवल एक विशिष्ट रोबोट एक्सेस की अनुमति दें
उपभोक्ता अभिकर्ता: *
अस्वीकार करें: /
उपयोगकर्ता-एजेंट: Googlebot
अनुमति न दें:
यह फ़ाइल पहले हमारे द्वारा किए गए सभी रोबोटों को अस्वीकार करती है, और फिर स्पष्ट रूप से Googlebot (उपयोगकर्ता-एजेंट: Googlebot) को सबकुछ तक पहुंचने देता है (अस्वीकार:)।
सटीक रूप से बहिष्कार प्राप्त करने के लिए एकाधिक पंक्तियों को संयोजित करें
हालांकि उपयोगकर्ता-एजेंट की तरह एक बहुत ही समावेशी उपयोगकर्ता-एजेंट लाइन का उपयोग करना बेहतर है: *, आप जितना चाहें उतना विशिष्ट हो सकते हैं। याद रखें कि रोबोट क्रम में फ़ाइल को पढ़ते हैं। तो यदि पहली पंक्तियां कहती हैं कि सभी रोबोट सबकुछ से अवरुद्ध हैं, और बाद में फ़ाइल में यह कहता है कि सभी रोबोटों को सबकुछ तक पहुंच की अनुमति है, रोबोटों के पास सबकुछ तक पहुंच होगी।
यदि आप सुनिश्चित नहीं हैं कि आपने अपनी robots.txt फ़ाइल सही तरीके से लिखी है, तो आप अपनी robots.txt फ़ाइल को जांचने या एक नया लिखने के लिए Google के वेबमास्टर टूल्स का उपयोग कर सकते हैं।