SEO के लिए सर्वोत्तम Robots.txt फ़ाइल कैसे बनायें

हर कोई “जुगाड़ ” से प्यार करता है।

मैं कोई अपवाद नहीं हूं- मुझे अपने जीवन को बेहतर और आसान बनाने के तरीके खोजना बहुत पसंद है।

इसीलिए आज मैं आपको जिस तकनीक के बारे में बताने जा रहा हूं वह मेरी सबसे पसंदीदा चीज़ों में से एक है। यह एक वैध SEO जुगाड़ है जिसे आप तुरंत उपयोग करना शुरू कर सकते हैं।

यह हर वेबसाइट के एक स्वाभाविक हिस्से का लाभ उठाकर अपने SEO को बढ़ाने का एक तरीका है जिसके बारे में शायद ही कभी बात की जाती है। इसे लागू करना भी मुश्किल नहीं है।

यह robots.txt फ़ाइल है (इसे robots exclusion  प्रोटोकॉल या मानक भी कहा जाता है)।

यह नन्ही सी Text फ़ाइल इंटरनेट पर हर वेबसाइट का हिस्सा है लेकिन ज्यादातर लोग इसके बारे में जानते भी नहीं हैं।

इसे Search Engines के साथ काम करने के लिए डिज़ाइन किया गया है लेकिन आश्चर्य की बात यह है कि यह SEO रस का एक स्रोत है जो केवल खुल जाने की प्रतीक्षा कर रहा है।

मैंने बहुत से क्लाइंट को अपने SEO को बढ़ाने के लिए झुकते देखा है। जब मैं उन्हें बताता हूं कि वे एक छोटी Text फ़ाइल को संपादित कर सकते हैं तो वे ज्यादातर मेरा विश्वास नहीं करते।

हालाँकि, SEO बढ़ाने के कई तरीके हैं जो मुश्किल या समय लेने वाले नहीं हैं और यह उनमें से एक है।

Robots.txt की शक्ति का लाभ उठाने के लिए आपको कोई तकनीकी अनुभव नहीं चाहिए। यदि आप अपनी वेबसाइट के Source Code तक पहुँच सकते हैं तो आप इसका उपयोग कर सकते हैं।

इसलिए जब आप तैयार हों तो मेरे साथ-साथ चलें और मैं आपको दिखाऊँगा कि कैसे आप अपनी robots.txt फ़ाइल को बदल सकते हैं ताकि ये Search Engines को पसंद आए।

Robots.txt फ़ाइल महत्वपूर्ण क्यों है

सबसे पहले आइए एक नज़र डालते हैं कि पहली बार में Robots.txt फ़ाइल क्यों मायने रखती है।

Robots.txt फ़ाइल, जिसे robots exclusion प्रोटोकॉल या मानक के रूप में भी जाना जाता है, एक Text फ़ाइल है जो Web Robots (अधिकतर Search Engines ) को बताती है कि आपकी साइट पर कौन सा पेज Crawl करना है।

यह Web Robots को यह भी बताती है कि कौन से पेज Crawl नहीं  करने हैं।

मान लें कि Search Engine किसी साइट पर जाने वाला है। इससे पहले कि वह Target Page पर जाए, वह निर्देश के लिए Robots.txt की जाँच करेगा।

विभिन्न प्रकार की Robots.txt फाइलें होती हैं, तो आइए कुछ अलग अलग उदाहरण देखें कि वे कैसी दिखती हैं।

मान लें कि Search Engine को यह उदाहरण robots.txt फ़ाइल मिल गयी है:

यह Robots.txt फ़ाइल का एक मूल ढांचा है।

“user-agent” के बाद तारांकन का अर्थ है कि robots.txt फ़ाइल उन सभी Web Robots पर लागू होती है जो साइट पर आते हैं।

“Disallow” के बाद स्लैश Robot को साइट पर किसी भी पृष्ठ पर नहीं जाने के लिए कहता है।

आप सोच रहे होंगे कि कोई भी Web Robots को अपनी साइट पर जाने से क्यों रोकना चाहेगा।

आखिरकार, SEO का एक प्रमुख लक्ष्य Search Engine से आपकी साइट को आसानी से Crawl करवाना है ताकि वो आपकी रैंकिंग बढ़ाए।

यही वह जगह है जहां इस SEO जुगाड़ का रहस्य आता है।

संभवतः आपकी साइट पर बहुत सारे पृष्ठ होंगे , है ना? यहां तक ​​कि अगर आपको नहीं लगता कि ऐसा है तो जाँच लीजिये । आप हैरान हो सकते हैं।

यदि कोई Search Engine आपकी साइट को Crawl करता है तो यह आपके हर एक पृष्ठ को Crawl करेगा।

और यदि आपके पास बहुत सारे पृष्ठ हैं तो उन्हें Crawl करने के लिए Search Engine को कुछ समय लगेगा, जिससे आपकी रैंकिंग पर नकारात्मक प्रभाव पड़ सकता है।

क्योंकि Googlebot (Google का Search Engine Bot) का  एक “Crawl Budget” है।

यह दो भागों में बंट जाता है। पहला Crawl दर सीमा है। यहाँ बताया गया है कि Google इसे कैसे समझाता है:

दूसरा भाग Crawl Demand है :

मूल रूप से Crawl Budget यह है कि “Googlebot कितने URL Crawl कर सकता है और करना चाहता है।”

आप Googlebot को अपनी साइट के लिए अपने Crawl Budget को सर्वोत्तम तरीके से खर्च करने में मदद करना चाहते हैं। दूसरे शब्दों में, इसे आपके सबसे मूल्यवान पृष्ठों को Crawl करना चाहिए।

Google के अनुसार ऐसे कुछ कारक हैं जो “साइट के Crawling और Indexing को नकारात्मक रूप से प्रभावित करते हैं।”

ये हैं वे कारक:

तो चलिए robots.txt पर वापस आते हैं।

यदि आप सही robots.txt पेज बनाते हैं तो आप Search Engine Bots (और विशेष रूप से Googlebot) को कुछ पेज छोड़ने के लिए कह सकते हैं।

परिणामों के बारे में सोचिये । यदि आप Search Engine Bots को केवल आपकी सबसे उपयोगी सामग्री को Crawl करने के लिए कहते हैं तो Bots अकेले उस सामग्री के आधार पर आपकी साइट को Crawl और Index करेंगे।

जैसा कि Google इसे बताता है:

“आप अपने सर्वर को Google के Crawler से अभिभूत नहीं करना चाहते हैं या आपकी साइट पर महत्वहीन या समान पृष्ठों पर Crawl Budget को बर्बाद नहीं करना चाहते हैं।”

अपने robots.txt का सही तरीके से उपयोग करके आप Search Engine Bots को अपने Crawl Budget को बुद्धिमानी से खर्च करने के लिए कह सकते हैं। और यही वह बात है जो robots.txt फ़ाइल को SEO के संदर्भ में इतना उपयोगी बनाता है।

Robots.txt की शक्ति से प्रेरित हैं?

आपको होना चाहिए! आइए इस बारे में बात करें कि इसे कैसे खोजा जाए और इसका उपयोग कैसे किया जाए

अपनी robots.txt फ़ाइल ढूँढना

यदि आप बस अपनी robots.txt फ़ाइल को एक बार देखना चाहते हैं तो इसे देखने का एक आसान तरीका है।

वास्तव में, यह विधि किसी भी साइट के लिए काम करेगी। इसलिए आप अन्य साइटों की फ़ाइलों को देख सकते हैं और जान सकते हैं कि वे क्या कर रहे हैं।

आपको बस अपने ब्राउज़र के Search Bar में अपनी साइट का मूल URL डालना है  (उदाहरण के लिए  Neilpatel.com, Quicksprout.com आदि)  । फिर अंत में /robots.txt जोड़ें।

तीन स्थितियों में से एक होगी :

1) आप एक robots.txt फ़ाइल पाएंगे।

2) आपको एक खाली फ़ाइल मिलेगी।

उदाहरण के लिए डिज़नी में robots.txt फ़ाइल की कमी प्रतीत होती है:

3) आपको 404 मिलेगा ।

Robots.txt के लिए Method 404 देता है:

एक सेकंड निकालिए और अपनी खुद की साइट की robots.txt फ़ाइल देखिये ।

यदि आपको कोई खाली फ़ाइल या 404 मिलता है तो आप उसे ठीक करना चाहेंगे ।

यदि आपको कोई मान्य फ़ाइल मिलती है तो संभवतः यह डिफ़ॉल्ट सेटिंग्स पर सेट होती है जो आपकी साइट बनाते समय बनाई गई थी।

मैं विशेष रूप से अन्य साइटों की robots.txt फ़ाइलों को देखने के लिए इस विधि को पसंद करता हूं। एक बार जब आप robots.txt के ins और outs सीख लेते हैं तो यह एक मूल्यवान अभ्यास हो सकता है।

अब देखते हैं वास्तव में अपनी robots.txt फ़ाइल को कैसे बदलें  ।

अपनी robots.txt फ़ाइल ढूँढना

आपके अगले चरण इस बात पर निर्भर करने वाले हैं कि आपके पास robots.txt फ़ाइल है या नहीं। (ऊपर वर्णित विधि का उपयोग करके जाँच करें कि आपके पास robots.txt फ़ाइल है या नहीं ।)

यदि आपके पास robots.txt फ़ाइल नहीं है तो आपको बिलकुल शुरुआत से इसे बनाने की आवश्यकता होगी। नोटपैड (विंडोज़) या TextEdit (मैक) की तरह का एक Plain Text Editor खोलें।

इसके लिए केवल एक Plain Text Editor का उपयोग करें। यदि आप Microsoft Word जैसे प्रोग्राम का उपयोग करते हैं तो प्रोग्राम Text में अतिरिक्त कोड डाल सकता है।

Editpad.org एक बेहतरीन मुफ्त विकल्प है और आप इस लेख में मुझे इसका उपयोग करते देख सकते हैं।

वापस robots.txt की तरफ । यदि आपके पास एक robots.txt फ़ाइल है तो आपको इसे अपनी साइट की Root Directory में खोजना होगा।

यदि आपको Source Code में इधर-उधर ताक-झांक करना नहीं आता तो आपके robots.txt फ़ाइल के संपादन योग्य संस्करण का पता लगाना थोड़ा मुश्किल हो सकता है।

आमतौर पर आप अपनी होस्टिंग खाते की वेबसाइट पर जाकर अपनी साइट के फ़ाइल प्रबंधन या FTP अनुभाग में प्रवेश करके अपनी Root Directory पा सकते हैं।

आपको कुछ इस तरह दिखना चाहिए:

अपनी robots.txt फ़ाइल ढूंढें और इसे संपादन के लिए खोलें। सारा Text हटाएं लेकिन फ़ाइल को रखें।

नोट: यदि आप WordPress का उपयोग कर रहे हैं तो जब आप yoursite.com/robots.txt पर जाते हैं तो आप एक robots.txt फ़ाइल देख सकते हैं लेकिन आप इसे अपनी फ़ाइलों में नहीं खोज पाएंगे ।

ऐसा इसलिए है क्योंकि यदि Root Directory में कोई robots.txt फाइल नहीं है तो WordPress एक वर्चुअल robots.txt फ़ाइल बनाता है

यदि आपके साथ ऐसा होता है तो आपको एक नई robots.txt फ़ाइल बनाने की आवश्यकता होगी।

Robots.txt फ़ाइल बनाना

आप अपनी पसंद के Plain Text Editor का उपयोग करके एक नई robots.txt फ़ाइल बना सकते हैं। (याद रखें, केवल एक Plain Text Editor का उपयोग करें।)

यदि आपके पास पहले से ही एक robots.txt फ़ाइल है तो सुनिश्चित करें कि आपने सारे Text को हटा दिया है (लेकिन फ़ाइल को नहीं)।

सबसे पहले आपको robots.txt फ़ाइल में उपयोग किए गए कुछ Syntax से परिचित होना होगा।

कुछ मूलभूत  robots.txt शब्दों की Google के पास अच्छी व्याख्या है:

मैं आपको यह दिखाने जा रहा हूँ कि कैसे एक सरल  robot.txt  फ़ाइल सेट की जाए और फिर हम इस पर एक नज़र डालेंगे कि इसे SEO के लिए कैसे अनुकूलित करें।

User-agent शब्द सेट करने से शुरू करें। हम इसे सेट करने जा रहे हैं ताकि यह सभी Web Robots पर लागू हो।

User-agent शब्द के बाद तारांकन चिह्न का उपयोग करके ऐसा करें:

इसके बाद  “Disallow” टाइप करें लेकिन उसके बाद कुछ भी टाइप न करें।


चूंकि Disallow के बाद कुछ भी नहीं है, इसलिए Web Robots को आपकी पूरी साइट को Crawl करने के लिए निर्देशित किया जाएगा। अभी आपकी साइट पर सब कुछ उचित है।

अब तक आपकी robots.txt फ़ाइल को इस तरह दिखना चाहिए:


मुझे पता है कि यह बिलकुल साधारण लगता है लेकिन ये दो लाइनें पहले से ही बहुत कुछ कर रही हैं।

आप अपने XML साइटमैप से भी लिंक कर सकते हैं लेकिन यह आवश्यक नहीं है। यदि आप चाहते हैं तो देखिये क्या लिखना है :


मानो या न मानो, एक बुनियादी robots.txt फ़ाइल ऐसी ही दिखती है।

अब आइए इसे अगले स्तर पर ले जाएं और इस छोटी फ़ाइल को SEO booster में बदल दें।

 Robots.txt को SEO के लिए ऑप्टिमाइज़ करना

आप robots.txt को कैसे अनुकूलित करते हैं यह सब आपकी साइट पर मौजूद सामग्री पर निर्भर करता है। आपके लाभ के लिए robots.txt का उपयोग करने के सभी प्रकार के तरीके हैं।

मैं इसका उपयोग करने के कुछ सबसे सामान्य तरीकों पर जाऊंगा।

(ध्यान रखें कि आपको Search Engines से पृष्ठों को ब्लॉक करने के लिए robots.txt का उपयोग नहीं करना चाहिए । इसके लिए बिलकुल मनाही है।)

Robots.txt फ़ाइल के सबसे अच्छे उपयोगों में से एक है, Search Engines के Crawl Budget को अधिकतम करके यह बताना कि वे आपकी साइट के उन हिस्सों को Crawl न करें जो जनता के लिए प्रदर्शित नहीं होते हैं।

उदाहरण के लिए यदि आप इस साइट (neilpatel.com) के लिए robots.txt फ़ाइल पर जाते हैं, तो आप देखेंगे कि यह लॉगिन पृष्ठ (wp-admin) को रोक देता है।

चूँकि वह पृष्ठ केवल साइट के Backend में Login करने के लिए उपयोग किया जाता है, इसलिए  Search Engines Bots के लिए इस पर अपना समय बर्बाद करना सही नहीं होगा ।

(यदि आपके पास WordPress है तो आप इसी सटीक Disallow लाइन का उपयोग कर सकते हैं।)

Bots को विशिष्ट पृष्ठों को Crawl  करने से रोकने के लिए आप इसी तरह के निर्देश (या कमांड) का उपयोग कर सकते हैं। Disallow के बाद URL के उस हिस्से को एंटर करें जो .com के बाद आता है । इसे दो आगे की स्लैश के बीच रखें।

इसलिए यदि आप अपने पृष्ठ  http://yoursite.com/page/  को Crawl नहीं करना चाहते हैं तो आप इसे इस तरह टाइप कर सकते हैं:

आप सोच रहे होंगे कि विशेष रूप से किस प्रकार के पृष्ठों को Indexation से बाहर रखा जाए। यहां कुछ सामान्य परिदृश्य हैं जहां ऐसा होगा:

उद्देश्यपूर्ण डुप्लिकेट सामग्री  हालाँकि डुप्लिकेट सामग्री ज्यादातर एक बुरी बात है, ऐसे कुछ मामले हैं जिनमें यह आवश्यक और स्वीकार्य है।

उदाहरण के लिए, यदि आपके पास किसी पृष्ठ का प्रिंटर-अनुकूल संस्करण है तो आपके पास तकनीकी रूप से डुप्लिकेट सामग्री है। इस स्थिति में आप Bots को उन संस्करणों में से एक को Crawl नहीं करने के लिए कह सकते हैं (आमतौर पर प्रिंटर के अनुकूल संस्करण)।

यह तब भी मान्य है यदि आप उन पृष्ठों की Split-Testing करते हैं जिनमें समान सामग्री लेकिन विभिन्न डिज़ाइन हो |

धन्यवाद पेज   धन्यवाद पेज Marketer के पसंदीदा पृष्ठों में से एक है क्योंकि इसका अर्थ है नई लीड।

…सही?

जैसा कि यह पता चला है, कुछ धन्यवाद पृष्ठ  Google के माध्यम से सुलभ हैं । इसका मतलब है कि  Lead Capture Process से गुजरे बिना लोग इन पेजों को Acess कर सकते हैं और यह बुरी खबर है।

अपने धन्यवाद पृष्ठों को Block करके आप यह सुनिश्चित कर सकते हैं कि केवल योग्य लीड उन्हें देख सकें ।

तो चलिए माना कि आपका धन्यवाद पृष्ठ  https://yoursite.com/thank-you/  पर पाया जाता है। आपकी robots.txt फ़ाइल में उस पृष्ठ को Block करना इस तरह दिखाई देगा:


चूंकि कोई सार्वभौमिक नियम नहीं हैं कि किस पृष्ठ को Disallow करना है, आपकी robots.txt फ़ाइल आपकी साइट के लिए अद्वितीय होगी। यहां अपने फैसले का उपयोग करें।

दो अन्य निर्देश हैं जिनका आपको पता होना चाहिए: noindex और  nofollow.

आप जानते हैं कि हम Disallow निर्देश का उपयोग कर रहे हैं? यह वास्तव में पृष्ठ को Index होने से नहीं रोकता है।

इसलिए सैद्धांतिक रूप से आप एक पृष्ठ को Disallow कर सकते हैं लेकिन यह फिर भी  Index में  हो सकता है।

आमतौर पर आप ऐसा नहीं चाहते हैं।

इसलिए आपको Noindex निर्देश की आवश्यकता है। यह Disallow निर्देश के साथ काम करता है और सुनिश्चित करता है कि Bots कुछ पृष्ठों को न देखें या Index न करें ।

यदि आपके पास कुछ ऐसे पृष्ठ हैं जिन्हें आप Index नहीं करना चाहते हैं (जैसे वे कीमती धन्यवाद पृष्ठ), तो आप Disallow और Noindex निर्देश दोनों का उपयोग कर सकते हैं:


अब वह पृष्ठ SERPs में प्रदर्शित नहीं होगा।

अंत में , एक Nofollow निर्देश है। यह वास्तव में एक Nofollow लिंक के समान है। संक्षेप में, यह Web Robots को एक पृष्ठ पर Links को Crawl नहीं करने के लिए कहता है।

लेकिन Nofollow निर्देश को थोड़ा अलग तरीके से लागू किया जाता है क्योंकि यह वास्तव में robots.txt फ़ाइल का हिस्सा नहीं है।

हालाँकि, nofollow निर्देश फिर भी Web Robots को निर्देश दे रहा है, इसलिए यह एक ही अवधारणा है। फर्क सिर्फ इतना है कि यह कहां होता है।

उस पृष्ठ का source code खोजें जिसे आप बदलना चाहते हैं, और सुनिश्चित करें कि आप <head> टैग के बीच में हैं


फिर इस पंक्ति को चिपकाएँ:

<meta name=”robots” content=”nofollow”>

तो यह इस तरह दिखना चाहिए:


सुनिश्चित करें कि आप इस लाइन को किसी अन्य टैग के बीच नहीं डाल रहे हैं — सिर्फ <head> टैग।

यह धन्यवाद पृष्ठों के लिए एक और अच्छा विकल्प है क्योंकि Web Robots किसी भी लीड मैग्नेट या अन्य विशेष सामग्री के Link को Crawl नहीं करते हैं।

यदि आप Noindex और Nofollow दोनों निर्देशों को जोड़ना चाहते हैं, तो कोड की इस पंक्ति का उपयोग करें:

<meta name=”robots” content=”noindex,nofollow”>

यह Web Robots को एक ही बार में दोनों निर्देश देगा।

सब कुछ परीक्षण करना 

अंत में, अपने robots.txt फ़ाइल का परीक्षण करें और सुनिश्चित करें कि सब कुछ वैध और सही तरीके से संचालित हो रहा है |

Gogle वेबमास्टर टूल के एक भाग के रूप में एक मुफ्त robots.txt परीक्षक प्रदान करता है।

सबसे पहले, ऊपर दाहिने कोने पर “साइन इन” पर क्लिक करके अपने वेबमास्टर्स खाते में साइन इन करें।

अपनी संपत्ति (यानी, वेबसाइट) चुनें और बाएं हाथ के साइडबार में “Crawl” पर क्लिक करें।

आपको “robots.txt Tester” दिखाई देगा, उस पर क्लिक करें।

यदि बॉक्स में पहले से कोई कोड है तो उसे हटा दें और उसे अपनी नई robots.txt फ़ाइल से बदल दें।

स्क्रीन के निचले दाहिने हिस्से पर “टेस्ट” पर क्लिक करें।

यदि “Text” text “Allowed” में बदल जाता है तो इसका मतलब है कि आपकी robots.txt वैध है।

यहां टूल के बारे में कुछ और जानकारी दी गई है ताकि आप विस्तार से जान सकें कि सब कुछ क्या है।

अंत में, अपनी robots.txt को अपनी Root Directory पर अपलोड करें (या यदि आपके पास पहले से ही है तो इसे वहां सेव करें)। अब आप एक शक्तिशाली फ़ाइल से लैस हैं और आपको अपनी खोज दृश्यता में वृद्धि दिखनी चाहिए।

निष्कर्ष

मैं हमेशा ही छोटे-छोटे SEO “जुगाड़ ” साझा करना पसंद करता हूँ जो आपको एक से अधिक तरीकों से वास्तविक लाभ दे सकें।

अपनी robots.txt फाइल को सही तरीके से सेट करके आप केवल अपना स्वयं का SEO ही नहीं बढ़ा रहे हैं। आप अपने Visitors की भी मदद कर रहे हैं।

यदि Search Engine Bots अपने Crawl Budget को बुद्धिमानी से खर्च कर सकते हैं तो वे आपकी सामग्री को SERPs में सबसे अच्छे तरीके से व्यवस्थित और प्रदर्शित करेंगे, जिसका अर्थ है कि आप अधिक दृश्यमान होंगे।

आपकी robots.txt फ़ाइल को सेट करने में बहुत अधिक प्रयास भी नहीं लगता है। यह ज्यादातर एक बार करने का सेटअप है और आप आवश्यकतानुसार इसमें छोटे मोटे बदलाव कर सकते हैं।

चाहे आप अपनी पहली या पाँचवीं साइट शुरू कर रहे हों, robots.txt का उपयोग करके आप एक महत्वपूर्ण अंतर ला सकते हैं। यदि आप इसे पहले नहीं कर चुके हैं तो मैं इसे एक बार करने की सलाह देता हूं।

Robots.txt फ़ाइलें बनाने में आपका अनुभव क्या है?

Share