by प्रिय दोस्तों मैं आशा करता हूँ कि आपने हमारी पिछली पोस्ट के आधार पर ब्लॉग तैयार कर लिया होगा। आज हम ब्लॉग या वेबसाइट के SEO का एक टॉपिक Robot Txt File की बात करेगें। एक अच्छे ब्लॉगर के लिए इसके बारे में जानना बहुत जरूरी है। कि Custom Robot Txt File क्या है और इसे हम अपने ब्लॉग में कैसे जोड़ते है। यह Blog SEO के लिए बहुत आवश्यक है। आज इस पोस्ट के माध्यम से हम आपको इसकी सम्पूर्ण जानकारी प्रदान करनें की कोशिश करेंगें।
Robot Txt File क्या है?
Robot txt File एक तरह की Code फाइल है जिसमें हम गुगल Search Engine को instruction देते है कि वह हमारे ब्लॉग के किस पोस्ट को या किस लेबल को Search Result के पेज पर दिखाये या किस पोस्ट को नहीं दिखाये दुसरे शब्दों में कहा जाये कि वह किस पेज को Index करे और किसे नहीं। इस File की सहायता से हम अपने ब्लॉग के किसी भी पोस्ट को ब्लॉक कर सकते है या जो ब्लॉक की गर्इ पोस्ट है उसे Unblock कर सकते है। अर्थात इस Robot Txt File की मदद से हम अपनी वेबसाइट की Privacy को निर्धारित या सेट कर सकते है।
Custom Robot.txt file को क्यों उपयोग करें ?
इस फाइल का इस्तेमाल हम गूगल सर्च इंजिन को अपने ब्लॉग की पोस्ट और लेबल को Crawl करने की अनुमति प्रदान करते है कि हमारी इस पोस्ट को Crawl करना है और किस पोस्ट को Crawl नहीं करना है। इसका केवल यह कार्य नहीं हे कि हमे अपनी पोस्ट को सर्च इंजिन पेज में हमारी पोस्ट दिखाना है बल्कि यह भी होता है कि हमारी कुछ पोस्ट को गुगल सर्च इंजिन से छुपाया भी जाता है। हम छुपाने का कार्य Custom Robot.txt File की मदद से कर सकते है।
Robots.txt Code
आपको ब्लॉगर में अलग से robot.txt फाइल जोडने की आवश्यकता नहीं होती है इस फाइल को ब्लॉगर अपने आप ही सेट कर लेता है। अर्थात ब्लॉगर खुद ही यह फाइल Create कर लेता है अगर आपको अपनी website या Blog की Robot.txt फाइल को देखना है तो अपने वेबसाइट के Url के आगे robot.txt लिखें उदाहरण के तौर पर
www.alert24u.com/robot.txt
लिख कर एन्टर दबाये आपको फाइल प्रदर्शित हो जायेगी।
User-agent: Mediapartners-GoogleUser-agent:Disallow:Allow:Sitemap: https://www.alert24u.com/sitemap.xml
Contents
User-agent: Mediapartners-Google
दोस्तों अगर आप अपने ब्लॉग पर गुगल AsSense कोड का उपयोग करते है इस कोड के माध्यम से Google Robot सभी कन्टेंट को Friendly विज्ञापनों को प्रदर्शित करेगा।
User-agent: *
यह कोड Custom Robots txt File में सबसे उपयोगी होता है। यह कोड हमारे User का Agent होता है कि वह यूजर को क्या दिखा सकता है और क्या नहीं ।
Disallow:
इस कोड के मदद से हम Search Engine को यह आदेश देते है कि हमारे इस Post , Page, Label को Index नहीं करें। एक बात का हमेशा ध्यान रहे इस कोड का तभी उपयोग करें जब किसी पोस्ट को ब्लॉक करना हो । और बड़ी सावधानी से केवल उस पोस्ट का URL ही डाले अन्यथा आपका पूरा ब्लॉग Block हो जायेगा।
Disallow: /page-url
Disallow: /search/label/seo
- Disallow: /p/about-me.html
- Disallow: /post-url.html –
Allow:
इस कोड उपयोग जब आपने किसी पोस्ट को Block कर दिया गया और उसको पुन: Unblock करने के लिये इस कोड का उपयोग किया जाता है। इसके अन्तर्गत Robot File में Allow:/ कर उस पोस्ट/पेज को लिखें।
Allow: /search/label/blogging
Allow: /p/about-me.html
Allow: /post-url.html
Sitemap: https://www.yoursite.com/sitemap.xml
इस कोड का उपयोग SEO की दृष्टि से बहुत उपयोगी है। इसके बिना robot.txt File पुरी नहीं हो सकती है । क्योंकि यह कोड गुगल सर्च इंजिन के रोबोट को यह बताता है कि हमारी फाइल के किस Post , Page, Label को पढना है और किस पेज को नहीं पढना है तथा Index करना है या नहीं।
Custom Robots.txt File Kaise Banaye
उपरोक्त जानकारी के अनुसार आप सभी कमाण्ड को अच्छी तरह से समझ चुके होगें । इन सभी के कमाण्ड का उपयोग करके ही Robot.txt File बनार्इ जाती है। हम अपनी जरूरत के हिसाब से अलग अलग कमाण्ड को लगा कर robot.txt File बनाते है। और इस फाइल को जोडते है भविष्य में जब कोर्इ परिवर्तन करना हो तो इसमें परिवर्तन कर पुन: जोड़ सकते है।
Blogger Me Custom Robots.Txt File Add Kaise Kare
इसके लिए सर्वप्रथम ब्लॉग में लोगिन करगें और Dashboard में जायें और जिस ब्लॉग में Robot.txt File जोड़नी उसे सलेक्ट करें ।
- Setting पर क्लिक करें ।
- Search preferenceविकल्प का चयन करें।
- अबCustom robots txt को Edit करें
- अब yes enable करें फिर दिये गये बॉक्स में हमारी txt फाइल के सभी कोड पेस्ट कर दें। और सेव बटन पर क्लिक किजिए ।
इस तरह हम ब्लॉग में robot.txt File को जोड़ लेते है।
आपने अपने ब्लॉग में robot.txt का जोड दिया अब इसे चेक करने के लिए हमें गुगल के Search Console में जाकर करते है। और वहां पर इसे टेस्ट भी किया जाता है। जो निम्न प्रकार होगा।
- सर्वप्रथम आप Google Search Console को लोगिन करें ।
- दांयी तरफ दिये गये विकल्प में Crwal का चयन करें इसके पश्चात Test पर क्लिक किजिए । जैसे ही आप टेस्ट पर क्लिक करते है बॉक्स में Allow:/ पर हरे रंग की लाइन बन जाती है इसका मतलब है कि आपकी txt File बिल्कुल सही तरह से कार्य कर रही है और आपका ब्लॉग अच्छी तरह से गुगल Search Engine में अच्छी तरह से Index हो जायेगा।
मैं आशा करता हूँ इस पोस्ट के माध्यम से आप आसानी से समझ गये होगें कि Custom Robot Txt File क्या है और यह कैसे Set की जाती है । इसके अलावा आपको कोइ भी इसमें परेशानी आती है तो कमेंट बॉक्स में लिखें में उसका हल आपको बताउंगा ।
