हैलो दोस्तों, आज के पोस्ट में मैं आपको robot.txt kya hai, इसे generate का तरीका, इसे डालने के फायदे और blogger Custom robots.txt file डालने का तरीका बताने वाला हूं।
Robots.txt file kya hai?
Robots.txt simple code text file होता है जिसे ब्लॉगर डैशबोर्ड के सेटिंग में डालना होता है और यह web crawlers को निर्देश लेता है कि हमारी blog के किस पेज को crawl करना है और किस page को नहीं करना है।
Robots.txt file हमारे ब्लॉग वेबसाइट के search engine optimization के लिए बहुत महत्वपूर्ण होता है। अगर आप इसका गलत तरीके से इस्तेमाल करते हैं तो यह ब्लॉग वेबसाइट को गूगल सर्च कंसोल से पूरी तरह remove कर देता है।
इसके बारे में जानने के लिए यह आर्टिकल जरूर पढ़ें। Robots.txt file का सीधा संबंध हमारे blog के indexing और crawling से जुड़ा हुआ होता है।
दोस्तों, अब हम जान लेते हैं Robots.txt का काम क्या है?
सामान्यत:, सभी सर्च इंजन का अपना खुद का robot या bot होता है जो हमारे ब्लॉग पोस्ट को और उसके link को खुद crawl करके गूगल सर्च इंजन में index करता है और जब हम अपने blog post में या blog में जो भी update करते हैं वह सभी update search engine में show करने लगता है और हमारे blog में crawling को robots.txt control करके रखता है।
Custom robots.txt file का इस्तेमाल search engine bots को manage करने के लिए किसी भी वेबसाइट या blog में डाला जाता है। इसका इस्तेमाल अनावश्यक webpage (label, archive, tag, category, demo page) को crawl करने से रोकने के लिए किया जाता है।
आसान भाषा में कहें तो इसका मतलब robots.txt file की मदद से आप जिस पेज को crawl करवाना चाहते हैं उसे ही करवा सकते हैं और जिस पेज को disallow करना चाहते हैं उसे कर सकते हैं।
ऐसा तभी होगा जब आप robots.txt file को अपने वेबसाइट में add करेंगे।
तो दोस्तों, अब मैं आपको लोगों से robots.txt file को generate करना बताऊंगा और इसके क्या फायदे वह भी बताने वाला हूं।
Custom robots.txt kaise generate kare?
Custom robots.txt generate करने के लिए आपको कहीं जाने की जरूरत नहीं है आपको बस yourwebsiteurl को रिमूव करके आपको अपने वेबसाइट का URL कॉपी करके पेस्ट कर देना है।
जिसे आप नीचे दिए गए 👇 इंटरफेस में देख सकते हैं।
User-agent: Mediapartners-Google
User-agent: *
Disallow: /search
Disallow: /category
Disallow: /tag
Disallow: /label
Allow: /
Sitemap: yourwebsiteurl/atom.xml?redirect=false&start-index=1&max-results=500
दोस्तों, आप online कई वेबसाइट के द्वारा इसे generate कर सकते हैं जो कुछ इस प्रकार का होगा।
User-agent: *
Disallow: /search
Allow: /
Sitemap: yourwebsiteurl/atom.xml?redirect=false&start-index=1&max-results=500
परंतु इसे डालने से आपके गूगल सर्च कंसोल और ईमेल पर फिर से error का मैसेज जाएगा। जिसे आपको बार बार fix करने में बहुत समय चला जाएगा। इसलिए आपको ऊपर👆 दिए गए कोड को कॉपी करके गूगल सर्च कंसोल में paste करना है और ठीक होने के बाद गूगल ऐडसेंस के लिए अप्लाई कर देना है।
Custom robots.txt file daalne ke fayde?
दोस्तों, newly blogger को Google AdSense लेने में काफी मुश्किलों का सामना करना पड़ता है. अगर आपकी वेबसाइट के गूगल सर्च कंसोल में भी error होगा तो गूगल ऐडसेंस अप्रूवल जल्दी नहीं मिलता है और अधिकतर ब्लॉगर को मेल आता है और जब तक यह error fix नहीं होता है तब तक Google AdSense का approval लेना मुश्किल होता है।
बहुत सारे लोग इसे solve करने का अलग अलग तरीका बताते हैं परंतु फिर भी यह error fix नहीं होता है।
मुझे भी शुरुआत में बहुत दिक्कतों का सामना करना पड़ा पर कुछ महीनों के बाद यह error fix हुआ था और यह error fix होने के बाद जब मैं गूगल ऐडसेंस के लिए apply किया था तो एक बार में ही approval मिल गया था।
परंतु उससे पहले मैंने भी बहुत बार गूगल ऐडसेंस के लिए अप्लाई किया था परंतु हर बार reject कर दिया जाता था।
अंत में मैं परेशान होकर वेबसाइट पर काम करना भी बंद कर दिया था और मैंने पोस्ट डालना छोड़ दिया था परंतु उसके कुछ दिन ही बाद error भी fix हो गया और अप्रूवल भी मिल गया था।
उस समय मेरी खुशी का कोई ठिकाना नहीं था। दोस्तों, मैंने यह आपसे यह बस इसलिए शेयर किया क्योंकि मैं नहीं चाहता आपका भी कुछ माह इस error को fix करने में बर्बाद हो। मेरी बस यही इच्छा है कि आप भी पूरे मन से काम करो और एक सफल पेशेवर ब्लॉगर बनो।
Custom robots.txt file ko add kaise kare?
1. Blogger का डैशबोर्ड open करें।
Custom robots.txt file को ब्लॉगर में add करने के लिए सबसे पहले आपको ब्लॉगर का डैशबोर्ड open कर लेना है।
Open करने पर आपको left side में तीन horizontal line मिलेगा आपको उस पर क्लिक कर देना है.
क्लिक करने पर आपको posts, stats, comments, earnings, pages, layout, theme, setting, reading list इत्यादि लिखा मिलेगा।
2. setting पर क्लिक करें।
आपको setting पर क्लिक कर देना है।
सेटिंग पर क्लिक करने पर आपको basic, title, description, blog, language, privacy, publishing, HTTPS, permission, comments, email, formatting, meta tags, error and redirects, crawlers and indexing, monetization, इत्यादि लिखा मिलेगा।
3. Crawlers and indexing पर क्लिक करें और enable custom robots.txt पर क्लिक करें।
आपको Crawlers and indexing पर आ जाना है और enable custom robot.txt पर क्लिक करके उसे enable कर देना है।
4. Custom robots.txt file को कॉपी करके पेस्ट करें और save पर क्लिक करें।
उसके नीचे आपको custom robots.txt लिखा मिलेगा आपको उस पर क्लिक करना है और ऊपर बताए गए code को कॉपी करके पेस्ट कर देना है.
ध्यान रहे जहां yourwebsiteurl लिखा होगा उसे edit करके आपको अपनी वेबसाइट का URL copy करके डाल देना है और save बटन पर क्लिक कर देना है।
इस तरह से आप Custom robots.txt file को आसानी से बिना किसी परेशानी के डाल सकते हैं।
अगर आपको mail पर Indexed, through blocked by robots.txt error का error आ रहा है तो एक बार इसे जरूर पढ़े और जाने कैसे fix होगा यह error।
तो दोस्तों, आज के पोस्ट में मैंने आपको custom robots.txt क्या है, इसे generate करने करने का तरीका बताया और blogger में custom robots.txt को add करने का तरीका बताया। मुझे उम्मीद है कि इतना करने के बाद आपका problem solve हो जाएगा। अगर आपको कहीं भी दिक्कत हो तो आप कमेंट करके जरूर पूछें मैं आपके प्रश्नों का जवाब जरूर दूंगा।
धन्यवाद।
Hello friends,my name is Ranjan Gupta.I am a small YouTuber. The name of my website is Rasonet. Rasonet gives all the information related to education, money making app,food recipe, about app, festivals, science
Post kaisa lga jarur btay ConversionConversion EmoticonEmoticon