Robots.txt फ़ाइल क्या है | What is Robots.txt File in Hindi?

हेलो दोस्तों, आज इस आर्टिकल के माध्यम से हम आप लोगों को Robots.txt File के बारे में बताने जा रहे हैं। अगर आप Robots.txt File के बारे में नहीं जानते हैं तो यह आर्टिकल आपके लिए बहुत लाभदायक होने वाला है। इस आर्टिकल के माध्यम से हम आप लोगों को विस्तार से बताएंगे Robots.txt File क्या होती है। (What is Robots.txt File in Hindi) इसका क्या यूज होता है। इसको हम कैसे क्रिएट करते हैं।

अगर आप ब्लॉगर या डिजिटल मार्केटर है, तो आपको Robots.txt File के बारे में अवश्य पता होगा। पर आपको Robots.txt File के बारे में पता तो है। पर आप यह नहीं जानते कि Robots.txt File को कैसे क्रिएट करते हैं। तो हमारे इस आर्टिकल को पूरा अवश्य पढ़ें। आपको Robots.txt File के बारे में अवश्य पूरी जानकारी मिल जाएगी। इस फाइल को कैसे क्रिएट करते हैं। Robots.txt File हमारी वेबसाइट के लिए क्यों आवश्यक है।

Robots.txt फ़ाइल क्या है |What is Robots.txt File in Hindi)

Robots.txt एक फाइल है। जिस फाइल के माध्यम से हम सर्च इंजन क्रॉलर को बताते हे, कि वेबसाइट के किस पेज को सर्च इंजन में Crawl करना हे और किस पेज को Crawl नहीं करना हे।

Short Definition of Robots.txt File in Hindi

सभी websites में Robots.txt File एक वह फाइल होती है। जिसके माध्यम से सर्च इंजन क्रॉलर या बॉट्स को यह निर्देश दिया जाता है। कि हमारी वेबसाइट के किस पेज को क्रॉल करना है और किस पेज को क्रॉल नहीं करना।

Robots.txt फाइल के फायदे

• Robots फाइल सर्च इंजन क्रॉलर को बताता है कि वेबसाइट के किस पेज को Crawl और Index करना है और किस पेज को नहीं करना।
• Robots फाइल के माध्यम से आप अपनी वेबसाइट की किसी खास फाइल, फोल्डर, इमेज, pdf आदि को सर्च इंजन में Index होने से Disallow किया जा सकता है।
• इसके माध्यम किसी भी वेबसाइट के पुरे सेक्शन को Private कर सकते है।
• txt फाइल के माध्यम से वेबसाइट के पेज को SERPs में रैंक दिखाने से रोक सकते हैं।
• Robots फाइल के माध्यम से आप अपनी वेबसाइट के low quality pages को ब्लाक करके अपनी Website के Technical SEO में सुधार कर सकते है।

Robots.txt file का Basic Syntax क्या है

User-Agent: अगर आप अपनी वेबसाइट को सभी सर्च इंजन पर इंडेक्स करना चाहते हो। तो User-Agent: के साथ * सिंबल का प्रयोग करते हैं। आप केवल गूगल पर अपनी वेबसाइट इंडेक्स करना चाहते हो। तो User-Agent: के साथ googlebot का यूज़ करते हे। अगर आप अपनी वेबसाइट को केवल Bing पर इंडेक्स करना चाहते हो। तो User-Agent: के साथ Bingbot का यूज़ करते हे।

यह भी पढ़े:- What is Local SEO in Hindi

Allow: इस सेक्सशन में वेबसाइट Page, Folder, या Web-Content का Path लिखते हैं। हम जिन वेबसाइट के Page को सर्च इंजन में Index कराना चाहते हे।

Disallow: इस सेक्सशन में वेबसाइट Page, Folder, या Web-Content का Path लिखते हैं। हम जिन वेबसाइट के Page को सर्च इंजन में Index नहीं कराना चाहते हे।

Example 1. अगर आप अपनी वेबसाइट को सभी सर्च इंजन बोट्स में Crawl करने के लिए Allow करना चाहते हैं!

User-Agent: *
Allow: /wp-content
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Example 2. अगर आप अपनी वेबसाइट को केवल Google के Search Engine Bots में Crawl करने के लिए Allow करना चाहते हैं!

User-Agent: googlebot
Allow: /wp-content
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Example 3. अगर आप अपनी वेबसाइट को केवल Bing के Search Engine Bots में Crawl करने के लिए Allow करना चाहते हैं!

User-Agent: bingbot
Allow: /wp-content
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Website में Robots.txt File कैसे देखें

अगर आप किसी भी वेबसाइट की Robots.txt File देखना चाहते है। तो आप बड़ी आसानी से सभी वेबसाइट की Robots.txt File देख सकते हैं! इस फाइल को चेक करने के लिए सबसे पहले किसी एक Browser को Open करना होगा। इसके बाद अपनी वेबसाइट को ओपन करके Domain के बाद /robots.txt लिख दीजिये!

Example: https://www.example.com/robots.txt

यह भी पढ़ें:-  

• Google Analytics क्या है पूरी जानकारी हिंदी में
• Google AdSense क्या है पूरी जानकारी हिंदी में
• Search Engine क्या है पूरी जानकारी हिंदी में
• Robots.txt फ़ाइल क्या है पूरी जानकारी हिंदी में
• Sitemap क्या है और कैसे बनाये पूरी जानकारी हिंदी में

Conclusion (निष्कर्ष)

दोस्तों आशा करता हूं, हमारा यह आर्टिकल पढ़कर आप लोगों को रोबोट और पीएसटी फाइल के बारे में संपूर्ण जानकारी मिल गई हो। अगर हमारा आर्टिकल पढ़कर आप लोगों को सही इंफॉर्मेशन मिली हो। तो हमारे इस आर्टिकल को अपने दोस्तों के साथ शेयर करना ना भूले। ऐसे ही इनफॉर्मेटिव आर्टिकल पढ़ने के लिए हमारे साथ जुड़े रहे। हमारा आर्टिकल पढ़ने के लिए आप लोगों का बहुत-बहुत धन्यवाद!

FAQs

1. किसी भी वेबसाइट की Robots.txt File कैसे देखें?

• “Robots.txt File देखने के लिए अपनी वेबसाइट को ओपन करके Domain के बाद /robots.txt लिख दीजिये! Example: https://www.example.com/robots.txt.

2 Robots.txt File का प्रयोग क्यों किया जाता है?

• वेबसाइट का कौन सा पेज Serach Engine क्रॉल करना है और कौन सा पेज क्रॉल नहीं करना है यह निर्देश सर्च इंजन क्रॉलर को देने के लिए Robots.txt File का प्रयोग किया जाता है।

3. किसी वेबपेज की Crawling को कैसे रोक सकते हैं?

• आप Robots.txt File में Disallow करके किसी भी वेबपेज की Crawling को रोक सकते हैं।

4. Robots.txt फाइल कहाँ मौजूद होती है?

• Robots.txt File वेबसाइट के रूट फोल्डर में मौजूद होती है.

5. यदि Robot.txt File का प्रयोग ना किया जाए तो तब क्या होगा?

• अगर हम अपनी वेबसाइट में Robot.txt File ऐड नहीं करते हे। तो ऐसे में सर्च इंजन हमारे सभी पेजेज को इंडेक्स करेगा। इससे हमारी वेबसाइट की सिक्योरिटी प्रॉब्लम रहेगी।