नमस्ते  दोस्तों,  अगर आपके पास कोई Blog या website है तो आपको आज इस आर्टिकल को  अच्छे तरीके से पढ़ना होगा क्योंकि यहां पर हम Seo से संबंधित Google webmaster tool में Crawl and crawler kya hai और Crawl Option  के सभी part के बारे में बताएंगे ताकि आपको Google webmaster tool को समझने में आसानी हो और आप अच्छे तरीके से अपने website या Blog का SEO  कर सकें | Crawl option में बहुत सारे part है जिसके अलग-अलग कार्य है जैसे कि Crawl errors,Crawl stats, Fetch as Google, Robots.txt tester ,sitemaps and URL Parameter इत्यादि है  जो आपके Blog या website को अच्छे तरीके से analyse करने में आपकी मदद करती है तो चलिए हम इनका अलग-अलग Introduction कराते हैं :-

Crawl क्या है और इसका उपयोग किस प्रकार किया जाता है :-

Crawl, Website या Blog के URL से संबंधित indexing,fixing,Blocking and crawling etc  को ही एक Crawl का नाम दे दिया गया है | Crawl का मतलब यह है कि किसी भी वेबसाइट या ब्लॉग को पूरे अच्छे तरीके से crawler  द्वारा analyse किया जाता है तथा उसमें जो भी errors आते हैं उसे Find कर-कर उसका solution किया जाता है जिससे आपका ब्लॉग और बेहतर हो सके :-

What is crawl and crawler,crawl option in webmaster tool,search console in all search engine, web crawl,sitemap
                               What is crawl and crawler

Full Detail Crawl part in Google webmaster Tool :-

Crawl Errors :-

अगर आपके website या Blog है  और उसमे किसी भी प्रकार का Errors आता है जैसे कि ज्यादातर लोगों की website या Blog में 404 Errors Show  हो जाते हैं ऐसा इसलिए होता है जब आपको कोई Content लिख रहे होते हैं तो उस समय आपके गलती से किसी URL का Redirection नहीं दे पाते हैं तो उसी स्थिति में  जब आप उस कंटेंट को पब्लिश कर देते हैं उसके बाद अगर कोई व्यक्ति उस लिंक पर क्लिक करता है तो उसके सामने 404 Not Found Show करता है जिससे आपके ब्लॉग के ऊपर  बुरा प्रभाव पड़ता है |

इसलिए  आपके Blog या website में  से 404 Errors को find करने के लिए crawlers  का इस्तेमाल किया जाता है और जब crawlers द्वारा Errors को find  कर लिया जाता है तो आपको उसकी सूचना Crawl Errors option में मिल जाता है और आप उसे चाहे तो Remove भी कर सकते हैं  इसमें आपको दो प्रकार के Errors show होंगे पहला Desktop और दूसरा Smartphone तो आपको दोनों प्रकार के Errors को Remove or Fix  करना होगा | इसके लिए आप ऊपर Google index option में जा कर Remove URL पर क्लिक करें और जिस भी URL को Remove करना है उसे Temporarily hide कर दें  ध्यान रहे कि आप उसी URL को Remove करें जो 404 errors show हो रहे हो |

Crawl stats :-

Crawl Stats आपके Blog या website को  कितना crawl किया जा रहा है इसके बारे में पूरा structure And data crawl stats option में जाकर देख सकते हैं  यहां पर आपको 3 प्रकार के stats देखेंगे जिसमें पहला stats यह होगा कि Googlebot के द्वारा आपके वेबसाइट या ब्लॉग को प्रतिदिन  कितना pages crawled कर रहा है , दूसरा stats में आपको यह दिखेगा की ब्लॉग या वेबसाइट प्रतिदिन कितना kilobytes download हो रहा है  और यहां पर आपको maximum and low stats भी देखने को मिलता है तथा तीसरा और अंतिम stats में आपके ब्लॉग या वेबसाइट के pages कितने miliseconds  में download (open) हो रहे हैं |

crawl and crawler option intro,crawl stats,webmaster tool intro
                                                        Crawler stats

Fetch as Google :-

Webmaster tool में Fetch as Google option  बहुत ही महत्वपूर्ण है क्योंकि जब आप एक नया Blog या website बनाते हैं  और उसमें content लिखते हैं तो उसको Google search engine में index कराने के लिए webmaster tool  के Fetch as Google option में जाकर अपना content का URL paste करके Fetch करना होता है लेकिन जब आपका  ब्लॉग या वेबसाइट पुराना हो जाएगा और आपने ब्लॉग या वेबसाइट का Sitemap Google webmaster tool में submit कर रखा होगा तो आपको fetch as Google option में जा कर बार-बार fetch करना नहीं पड़ेगा  क्योंकि Google के crawlers sitemap की मदद से आपके website या Blog में जो भी changes  होते हैं वह तुरंत ही crawl कर लिए जाते है |

 

Robot.txt tester :-

Robot.txt tester option की मदद से  आप अपने Blog या website में किसी भी word,url  तथा content को Allow or disallow कर सकते हैं और अगर आप चाहे तो Robot.txt tester  की मदद से किसी भी URL को Google bot, Googlebot-news, Googlebot-image से Remove कर सकते हैं  लेकिन यहां पर किसी प्रकार से गलती करते देते हैं तो उसका परिणाम आपके ब्लॉग के ऊपर दिखने लगेगा तो आप सोच समझकर Robot.txt tester option  का उपयोग करें |

Sitemap  :-

आपके ब्लॉग या वेबसाइट  का पूरा structure जिस map में  होता है उसे sitemap कहते हैं और यह आपके ब्लॉग या वेबसाइट को always update  रखने के लिए बहुत ही जरूरी है तो आप sitemap generate करें और उसको सभी webmaster tool में जा कर submit  करें |

URL Parameter :-  

URL Parameter Google webmaster tool में एक Advance feature है जिसका उपयोग करके आप website URL का पैरामीटर ( after Main url )  सेट कर सकते है और इसके मदद से किसी भी को कर सकते है लेकिन का उपयोग तभी करे जब आप URL Parameter अच्छे तरीके से जान ले और ताकि जब हम इसका उपयोग करे तो  Blog or Website को कुछ फायदा हो सके और हाँ अगर आप बिना जाने और समझे इसका उपयोग करते है तो आपके ब्लॉग और वेबसाइट के ऊपर बुरा प्रभाव पड़ सकता है |