ढूँढ इंजन लगातार वर्ल्ड वाइड वेब को अनुक्रमित कर रहे हैं। वे कुशल क्रॉलर तैनात करते हैं वेबपेजों की तलाश करने और बेहतर खोज परिणामों के लिए उन्हें अनुक्रमित करने के लिए कार्यक्रम।
हालांकि, किसी वेबसाइट पर कुछ संवेदनशील पृष्ठ हैं जिन्हें हम अनुशंसा करते हैं कि साइट के स्वामी खोज इंजन को अनुक्रमित और प्रदर्शित करने की अनुमति न दें क्योंकि यह सुरक्षा उल्लंघन पैदा कर सकता है। ऐसा ही एक वेबलिंक हमारा कंटेंट मैनेजमेंट सिस्टम (सीएमएस) लॉगिन पेज होगा।
यदि किसी हैकर को आपके सीएमएस लॉगिन के लिंक का पता चलता है, तो वह आपके सीएमएस में खुद को मजबूर करने और आपकी वेबसाइट पर नियंत्रण रखने की कोशिश कर सकता है।
सौभाग्य से खोज इंजनों को इन संवेदनशील पृष्ठों को प्रदर्शित न करने के लिए 'बताने' का एक तरीका है एक फ़ाइल के माध्यम से, robots.txt। फ़ाइल में, आप उन वेबपेजों को सूचीबद्ध कर सकते हैं जिन्हें आप नहीं करते हैं खोज इंजन अनुक्रमित करना चाहते हैं और इसे खोजने योग्य बनाना चाहते हैं।
वही robots.txt फ़ाइल खोज इंजन के लिए भी आवश्यक है। एक खोज से एक क्रॉलर बॉट इंजन आपकी वेबसाइट को अनुक्रमित करते समय robots.txt फ़ाइल को भी देखेगा आपकी साइट। वे इसमें एक नज़र डालेंगे, यह देखने के लिए कि क्या कोई वेबसाइट है उन्हें प्रदर्शित करने से बचने के लिए। यदि robots.txt में कुछ भी नहीं है, तो वे करेंगे, द्वारा डिफ़ॉल्ट, सभी पृष्ठों को खोजने योग्य बनाएं।
प्रदर्शित गलत दर्शकों (यानी, हैकर) के लिए एक संवेदनशील पृष्ठ के परिणामस्वरूप हैकर हैकिंग हो सकती है इसमें, एक समझौता की गई साइट की ओर अग्रणी, कुछ ऐसा जो कोई इंसान या सर्च इंजन नहीं चाहता।
इसलिए इंटरनेट को सुरक्षित रखने के लिए खोज इंजनों को आपकी सहायता की आवश्यकता होती है। उन्हें साइट मालिकों को विशेष रूप से उन वेबपृष्ठों को सूचीबद्ध करने की आवश्यकता होती है जिन्हें वे प्रदर्शित नहीं करना चाहते हैं।
यदि आपको इस क्षेत्र में किसी सहायता की आवश्यकता हो तो हमसे संपर्क करें।
