मासिक अभिलेखागार: दिसंबर 2017

1 पोस्ट

यंत्र-मानव

Robots.txt- अपनी वेबसाइट पर संवेदनशील पृष्ठों को छिपाना

खोज इंजन लगातार वर्ल्ड वाइड वेब को अनुक्रमित कर रहे हैं। वे वेबपेजों की तलाश करने और बेहतर खोज परिणामों के लिए उन्हें अनुक्रमित करने के लिए कुशल क्रॉलर प्रोग्राम तैनात करते हैं। हालांकि, एक वेबसाइट पर कुछ संवेदनशील पृष्ठ हैं जो हम अनुशंसा करते हैं कि साइट मालिकों ने खोज इंजनों को अनुक्रमित करने और प्रदर्शित करने की अनुमति नहीं दी है क्योंकि यह हो सकता है [...]