27 دی 1396
استفاده صحیح از robots.txt

استفاده صحیح از robots.txt

بهتر است مسیرهایی که نیازی نیست ربات های جستجو به آن مراجعه نمایند، را در فایل با نام robots.txt ودر پوشه اصلی سایت قرار گیرند.


استفاده صحیح از robots.txt :

بهتر است مسیرهایی که نیازی نیست ربات های جستجو به آن مراجعه نمایند، را در فایل با نام robots.txt ودر پوشه اصلی سایت قرار گیرند. بعنوان مثال:

* : User-agent

/Disallow: /Images

امکان یجاد فایل robots.txt و محدود کردن دسترسی ربات های جستجو را میتوان با ابزار های خاص گوگل (robots.txt generator)، نیز ایجاد نمود.

همچنین در صورتی که از زیردامنه (Sub domain) نیز استفاده می کنید و نیاز به محدود کردن دسترسی ربات ها به برخی مسیرها دارید، میبایست فایل robots.txt جداگانه ای برای زیر دامنه نیز ایجاد نمایید.

راههای متفاوت دیگری نیز برای اینکار وجود دارد. بطورمثال، افزودن NOINDEX به متاتگ رباتها، استفاده از .htaccess برای رمزگذاری فولدرها (password protect Directories ) و یا استفاده از ابزارهای مرتبط گوگل

همچنین توجه نمایید که با انجام مراحل فوق، با اطمینان کامل نمی توان گفت که ربات ها 100%به این مسیر ها رجوع نمی کنند. همچنین کاربران مصروجدی با دسترسی به فایلهای robots.txt میتوانند لینک های مربوطه را شناسایی و باز نمایند. لذا اکیدا توصیه میگردد فایلهای مربوطه را به روش های مطمئن کد گذاری (Secure) نمایید.

ممکن است شما تمایل نداشته باشید که برخی از صفحات سایتتان مورد جستجو قرار بگیرد زیرا تصور می کنید که این صفحات اگر در نتایج موتورهای جستجو ظاهر شوند برای کاربران مفید نیستند. اگر می خواهید از خزیدن موتورهای جستجو در صفحات سایت خود جلوگیری کنید ، Google Webmaster Tools یک robots.txt generator خوب دارد که به شما کمک می کند این فایل را ایجاد کنید. توجه کنید که اگر در سایت خود از subdomains ها استفاده می کنید و اگر می خواهید برخی صفحات در یک subdomain خاص مورد جستجو قرار نگیرد، شما باید یک فایل robots.txt جداگانه برای آن subdomain ایجاد کنید.

ورود به متاکار