مزایای robots file
قبل از اینکه به جزئیات چگونگی ایجاد یک فایل robots.txt و robots متا تگ بپردازیم ، باید نگاهی به مزایای آن بیندازیم .
۱-جلوگیری از ایندکس شدن مطالب تکراری
متن های تکراری تلاش های شما برای سئو و نمایش در رتبه های بالای موتور های جستجو را کم رنگ خواهد کرد.استفاده از فایل robots و برچسب با مسدود کردن صفحات تکراری می تواند مشکل را برطرف کند.
۲-برای صفحات ناقص
اگر صفحه جدیدی را در وب سایت ایجاد کرده اید که هنوز ناقص می باشد با استفاده از فایل robots می توانید از ایندکس شدن آن صفحه در موتور های جستجو جلوگیری کنید تا زمانیکه آن صفحه را کامل کنید.
۳-محدود کردن موتور های جستجو برای ایندکس کردن صفحات یا فایل های محرمانه
اکنون ما می دانیم که به چه علت باید دسترسی موتور های جستجو را مدیریت کنیم.حالا زمان یاد گیری چگونگی انجام آن می باشد.
فایل robots.txt
خزنده ها می خواهند تا آنجاییکه ممکن می باشد وب سایت را ایندکس کنند ، مگر آنکه شما به آنها مطالبی را اطلاع بدهید.
زمانیکه خزنده وب سایت شما را بازدید می کند ،به دنبال robots.txt می گردد. این فایل به خزنده دستورالعملی می دهد بابت اینکه کدام صفحات را ایندکس کن و کدام صفحات را نادیده بگیر.
با ایجاد فایل robots.txt شما می توانید از دسترسی موتور های جستجو به برخی از قسمت های وب سایتتان جلوگیری کنید.
فایل robots.txt در مسیر دایرکتوری وب سایت شما قرار می گیرد.به طور مثال : www.yoursite.com/robots.txt
هشدار: اگر شما فایل robots.txt را به سایت خود اضافه کرده اید ، لطفا” چندین بار آن را چک کنید .احیانا” ممکن است سهوا” دسترسی خزنده ها را به صفحات مهم وب سایت خود بسته باشید.
ساختن robots.txt
Robots.txt یک فایل متنی ساده می باشد با چند رکورد.هر رکورد شامل دو بخش می باشد: user-agent و disallow
بخش user-agent مشخص می کند که کدام خزنده ها باید از اطلاعات disallow استفاده کنند.بخش disallow مشخص می کند که خزنده های مجاز کدام بخش از وب سایت را نمی توانند ایندکس کنند.
