محل فایل روبات کجاست؟
فایل روبات robots.txt در ریشه وب سایت قرار می گیرد که آدرس ریشه معمولا در وب سایتها پوشه www یا public_html می باشد و این همان محلی است که فایل صفحه اصلی یا index در آن قرار داده می شود.
همانطور که در مثال های پایین ملاحظه می کنید در خط اول user-agent روبات را مشخص میکند و کاراکتر ستاره * مشخص میکند که مخاطب دستور همه روباتها بدون مشخص شدن نمونه خاصی است.
خط دوم شامل دو بخش است، Allow که از ترجمه آن پیداست اجازه می دهده به مسیری که در اینجا روت یا ریشه سایت است و با علامت / مشخص شده دسترسی برای اصطلاحا خزنده های وب یا روباتها آزاد باشد:
مخاطب دستور زیر همه روباتهای وب، دستور: (از هیچ صفحه ای در این سایت بازدید نکن)
رای درک بهتر کاربرد این فایل، نمونه هایی برای جلوگیری از نمایش عکس و تصاویر سایت در بخش تصاویر گوگل را مثال می زنیم، که این مثالها به روبات جستجوگر تصایر گوگل می گویند از چه بخشهایی بازدید نکند. مثال زیر در خط اول مخاطب را روبات جستجوگر تصاویر گوگل مشخص نموده و در خط دوم Disallow عدم اجازه به مسیر :
اگر عکس خاصی در پوشه فرضی images مورد نظر باشد به شکل زیر آدرس دهی می شود:
جلوگیری از نمایش تمام عکسها و تصاویر در گوگل:
موتور گوگل این امکان را میدهد که فیلتر و محدودیتهای دقیقتری نیز تعریف شود، برای مثال تمام فایلهای عکس به جز gif فیلتر شود. در مثال زیر علامت $ نشان دهنده محل پایان نام فایل است.
جلوگیری از نمایش در تمام گوگل و نه فقط بخش عکس:
جلوگیری از نمایش فایل اکسل در گوگل:
