روبوت متنی چیست
صاحبان وب سایت از این فایل برای انجام تنظیمات مربوط به روباتهای جستجوگر اینترنت استفاده میکنند،و به پروتوکل استثناهای روباتهای وب معروف است.
تنطیمات روبات وب بسیار ساده است. روباتها برای فهرست بندی و ایندکس گذاری به سایت مراجعه می کنند و در هنگام مراجعه به سایت قبل از هر آدرسی مثلا http://YourSite.com/gallery.html فایل http://YourSite.com/robots.txt را می خوانند تا فیلترهای مشخص شده وب سایت را بدانند و بر اساس آن اقدام به فهرست بندی کنند.
به طور معمول در این فایل محتوای زیادی قرار ندارد و چند کلمه کوتاه در ۲ خط تکلیف روبات را مشخص میکند ولی اگر به اشتباه و بدون دقت از اولین سایت آموزشی دو خط در متن نادرست کپی کنیم ممکن است به روباتها گفته باشید این سایت را نبین. البته روباتهای بد یا اسپمر ها به قوانین این فایل اهمیت نمی دهند و این قانون برای روباتهای معتبر تا حدود زیادی موثر است.
