ین فایل در حقیقت یک فایل متنی است که به موتور های جستجو می گوید کجا ها را نباید بکاود و در لیست خود اضافه کند. حتی شما می توانید یک موتور جستجو را از زیر و رو کردن وب سایت خود بر حذر کنید اما این فایل هیچ الزامی برای آن موتور جستجو ایجاد نمی کند و هیچ ضمانتی نیست که نرم افزار های کاونده موتور های جستجو از دستورات این فایل پیروی کنند ولی به هر حال موتور های جستجوی بزرگ و معتبر به این فایل اهمیت می دهند و از آن استفاده می کنند.