تگ نوایندکس ( NoIndex )
متاسفانه یا خوشبختانه هیچ روشی وجود ندارد که بتوان ۱۰۰ درصد عمل اسپایدرها را کنترل کرد.استفاده از متاتگ noindex و فایل روبات تکست بهترین روش ها برای کنترل رفتار اسپایدرها در وبسایت میباشند.