هدف موتور های جستجو جمع آوری محتویاتی است که قرار است به کاربران شما ارائه شود بنابراین لازم نیست مثلاً کد های برنامه های وب سایت شما توسط موتور جستجو کاوش شود  توسط موتور جستجو کاوش شود این کار دو مشکل به وجود می آورد اول اینکه به سرور وب سایت شما بار اضافه تحمیل می کند و سرعت سرور کاهش می یابد و در همین هنگام اگر کاربران هم در حال بازدید از سایت شما یا در حال دانلود فایل های حجیم باشند این مشکل بیشتر به چشم می آید.  دوم اینکه بعضی کد های وب سایت شما در اختیار دیگران می افتد که از نظر امنیتی اصلاً جالب نیست هر چند این راه کار به عنوان یک راهکار امنیتی به هیچ وجه کامل نیست و شما باید تنظیمات لازم را برای محدودیت دسترسی به این بخش در کنترل پنل سایت خود انجام دهید.