نحوه ساخت ربوت متنی

ابتدا یک فایل به نام robots.txt در notepad یا هر ویرایشگر ساده دیگری ایجاد نمایید سپس دستورالعملی که به آن نیاز دارید را در فایل قرار دهید و فایل را به سایت منتقل نمایید.