سلام سلام دوستان گلم ;
همانطور که میدانید, بهینه سازی بعضی از فایل های وردپرس نقش مهمی در سئو وبسایت دارد.
در این مقاله روش بهینه سازی فایل وردپرس robot.txt را به شما آموزش می دهیم. و سعی داریم اهمیت این فایل را برای شما مشخص کنیم!!وردپرس robot.txt نقش مهمی در عملکرد کلی سئو وبسایت دارد. فایل وردپرس robot.txt با موتورهای جستجو ارتباط برقرار می کند. همچنین برای موتورهای جستجو مشخص می کند که چه بخش هایی از سایت را ایندکس کنند.
بهینه سازی فایل وردپرس robot.txt
برای معرفی نقشه XML سایت به موتورهای جستجو، می توانید از فایل وردپرس robot.txt استفاده نمایید. زیرا این فایل دقیقا فایلی است که موتورهای جستجو در آن به دنبال نقشه xml سایت هستند. مگر اینکه شما آن را در Google Webmaster Tools مشخص کرده باشید!
پس از اینکه اهمیت وردپرس robot.txt را دریافتید. در ادامه به ایجاد و بهینه سازی این فایل خواهیم پرداخت.
فایل وردپرس robot.txt کجا قرار دارد و چگونه ساخته می شود؟
وردپرس robot.txt معمولا در روت هاست است. با استفاده از FTP و یا file manager هاست می توانید به آن دسترسی پیدا کنیم.
فایل وردپرس robot.txt را همانند هر فایل متنی می توانید با ویرایشگر متنی ساده مثل نوت پد باز کنید.
حال برای ایجاد فایل وردپرس robot.txt همانند روش زیر عمل نمایید. روش ساخت این فایل بسیار ساده می باشد!
اگر وردپرس robot.txt در هاست شما نیست، زودتر این فایل را ایجاد نمایید. برای ساخت فایل وردپرس robot.txt، ابتدا در سیستم خود یک
فایل متنی (نوت پد) با نام robot.txt ایجادکرده. سپس این فایل را در روت هاست آپلود کنید.
نحوه استفاده از فایل وردپرس robot.txt
پس از ایجاد وردپرس robot.txt، بایستی شما اطلاعاتی برای استفاده از این فایل داشته باشید.
فرمت کلی فایل وردپرس robot.txt کاملا ساده است. در خط ابتدای این فایل، user agent ( عامل کاربر ) مشخص می شود. user agent در واقع نام ربات جستجو کننده می باشد، که شما در تلاش برای برقراری ارتباط با آن هستید! برای مثال Googlebot (ربات گوگل) یا Bingbot (ربات بینگ).
نکته!! شما می توانید از علامت * برای دستور دادن به همه ربات ها استفاده کنید.
خطوط بعدی این فایل شامل دستورات Allow (اجازه دادن) یا Disallow (عدم اجازه) برای موتورهای جستجومی باشد. از این طریق به موتورهای جستجو،
اعلام می کنید که چه بخش هایی را ایندکس کنند و چه بخش هایی را نمی توانند، ایندکس کنند.
کد زیر نمونه ای از فایل وردپرس robot.txt است:
۱
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /readme.html
با توجه به مثال وردپرس robot.txt فوق داریم:
خط ۲، نشان دهنده ایندکس پوشه تصاویر آپلود شده توسط موتورهای جستجو است. یعنی موتورهای جستجو می توانند پوشه تصاویر را ایندکس کنند!
خط ۳ و ۴، نشان دهنده عدم ایندکس پوشه افزونه ها و فایل readme.html توسط موتورهای جستجو است. به عبارتی موتورهای جستجو نمی توانند این دو بخش را با توجه به مثال فوق ایندکس کنند.
بهینه سازی فایل وردپرس robot.txt برای سئو وبسایت
حال نوبت به بهینه سازی آن می رسد. در ابتدا یک پیشنهاد برای وبمستران داریم!!
گوگل به وبمستران توصیه می کند که، از این فایل برای مخفی سازی محتواهای با کیفیت پایین استفاده نکنند.
اگر این چنین فکر می کنید با استفاده از فایل وردپرس robot.txt از ایندکس شدن دسته بندی ها، آرشیو صفحات و… توسط گوگل جلوگیری کنید.
متاسفانه فکر و کار شما نادرست است! پس بهتره که وظیفه این فایل را یادآوری کنیم.
یادآوری!! هدف وردپرس robot.txt، راهنمایی کردن ربات ها برای ایندکس مطالب سایت است. این فایل از خزیدن ربات ها در سایت شما جلوگیری نمی کند!!
اگر شما نمی خواهید بعضی از صفحات ایندکس شوند، می توانید از افزونه های وردپرس استفاده کنید. شما می توانید با نصب بعضی از افزونه های وردپرس، متا تگ هایی را همانند nofollow ،noindex را به آرشیو صفحات اضافه کنید. برای مثال از افزونه های سئو وردپرس استفاده کنید.
در ادامه نکات کلی را برای بهینه سازی این فایل برای شما می گوییم.
مورد اول: صفحاتی همانند ورود، ثبت نام، مدیریت (admin) را لازم نیست به فایل وردپرس robot.txt اضافه کنید. به دلیل اینکه صفحه ورود و ثبت نام
دارای برچسب noindex هستند. در اینصورت قابل ایندکس نیستند!!
مورد دوم: همچنین توصیه می شود فایل readme.html را در این فایل، غیر مجاز (disallow) کنید. شاید بپرسید چرا؟؟
چون بعضی افراد با استفاده از فایل readme.html تلاش می کنند، نسخه وردپرس را بدست آورند. حال با شخصی سازی این فایل از دسترسی
راحت افراد به فایل readme.html جلوگیری می کنید. به عبارتی دیگر با disallow کردن این فایل از حملات مخرب در امان هستید!!
مورد سوم: در فایل وردپرس robot.txt، دایرکتوری افزونه های وبسایت خود را disallow کنید!
این کار باعث میشود امنیت سایت شما را بالا رفته و از حملات مخرب جلوگیری می کند. زیرا افرادی به دنبال پلاگین های خاص آسیب پذیر برای سو استفاده
از وبسایت ها هستند.
سه روش کلی برای بهینه سازی فایل وردپرس robot.txt را برایتان معرفی کردیم.
افزودن نقشه XML سایت به فایل وردپرس robot.txt
اگر شما از افزونه وردپرس Yoast SEO یا سایر افزونه ها برای تولید نقشه XML سایتتون استفاده می کنید. این افزونه ها به صورت خودکار نقشه سایت تون را به خطوط مربوط این فایل اضافه می کنند.
ولی اگر افزونه نتوانست این کار را انجام دهد!! شما باید لینک نقشه XML را به صورت دستی به این فایل اضافه کرده. همانند نمونه زیر:
۱
Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml
فایل ایده آل وردپرس robot.txt به چه صورتی است؟
بسیاری از وبسایت های مشهور از این فایل ساده استفاده می کنند.مثل نمونه زیر:
۱
User-agent: *Disallow:Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml
این فایل ساده به همه ربات ها اجازه ایندکس محتوای سایت را داده و لینک هایی را برای نقشه XML سایت ارائه می کند.
نمونه ی دیگری از فایل بهینه:
۱
User-Agent: *Allow: /?display=wideAllow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xmlSitemap: http://www.example.com/deals-sitemap.xmlSitemap: http://www.example.com/hosting-sitemap.xml
خوب باشین همچنان…
