مورد اول، راه حل نسبتاً ساده است. فقط کافیست از ارسال محتوای یکسان به منابع متعدد اجتناب نمایید و همیشه مطمئن شوید که از تکنیک‌های white hat سئو استفاده می‌نمایید. رعایت این نکات در گرفتن لینک بیشتر و از همه مهم‌تر افزایش ترافیک سایت تأثیر می‌گذارد.
در حالت دوم، در صورتیکه نیاز به ثبت چندین دامنه برای وب سایت خود دارید، ابتدا یک دامنه را به عنوان دامنه اصلی انتخاب و بقیه دامنه‌های را با استفاده HTTP 301 Redirections تنظیم نمایید.
به عنوان مثال در صورتیکه دو دامنه با عنوان‌های (اصلی) example.com و example.co.uk داشته باشید. دامنه example.co.uk می‌بایست با استفاده از HTTP 301 Redirections تنظیم شود. تا هر زمان که آن را وارد کریم به example.com هدایت شویم. روش‌های مختلفی برای HTTP 301 Redirections وجود دارد که از جمله آن‌ها می‌توان به تنظیمات DNS ،htaccess ،PHP/ASP/JSP Redirection و غیره اشاره نمود.
مورد سوم کمی پیچیده‌تر است و همان طور که در مقاله قبلی گفتم، موتورهای جستجو با تنظیم قوانین سعی دارند که اثرات محتوای تکراری را به حداقل برسانند.
آن‌ها از مجموعه قوانین که برای URL تنظیم شده، برای انتخاب بهترین نسخه استفاده می‌نمایند. بنابراین پیشنهاد می‌کنیم که حتماً ساختار لینک‌های خود را بررسی نمایید.
روی ساختار لینک‌هایتان کار کنید.
کاری که شما باید انجام دهید این است که مطمئن شوید تمام لینک‌های سایتتان به بهترین URL هدایت می‌شوند و موقعیتی وجود ندارد که دو لینک متفاوت به یک صفحه هدایت شوند.
مهم‌ترین چیزهای که شما باید در نظر داشته باشید:
تمام پارامترهای کم اهمیت و اضافی همانند (SESSIONIDS ،Sorts ،Specifies و غیره) را از URL حذف نمایید.
اگر وب سایت شما با درج عبارت www در نوار آدرس و در عین حال بدون درج آن نیز در دسترس کاربران قرار می‌گیرد، به طور حتم با مشکل مطالب تکراری روبرو خواهید شد، چرا که از دید موتورهای جستجو این دو آدرس، دو صفحه مجزا تلقی شده و به طور جداگانه ایندکس می‌شوند، البته برخی از آن‌ها نظیر گوگل تا حدودی قادر به تشخیص آدرس پیش فرض هستند، اما بهتر است یک آدرس را برگزینید و حالت دیگر را با ارسال کد HTTP 301، ریدایرکت نمایید.
دسترسی به سایت با و بدون درج عباراتی چون index.php ،index.html ،index.asp و غیره در ایجاد محتوای تکراری تأثیر گذار است؛ شاید گمان کنید موتورهای جستجو تشخیص می‌دهند که صفحه ایندکس یک سایت، همان صفحه اصلی آن است، اما در پاسخ باید بگوییم که معمولاً این‌طور نیست، در برخی از سرورها ممکن است تنظیمات پیش فرض تغییر داده شود و صفحه اصلی سایت با عبارتی دیگر تنظیم شده باشد؛ لذا فایل ایندکس الزاماً به معنی صفحه اصلی نیست، به همین دلیل موتورهای جستجو ممکن است آن را به صورت جداگانه ایندکس نماید، لذا بهتر است صفحه دوم را به صورت استاندارد ریدایرکت نمود.
URL هایتان را با استفاده از / به پایان برسانید.
Canonical Tag
Canonical Tag در واقع آدرسی است که به صفحه‌ی مرجع خود اشاره می‌کند، این آدرس توسط تگ link در header صفحه‌ی تکراری قرار می‌گیرد (در تگ head)، همانند زیر:
<link rel=”canonical” href=”http://www.example.com/index.php” />
این تگ توسط خصوصیت “rel=”canonical برای موتورهای جستجو متمایز می‌شود و زمانی که ربات موتور جستجو به صفحاتی که شامل این تگ هستند می‌رسد، با آن به عنوان یک صفحه‌ی کپی برخورد می‌نماید و کلیه‌ی محتوا و رنک آن را به حساب آدرس ذکر شده قرار می‌دهد.
تفاوت بین Canonical Tag و ۳۰۱ Redirections
۳۰۱ Redirections کلیه‌ی ترافیک‌های یک صفحه، اعم از کاربر عادی و یا ربات‌ها را به صفحه‌ی مقصد هدایت می‌کند، در حالی که Canonical Tag تنها برای موتورهای جستجو است.
در Canonical Tag موتور جستجو در مورد ریدایرکت یک صفحه تصمیم می‌گیرد و آن را بر اساس برخی پارامترها ارزیابی می‌نماید تا اگر اشتباهاً این تگ در صفحه‌ای قرار گرفت، از ریدایرکت آن جلوگیری شود. اما در ۳۰۱ redirections ارزیابی خاصی بر روی آن صورت نمی‌گیرد و مستقیماً ریدایرکت انجام می‌شود.
۳۰۱ Redirections به صورت Cross Domain عمل می‌نماید، یعنی امکان ریدایرکت از یک دومین به دومین دیگر هم وجود دارد، در حالی که Canonical تنها مربوط به همان دومین است.
بهترین روش برای رفع مشکل محتوای تکراری:
همان طور که گفتیم روش‌های متفاوتی برای رفع مشکل محتوای تکراری وجود دارد که در اینجا لیستی از روش‌هایی که شما می‌توانید استفاده کنید ارائه شده است:
کار روی ساختار لینک
استفاده از ۳۰۱ redirections
استفاده از Canonical Tag
حذف پارامترهای اضافی URL همانند SessionIDs از گوگل وب مستر تولز، برای اینکه وارد اکانت Google Web Master Tools شوید و مسیر زیر را طی نمایید.
Dashboard/ Configuration/ URL Parameters
و آخرین راه حل جلوگیری از ایندکس شدن محتواهای تکراری با استفاده از robots.txt
