دلایل زیادی وجود دارد که شما بخواهید گوگل بات، زودتر از برنامه، سایت شما را دوباره کراول کند. شاید شما نرم‌افزارهای مخربی (ملویر)که بازدید سایت شما را کاهش می‌داده‌اند را از بین برده باشید. یا شاید شما پاکسازی لینک انجام داده‌اید تا رتبه‌بندی شما بهبود پیدا کند. یا شاید از تگ‌های کانونی استفاده کرده باشید تا محتوای تکراری از بین برود و بخواهید این آپدیت‌ها سریعا نتیجه بدهند. یا شاید بخواهید شاخص‌گذاری بخش جدید سایت شما، سریعتر انجام شود.
متخصصین سئو برای کراول شدن دوباره معمولا از روش‌هایی مثل ثبت دوباره XML نقشه سایت استفاده کرده، یا از خدمات پینگ مجانی مثل Seemic Pin (یا نام اسبق Ping.fm) یا Ping-O-Matic استفاده کرده و به اجبار کراول انجام می‌شود. یکی دیگر از روشها، ایجاد دسته‌ای از لینک‌های بوک مارک اجتماعی در سایت است. مشکل اینجاست که این روشها هیچ وقت، قطعی جواب نمی‌دهند.
اما خبر خوب این است که روش بهتر و معتبرتری برای وادار کردن گوگل به کراول دوباره سایت شما، جلوتر از زمان استاندارد کرده و ۱۰۰ درصد نیز در گوگل جواب می‌دهد.
با “Submit URL to index” آشنا شوید
سال گذشته، گوگل “Fetch as google” را در وب‌مستر تولز آپدیت کرده و خصوصیت جدیدی به نام “URL را برای شاخص ثبت کنید” را در آن قرار داده است. این خصوصیت به شما اجازه می‌دهد که URL های جدید و آپدیت شده را در گوگل ثبت کنید. این کار باعث می‌شود، حتما سایت شما دوباره کراول شود.
به دلایل خاص، این مسئله و گوگل وب مستر تولز سر و صدای کمی در صنعت سئو ایجاد کرد و به اندازه کافی به آن توجه نشد. بازاریابان جستجو باید بدانند که وارد کردن URL برای شاخص به عنوان یک روش تبلیغ شده و حتمی عمل می‌کند که گوگل را مجبور می‌کند تا سایت را دوباره کراول کرده و تقریبا فورا، شاخص‌گذاری شروع می‌شود.
چند نکته در مورد استفاد ه از ” URL را برای شاخص ثبت کنید”
اخیرا، یکی از مشتریان دسته‌ای از هشدار را از وب مستر تولز در مورد افزایش قابل توجه خطای کراول دریافت می‌کرد که شامل خطاهای فایل robot.txt و خطای ۴۰۳ می‌شد. این نوع هشدارهای پیشگیری کننده از وب مستر تولز مسئ‌ه ای جدید بوده و بخشی از کمپین ادامه دار گوگل برای ارائه قابلیت مشاهده بیشتر به مالکین سایت‌ها و ارائه بازخورد سریع نسبت به عملکرد سایت‌ها است. این نشان دهنده قدرت بالای گوگل در تشخیص خطاهای عملکردی است. این مسئله از آپدیت ماه مارس شروع شد. در این آپدیت، خطاهای کراول، سریعا مشخص می‌شوند.
همین‌طور، ترافیک ارگانیک و عملکرد در صفحات جستجو، نیز در سایت صدمه و افت پیدا کردند. انتظار چنین اتفاقی می‌رفت زیرا تعداد خطاهای ارسال شده (برای مثال در ۵ روز) و شدت خطاها، بسیار بالا بود.
ایمیل نهایی که به مشتری از وب‌مستر تولز فرستاده شده بود، به شرح زیر بود:
…. گوگل نمی‌تواند به سایت شما دسترسی پیدا کند.
طی ۲۴ ساعت گذشته، گوگل بات با ۲۳ خطا در زمان دسترسی به فایل robot.txt شما روبرو شده است. برای اطمینان از ا ینکه ما صفحات وارد شده در این لیست را کراول نمی‌کنیم، کراولینگ سایت شما به تعویق افتاده است. فایل robots.txt سایت شما آمار خطای ۲۰٫۴ درصد را دارد.
اگر گوگل نتواند با استفاده از این نکته واقعی، به سایت شما دسترسی پیدا کند، حتما توسعه دهنده وب شما به طور سهوا IP گوگل را بلوک کرده است.
در گذشته، مشکلات فنی مثل مسئله بالا، برای کشف شدن، به چند روز نیاز داشت. اما با این خطای کراول جدید، زمان زیادی ذخیره شده و مشکلات سریع تشخیص داده شده و زندگی برای وب مسترها بسیار راحت‌تر می‌شود زیرا مشکل‌ها می‌توانند ساده‌تر حل شوند. این بدین معناست که ما زمان کمتری را برای حل مشکل صرف کرده و زمان بیشتری را برای انجام فعالیت‌های سئو صرف می‌کنیم.
احساس می‌کردیم، حذف بلوک‌های IP گوگل مسئله را حل می‌کند. پس می‌خواستیم سایت سریعا دوباره کراول شود. برای کراول شدن، شما باید URL را در Fetch as Google ثبت کرده و سپس بازخورد تشخیص برای شما ارسال می‌شود. شما می‌توانید گزارش موفقیت یا خطا در زمان فچینگ URL را بررسی کنید.
اگر گوگل بتواند با موفقیت سایت را فچ کند، شما می‌توانید از قابلیت “ثبت URL برای شاخص‌گذاری” استفاده کنید.
نکات زیر به شما در استفاده از این خصوصیت کمک می‌کنند:
. گزینه URL و تمام صفحات لینک شده یا URL and all linked pages” را به جای “URL” انتخاب کنید. این باعث می شود URL ثبت شده به عنوان نقطه شروع کراول تعیین شده و تمام لینک‌های داخلی که صفحه همراه با شبکه لینک‌های سایت دوباره کراول شوند.
. همین‌طور شما می‌توانید با ورود به بخش “Fecth as Google” و انتخاب تمام URL های سایت، کاری کنید که گوگل تمام سایت (شامل بخش‌های خارج از گزارش) را دوباره کراول کند. همین‌طور، اگر می‌خواهید گوگل از صفحه اصلی به عنوان نقطه شروع کراول کردن دوباره استفاده کند، می‌توانید این گزینه را خالی بگذارید.
. در زمان انتخاب کراولینگ URL های اضافی، صفحاتی را ثبت کنید که بیشترین تعداد لینک‌های داخلی را داشته باشد. این کار باعث می‌شود، گوگل دوباره کراولینگ عمیق از بیشترین مقدار URL های ممکن در سایت شما را انجام دهد. برای مثال می‌توانید HTML نقشه سایت و سایر صفحات دارای لینک زیاد را در نظر بگیرید.
توجه داشته باشید که گوگل شما را به ۱۰ ورودی در ماه به ازای هر اکانت در وب مستر تولز محدود می کند. بنابراین اگر شما سایت‌های مشتریان را نیز در یک اکانت وب مستر هاست کرده باشید، به این مسئله توجه داشته باشید، که ممکن است نیازهای شما از محدودیت فراتر برود.
بعد از ثبت کراول دوباره، شما باید به بخش خطاهای کراول وارد شده و خطاها را بررسی کنید (در مثال بالا، عدم دسترسی به تب بود) و ما گزینه “تعمیر شده یا Fixed” را به صورت URL مجزا یا کل URL ها را انتخاب کرده بودیم.
حتی بعد از اینکه شما اصلاحات خود را انجام دادید، ممکن است باز هم تأییدیه خطای فنی دریافت کنید. اگر مطمئن هستید که تمام مسایل را حل کرده‌اید، آنقدر این فرآیند را تکرار کنید تا تأییدیه سلامت کامل سایت را دریافت کنید.
در مثال ما، روز بعد از کراول شدن دوباره سایت، ما رشد قابل توجه فعالیت کراولینگ در وب مستر تولز را مشاهده کردیم.
در نتیجه، ما تنواستیم مشکل را طی چند روز حل کرده و ترافیک سریعا دوباره بالا رفت. همین‌طور، من باور دارم که ثبت چندین “هاب لینک داخلی” برای URL های قابل کراول شدن – شامل HTML نقشه سایت، و صفحات دارای لینک زیاد – واقعا باعث شد ما بسیار سریعتر، بهبود پیدا کنیم.
نتیجه گیری در مورد ثبت URL برای شاخص گذاری و هشدارهای خطای کراو
تمامی این به روز رسانی‌های وب مستر تولز – مثل هشدارهای خطای کراول – می‌توانند به متخصصین سئو و مالکین سایت در تشخیص و حل سریع مشکلات فنی کمک کنند.
در زمان ثبت برای شاخص‌گذاری، شما دیگر نباید منتظر باشید تا گوگل بات، سایت شما را کراول کرده و مشکلات را پیدا کند. شما می‌توانید مشکلات فنی را سریعتر حل کنید. این به معنای اختلال کمتر در صفحه نتایج جستجو و مشتریان خوشحال‌تر خواهد بود.
