گوگل به عنوان مهم ترین مخزن اطلاعات جهان از مکانیسم های ویژه ای برای طبقه بندی و نیز اولویت گذاری مطالب استفاده می کند.
بدون شک هریک از ما هنگامی که موضوعی را در اینترنت جست وجو کرده ایم با لیست مفصلی از اطلاعات مواجه شده ایم که در بیشتر مواقع با دریافت مطالبی که درصدر فهرست هستند به مقصود خود رسیده ایم. گوگل به عنوان مهم ترین مخزن اطلاعات جهان از مکانیسم های ویژه ای برای طبقه بندی و نیز اولویت گذاری مطالب استفاده می کند. googlebot روبات جست و جوگری است که فهرستی طبقه بندی شده از مطالب و موضوعات گوناگون را به کاربر ارائه می دهد.
در واقع مانند یک روبات خزنده عمل می کند بدین ترتیب که در بین صفحات سایت ها حرکت کرده و تمامی اطلاعات را در یک محل ذخیره می کند و برای استفاده آسان تر فهرستی از آنها تهیه می کند. بدین منظور ابتدا googlebot در بین شبکه ها حرکت کرده و مطالب گوناگون را جست و جو کرده و پیدا می کند. کلمات پیدا شده در روی هر صفحه درقالب فهرستی طبقه بندی شده ذخیره می شوند، بدیهی است این فهرست بسیار بزرگ خواهد بود و دریک پایگاه اطلاعاتی بسیار بزرگ ذخیره می شود.
googlebot به صفحات پیمایش شده شماره ای مشخص می دهد و کلمات گوناگون را بر اساس حروف الفبا فهرست بندی می کند. با پیمایش هر صفحه، موضوعات و مطالبی جدید به این فهرست اضافه می شود.
هنگام جست و جو برای فهرست کردن مطالب، گوگل به طور اتوماتیک فضاهای خالی، برخی علامات و نقطه گذاری ها، کلمات تکراری را حذف می کند و تمامی حروف را به حروف کوچک تبدیل می کند. این مساله خود باعث سرعت بیشتر خواهد شد. آخرین مرحله، پاسخ به درخواست کاربر است. هنگامی که کاربر در رابطه با موضوعی پرسشی می کند یا کلمه خاصی را در محیط گوگل تایپ می کند googlebot به جست و جو در فهرست تهیه شده، می پردازد و هر آنچه را که در پایگاه داده های خود ذخیره کرده است بر اساس اولویت تعیین شده در اختیار کاربر قرار می دهد.
بدیهی است با استفاده از این روش شاخص گذاری سرعت دسترسی به اطلاعات بسیار بالا می رود زیرا هنگام جست و جوی مطلبی خاص گوگل ابتدا در فهرست الفبایی خود به دنبال کلمه مورد نظر گشته و سپس براساس شاخص یا آدرس مشخص آن را در پایگاه داده های خود می یابد اما برای اولویت بندی مطالب، گوگل چندین فاکتور را در نظر می گیرد که طراحی مناسب، داشتن پیوندهایی دقیق به سایت های دیگر، اعتبار و شهرت سایت و نیز میزان استقبال کاربران از آن سایت را می توان نام برد. در بین فاکتورهای تعیین کننده اولویت، آنچه از همه موارد مهم تر است پیوندهای مناسب صفحات یک سایت به سایت های دیگر است که هر اندازه دقیق تر و همچنین از تعداد بیشتری برخوردار باشد آن سایت از جایگاه بالاتری در فهرست جست و جو برخوردار است. عامل مهم دیگری که باعث صدرنشینی سایتی می شود میزان جست و جو و دیدن آن ازطرف کاربران است.در واقع هر چه میزان استقبال از آن بیشتر باشد در اولویت بالاتری قرار خواهد گرفت. این مساله که چگونه googlebot در بین اطلاعات به دست آمده فهرستی تهیه می کند و با چه منطقی اطلاعات را اولویت بندی می کند موضوع بسیار جالبی است که شرکت گوگل هزینه و وقت زیادی را صرف آن کرده است.
