Search Engine هایی که Crawler Based هستند (مثل Yahoo و Google) برنامه ای برای خود دارند که به آنها معمولا Web Spider یا Web Crawler می گویند. این برنامه ها محتویات دائم وب سایتها را می خوانند، به دنبال لینکهای ورودی و خروجی می روند و سپس این اطلاعات را درون بانک اطلاعاتی خود ذخیره می کنند که به آنها Index می گویند.

وقتی ما کلمه ای را جستجو می کنیم Search Engine آنرا درون Index خود جستجو می کند و مناسبترین جوابها را نشان می دهد حال اینکه چه جوابهایی در رتبه های بالاتری قرار می گیرند بستگی به یکسری فاکتورها و الگوریتم آن Search Engine بستگی دارد.
هر موتور جستجو دارای الگوریتم خاص خودش است و دانستن این الگوریتم ها در بهبود رتبه وب سایت موثر است. هر SEO دارای دو درجه است :

ON SITE SEO :
کارهایی است که شما می توانید در سایت خود انجام دهید مثل HTML Markup، Target Keywords، Internal Linking، Site Structure و …

OFF SITE SEO :
عواملی است که شما کمتر در آن دخیل هستید مثل تعداد لینک هایی که کاربران دیگر به سایت شما می دهند.