موتورهای جستجو موتورها یا روباتهایی هستند که صفحات وب ( Web pages ) را می پیمایند و صفحات جدید را پیدا می کنند.این روباتها صفحات وب را می خوانند و تمام یا قسمتی از متن را در یک بانک اطلاعاتی یا فهرستی که شما امکان دستیابی به آن را داشته باشید قرار می دهند هیچکدام از آنها تمام شبکه را پوشش نمی دهند ولی بعضی از آنها واقعاً بزرگ هستند.
بازیکنان اصلی در این زمینه عبارتند از : Alta vista , Google, Fast All the Web , Askjeeves , Inktomi.
“Inktomi” در اصل یک سایت جستجو نیست ولی MSN , Hot bot را تغذیه اطلاعاتی می کند.”Fast” بیشتر پرتالهایی مانند “lycos” را تغذیه می کند.
موتورهای جستجو باید اولین انتخاب شما باشد زمانیکه دقیقاً می دانید که بدنبال چه چیزی می گردید. آنها همچنین قسمت خیلی بزرگتری از وب را در مقایسه با دایرکتوریها می پوشانند.
هر چند فرق میان دایرکتوریها و موتورهای جستجو آنقدر که در گذشته مشخص بود اکنون نیست همه دایرکتوریهای جستجو نتایج جستجو را ابتدا از موتورهای جستجو پیدا می کنند و اگر در آن جا جستجو موفق نبود به سراغ دایکتوری خودشان می روند مثلا «Yahoo» از موتور جستجوی “Google” برای این منظور استفاده می کند.
از طرف دیگر بعضی موتورهای جستجو اطلاعات را از دایرکتوریهای جستجو تهیه می کنند قبل از اینکه از بانک اطلاعاتی موتورهای جستجو اطلاعاتی را به شما بدهند.
Ask Jeeves سعی می کند جوابها را به سئوالات شما از زبان طبیعی بانک اطلاعاتی خودش بیرون بکشد. یعنی یک سری پاسخها به به پرسشهای متداول را در خود دارد.
Lycos , Google , Aol به شما قابلیت دسترسی به دایرکتوریای باز را می دهند Alta Vista , MSN یک سری سلسله دایرکتوری دارند مشابه Yahoo اینها بر اساس Look smart directory ساخته شده اند اگر آنچه را که جستجو می کنید نتوانستید پیدا کنید نتایج را در سایتهای مشابه برای شما پیدا خواهد کرند
