این فناوری به شکلی جسورانه دیگر موتورهای جستجو را به چالش می‌کشد. اهمیت آن نیز به این دلیل است که شاید گوگل تاکنون حدود هشت میلیارد صفحه وب را نشانه‌گذاری کرده باشد. ولی این تنها نمونه‌ای از خروار است. صفحات زیاد دیگری پشت فایروال شرکت‌ها و یا داخل بانک‌های اطلاعاتی پنهان مانده و منتظرند موتورهای جستجو آن‌ها را شناسایی و نشانه‌گذاری کنند. براساس برخی تخمین‌ها این دسته از صفحات وب که اصطلاحاً به ” صفحات تاریک ” معروفند، پانصد برابر بیش‌تر از چیزی است که امروزه به‌نام شبکه جهانی اینترنت می‌‌شناسیم.
بر خلاف محتوای عمومی اینترنت، روبات‌های خزنده موتورهای جستجوی عادی نمی‌توانند این محتویات پنهان را شناسایی و ایندکس‌گذاری نمایند و باید با تکنیک‌های خاصی به انباره‌‌های اطلاعاتی عظیم موتورهای جستجو اضافه شوند.
قبل از ظهور ابزار‌های جستجوگر دسکتاپ، کامپیو‌ترها عضو پنهانی از وب بودند که با وجود اتصال به اینترنت، محتویات آن‌ها جستجو و نشانه‌گذاری نمی‌شد. شبکه‌‌های اشتراک‌گذاری موسیقی، دستگاه‌ها را برای یافتن فایل‌های MP3 جستجو می‌کردند. اما قبل از پیوستن هارد دستگاه به شبکه قابل رویت اینترنت، توافقات و شروط عمدتاً خدعه‌آمیزی در زمینه امنیت و حفظ حریم خصوصی وجود داشتند که می‌بایست مورد پذیرش واقع شوند. به علا‌وه، هنوز میلیون‌ها نسخه دیجیتالی نسخه‌برداری‌شده از روی کتب وجود‌دارند که منتظر اتصال به اینترنت می‌‌باشند. در نهایت جستجوی عمقی وب، می‌تواند بهتر از ارائه صدها لینک، به سؤال‌های مستقیم پاسخ مناسبی بدهد. زیرا هنوز بسیاری از منابع موثق و غنی منتظر اتصال به شبکه جهانی ایتنرنتند.
