توضیح در مورد Crawler :
Crawler قسمتی از یک موتور جستجو را تشکیل می دهد.
از قسمت های دیگر یک موتو جستجو که در ارتباط نزدیکی با Crawlerاست،می توان به Spider اشاره کرد.
Spider وظیفه خواندن محتوای صفحات وب را بر عهده دارد.
Spider برای اینکه بداند که چه صفحاتی را بخواند، از Crawler دستور می گیرد.
Crawler با جستجوی کل وب با توجه به اجازه نامه ی هر وب سایت، لینک هایی از آن وب سایت را گلچین کرده و در اختیار Spider قرار می دهد تا محتوای آنها خوانده شده و آماده ی جستجو شوند.
یک Crawler اگر برای خواندن لینک های یک وب سایت از اجازه نامه ی وب سایت (که به صورت یک فایل TXT در رشه ی سایت نگه داری می شود و قابل خواندن برای عموم می باشد) استفاده کند اصطلاحا به آن Crawler با ادب گفته می شود.
داکیومنت مختصری برای آشنایی با قسمت های مختلف برنامه ، همراه پروژه در اختیار شما قرار خواهد گرفت