Crear un Scrawler

[Xavisupercrac]

Hola muy buenas,
hace unos meses (antes de las vacaciones) me explicaron en la universidad de forma un poco ambigua el significado y el funcionamiento de un scrawler o araña.
Este profesor nos aconsejó hacer una practicas "extra" sobre el funcionamiento del scrawler.
Nos recomendó hacer un listado de hoteles (ya sea en páginas como Trivago, TripAdvisor, etc), con la dificultad extra de que no debían repetirse los resultados y tenían que scrawlear  diferentes tipos de hoteles (diferenciar hoteles con piscina, hoteles con gimnasio, etc)
El objetivo de este ejercicio era encontrar 100 resultados válidos, siguiendo los parámetros de antes.

¿Me podrían ayudar o explicar como se hacen?

[engel lex]

basicamente esto tiene 2 partes

1- la parte investigativa
revisas la pagina y tratas de entender todos los query involucrados en lo que necesitas hacer

2- la progrmacion
tomas un lenguaje de tu gusto y construyes un programa que lea paginas web, el cual debe seguir las rutas que investigaste... al entrar al resultado, salva la informacion y continua con el siguiente, asi hasta que quieras...

luego filtras la informacion segun lo necesites

recomendaciones:
- aprender bien como funciona la web
- usar programacion multihilo
- usar una base de datos para salvar la informacion para que sea mas facil filtrarla (SQL es un leguaje especilizado para dicha tarea)

[Xavisupercrac]

El problema es que no se programar, estaba buscando un programa que pudiera hacerlo

[engel lex]

el problema es que las paginas no siguen una estructura standard, son programadas como mejor le parece a cada quien...

entonces no va a haber un programa que cubra todos los posibles casos, a demas como le dirías que buscar y las rutas?

por otro lado ya que estas paginas que mencionaste venden es informacion bien organizada, no quieren que los otros roben sus datos, asi que evitarán usar esquemas comunes para dificultar la tarea a quien quiera tomar la informacion

que clase veías que te explican los scrapper pero no como programar? :s

cosa adicional.. primera vez que veo el termino Scrawler... los conozco como arañas, scrapper o crawlers