Un poco de ayuda

[pumass]

Buenas a todos, vereis, me han pedido que haga un crawler y la verdad es que no tengo ni idea de por donde empezar, soy mas de diseño que de estas cosas, pero es por un curso de seguridad en las redes que estoy haciendo, me podirais orientar o decirme donde descargarme uno y yo ir modificandolo e implementando lo que me solicitan? gracias

[gredix]

https://www.youtube.com/watch?v=SFas42HBtMg o mira esta web http://scrapy.org/
Espero que te sea de ayuda esta programado en python