Ayuda! ¿Alguien sabe como listar urls de un servidor?

[something2add]

Amigos me encuentro con el siguiente problema que no se como resolver. Necesito poder listar las urls que hay dentro de un servidor solo sabiendo el nombre de la pagina.

Como ejemplo:
Tengo el dominio: dominio.com y quiero que me muestre las urls posibles que tiene dentro de ese dominio, ejemplo:
dominio.com/algo/index.html
dominio.com/otraCosa/asd.jad
dominio.com/mas/otro/asd.php

Es posible saber esto si solo cuento con el nombre del dominio?

Pregunte lo mismo en otros foros (http://www.forosdelweb.com/f91/como-listar-urls-servidor-830976/) y nadie me pudo responder.
Me recomendaron que preguntara en un foro de hackers que de seguro alguien se hace idea de como.

Si no se entiende la idea o tengo que explicar mas cosas avisen. Saludos

[Shell Root]

http://shellrootsecurity.blogspot.com/2010/06/simulacion-de-la-tool-list-urlspy-en_4445.html
http://shellrootsecurity.blogspot.com/2010/06/simulacion-de-la-tool-list-urlspy-en_1763.html
Más información: :http://charsecurity.blogspot.com/2010/06/labs-list-urls.html

[Novlucker]

Como ya te han contestado, con un Webcrawler en cualquier lenguaje

Saludos

[something2add]

Muchas gracias , pruebo esos tutoriales y si no me funciona aviso.

[something2add]

Probé esos tutoriales pero no era a lo que me referia. Preciso listar todas las url posibles del servidor, no solo las que estan vinculadas.

[jdc]

Sin acceso al servidor lo único que puedes hacer es fuerza bruta, sino imagínate ya habrían copiado completo google, youtube, facebook y otros xD

Desde el código fuente puedes conocer uno que otro directorio y como te dicen otros mas a no ser que la página se caiga primero.

[Littlehorse]

Tal vez te sirva la FOCA.

[bigoton]

Te han dicho la respuesta correcta... algo mas facil y tal vez posible en la algunas paginas.

revisa el robots.txt y el sitemaps. XD, solucion lammer pero eficaz.

[Dznp]

Acunetix :\

[jdc]

Te han dicho la respuesta correcta... algo mas facil y tal vez posible en la algunas paginas.

revisa el robots.txt y el sitemaps. XD, solucion lammer pero eficaz.

Ni tan lammer... hasta gugl tiene el suyo xD

http://www.google.cl/robots.txt