Uso de wget para descargar una web "distinta"

Iniciado por BeLGaRioN, 26 Julio 2012, 21:15 PM

0 Miembros y 3 Visitantes están viendo este tema.

BeLGaRioN

Hola,

Primero disculparme si no he metido el tema en el subforo adecuado, creo que era el que más se adecuaba a su temática.

Bueno, al lío, estoy intentando descargarme una página web que carga contenidos dinámicamente. La web en cuestión es esta http://sports.betfaironline.eu/?ci=11760594&ex=1&origin=LHMA . Como veis, el cupón se genera dinámicamente y la web en sí tiene un entramado que, al menos para mí, resulta muy lioso. Bien, resulta que si con el firefox voy a Archivo > Guardar Como... y la guardo como web completa, lo hace bien, bueno puede parecer que no, pero dentro de una carpeta que genera llamada a_data, guarda un html llamado sportToday.htm que contiene la información que me interesa al fin y al cabo.

Bien, explicado todo lo anterior, yo querría hacer esto mismo con wget, ya que busco automatizarlo. He probado muchísimos parámetros que me han parecido que podrían hacer algo que me valiese, pero no he conseguido nada, wget descarga lo que le parece, que dependiendo de lo que le indiques será ficheros en blanco o parcialmente llenos, pero nunca la información que necesito. Escribo ya aquí por desesperación, a ver si a alguien sabe.

En resumen, de la página anteriormente citada busco descargarla y que se vean al menos los partidos.

Un saludo y gracias.
Comunidad hispana dedicada a la Plataforma Steam | http://www.plataformasteam.com

peib0l

puedes poner exactamente que opciones incluyes en wget? me parece extraño que no trabaje bien...  :-\  :-\

BeLGaRioN

Las primeras que empecé usando fueron -r y -m ya que había leído que descargaban la web completa (yo entendía como web completa a aquello que yo miraba, incluído css, imágenes y demás), pero resulta que descarga el sitio web completo, lo cual no es lo que busco. Probé también -np para que descargase todo menos los directorios hacia atrás (algo que me valdría si funcionase correctamente en esa web). En fin, ya ni recuerdo exactamente todo lo que probé. A ver si alguien puede prestarme alguna ayuda.
Comunidad hispana dedicada a la Plataforma Steam | http://www.plataformasteam.com

Eleкtro

#3
Código (dos) [Seleccionar]
wget -m -k -E -p "http://sports.betfaironline.eu/?ci=11760594&ex=1&origin=LHMA"

Con eso puedes ver acceder a las pestañas de los partidos (No especificaste muy bien lo que querias ver.)

Saludos.








BeLGaRioN

Cita de: EleKtro H@cker en 26 Julio 2012, 21:51 PM
Código (dos) [Seleccionar]
wget -m -k -E -p "http://sports.betfaironline.eu/?ci=11760594&ex=1&origin=LHMA"

Con eso puedes ver acceder a las pestañas de los partidos (No especificaste muy bien lo que querias ver.)

Saludos.

Lo que quiero es poder ver esto como mínimo:



Start v Bryne1.221.256.68.414.520

Y así sucesivamente para todos los partidos que salen, como mínimo, luego si sale la web tal cual pues igualmente me vale. Sólo pretendo eso guardar la web con sus imágenes, css y, por supuesto, el contenido que me interesa que es ese que he dicho arriba.

Te agradezco el intento, pero he estado probando lo que me has dicho y sólo recoge páginas en texto plano, sin los partidos, y unas cuantas carpetas.
Comunidad hispana dedicada a la Plataforma Steam | http://www.plataformasteam.com

BeLGaRioN

Bueno, creo que la solución estaría aquí:

http://ubuntuincident.wordpress.com/2011/04/15/scraping-ajax-web-pages/

Pero, no he conseguido hacerlo funcionar, así que no se me ocurre nada más.
Comunidad hispana dedicada a la Plataforma Steam | http://www.plataformasteam.com

NEXUS978

Me alegro de que se haya sacado este post, vereis ando desde hace tiempo con ganas de descargarme la sección de una pagina dedicada al mundo del comic, esta sección incluye una gran base de datos por colecciones, portadas,autores etc.
el problema es que cuando intento descargarme dicha sección para que os hagais una idea os pondre un ejemplo:
suponed que esta coleccion de mortadelo tiene 55 portadas y estan distribuidas en 8 galerias de imagenes.
Bien lo que me ocurre es que me salva la primera pagina pero no las siguientes y asi con todo vamos un caos completo y he probado el teleport pero su configuracion me parece complicadisima, no se si teneis la solucion a esto.

alcidoga

Hola será que alguien puede ayudarme con el tema de wget , no logro descargar archivo en una conexión de red LAN, de que forma puedo hacer el scrip ya que en otro tipo de conexión si me permite descargar.
saludos

jemez44

Cita de: alcidoga en 21 Noviembre 2013, 16:53 PM
Hola será que alguien puede ayudarme con el tema de wget , no logro descargar archivo en una conexión de red LAN, de que forma puedo hacer el scrip ya que en otro tipo de conexión si me permite descargar.
saludos

mejor abre un hilo nuevo.
Si eres novato en el hacking wireless, toma estos consejos para no cometer los errores que yo cometí:

*1--> Léete todos los hilos chicheta de estas secciones "hacking wireles" "hacking wireles windows" y hacking wireless linux"

*2--> Las distribuciones suelen llevar programas que también se encuentran por libre, los cuales suelen tener una pagina web con foros. Regístrate y haz preguntas.