Mensajes

Buenas.

Estoy haciendo un trabajo de libros y nesesito  algunos datos (ISBN y el precio) que por ahora solo he encontrado en la web del ministerio.

La página principal es esta:

Código [Seleccionar] Expandir

http://www.mcu.es/webISBN/tituloSimpleFilter.do?cache=init&prev_layout=busquedaisbn&layout=busquedaisbn&language=es

Y una url de un libro concreto:

Código [Seleccionar] Expandir

http://www.mcu.es/webISBN/tituloDetalle.do?sidTitul=1998167&action=busquedaInicial&noValidating=true&POS=0&MAX=50&TOTAL=0&prev_layout=busquedaisbn&layout=busquedaisbn&language=es

El caso es que necesito sacar el codigo fuente y no encuentro la manera de hacerlo.

Estoy probando mayormente con curl, wget y lynx.

1) Con curl -I me redirecciona.

Código (bash) [Seleccionar] Expandir

curl -I "http://www.mcu.es/webISBN/tituloDetalle.do?sidTitul=1998167&action=busquedaInicial&noValidating=true&POS=0&MAX=50&TOTAL=0&prev_layout=busquedaisbn&layout=busquedaisbn&language=es"
HTTP/1.1 302 Movido tempor�lmente
Date: Fri, 08 Jul 2016 15:45:34 GMT
Server: Apache
X-Powered-By: Servlet 2.4; JBoss-4.2.1.GA (build: SVNTag=JBoss_4_2_1_GA date=200707131605)/Tomcat-5.5
Location: http://www.mcu.es/paginaError.html
Vary: Accept-Encoding,User-Agent
Content-Type: text/plain; charset=ISO-8859-1


Cosa que arreglo (aparezca un 200) con:

Código (bash) [Seleccionar] Expandir

curl -Lkg "http://www.mcu.es/webISBN/tituloDetalle.do?sidTitul=1998167&action=busquedaInicial&noValidating=true&POS=0&MAX=50&TOTAL=0&prev_layout=busquedaisbn&layout=busquedaisbn&language=es"

Pero el codigo fuente que aparece es el de la pagina de error.

Tanto con lynx -source como con wget puedo como mucho obtener el mismo codigo (el de la pagina de error).

Investigando he visto que esta pagina usa las cookies, tokens y sesiones, pero probando opciones para aceptar las cookies, o bien usar un useragent con curl -A, y nada, no hay manera.

Sabriais algún modo para obtener el cofigo de esta web.

Muchas gracias.

Aqui os dejo mas pruebas que he hecho y siguen fallandome.

Como bien es sabido en el navegador generalmente puedes introducir el login en la url de esta forma.

Código [Seleccionar] Expandir

http://user:pass@dominio.com

Aplicando eso con curl , wget, lynx , links , etc, tampoco.

Saludos.

Buenas.

Si, y con curl tambien he probado, varias formas, pero nada.


Me saca el codigo ( o descarga) de la pagina de login, pero no pasa de ahí.

Saludos.

Buenas.

He estado mirando un buen rato y manuales en internet para ver si puedo ver el codigo fuente de una web que pide un formulario directamente desde la linea de comandos.

Para ello he probado lynx, w3m, links y elinks.

Directamente me funciona: EJ: lynx dominio.com --> luego introduzco user , pass y navego.

Pero mi intencion es mostrar el codigo fuente directamente desde la linea de comandos.

he probado con

Código [Seleccionar] Expandir

lynx -source -auth=user:pass dominio.com

pero no hay manera, me conecta hasta pedirme de nuevo el login.

Tambien con:

Código [Seleccionar] Expandir

lynx -source -accept_all_cookies -auth=user:pass dominio.com
lynx -accept_all_cookies -auth=user:pass dominio.com

Por ultimo he intentado configurar un fichero cfg de lynx.

Código [Seleccionar] Expandir

SET_COOKIES:TRUE
ACCEPT_ALL_COOKIES:TRUE
PERSISTENT_COOKIES:TRUE
COOKIE_FILE:cookie.file
USERNAME:xxxx
PASSWORD:xxxxx


lynx -cfg=/etc/lynx/pruebas.cfg dominio.com

Con los otros comandos me pasa igual, da igual lo que ponga, que siempre me pide el login sin obtener el codigo directamente.



Sabeis la forma correcta para hacer esto, si es que se puede, python, perl?

Muchas gracias.

Un saludo.

Buenos días.

Tengo una web estatica (solo a base de html, js y css) donde se me pidio que redireccionara ciertas rutas a url amigagles.

El caso es que he conseguido que me redireccione pero no me carga bien algunos estilos y algunos js.

Esto lo he hecho todo desde el virtualhost quedando de esta forma.

Código [Seleccionar] Expandir

RewriteEngine on

    RewriteRule /webinars  "/es/webinars.html" [PT]
    RewriteRule /debates "/es/debates.html" [PT]
    RewriteRule /sondeos "/es/index/sondeos.html" [PT]

Nota: No esta dentro de ningun <Directory> <IfMofule> etc.

He visto que los css y js apuntan de la siguiente forma.

Código [Seleccionar] Expandir

../css/[ruta.css]
../js/[ruta_js]

He intentado poner algo como esto: 

Código [Seleccionar] Expandir

RewriteRule /webinars/(.*)$  "/es/webinars.html" [PT]

Para ver carga los ficheros pero nada.

Muchas gracias y un saludo.

Hola muy buenas.

Reabro este hilo para preguntaros otra duda sobre redirreciones de referer.

Respecto a la anterior duda ya lo consegui.

Código (bash) [Seleccionar] Expandir

RewriteCond %{HTTP_REFERER} !^http://xxxxxx\.com
RewriteCond %{HTTP_REFERER} !^http://xx\.xxx\.es
RewriteCond %{REQUEST_URI} ^/ugr/.*
RewriteRule ^(.*)        http://www.example.com/%{HTTP_REFERER} [L,R]


El caso es que ahora me piden hacer eso mismo (acceder a un uri solo desde los referrer que yo quiero), pero que vengan desde un https.

He intentado probar muchas formas y no lo he conseguido.

Código (bash) [Seleccionar] Expandir

RewriteCond %{HTTPS_REFERER} !^https://xxxxxx\.com
RewriteCond %{HTTPS} !^https://xxxxxx\.com
RewriteCond %{HTTP_REFERER} !^https://xxxxxx\.com
RewriteCond %{HTTP_REFERER} !^http(s)?://xxxxxx\.com
RewriteCond %{HOST_PORT} = 443

Entre otras formas y nada.

Creo que consegui que me funcionara solo por https pero el http no me iva.

Muchas gracias.

Buenas a todos.

Sigo liado con el tema del htaccess

Me gustaria ir por partes asi que si quiero prohibir que un domonio accesa a otro dominio. lo aria asi, no?

Código (bash) [Seleccionar] Expandir


RewriteCond %{HTTP_HOST} ^dominio\.com$ [NC]
RewriteCond %{REQUEST_URI} ^/categoria/ [NC]
RewriteRule ^(.*)$   http://domino2.com/  [R=301,L]


Tambien eh probado con la ultima linea..

Código (bash) [Seleccionar] Expandir


RewriteRule ^(.*)$   http://dominio2.com/  [F]



Pero no me funciona bien, si accedo con un href a dominio.com/categoria desde dominio2.com puedo acceder.


Muchas gracas.

Buenas y gracias por los comentarios.

Pero en toria si <Directory "/home/httpdocs"> significa que se me aplica a todo lo que cuelga de ahi, y claro carpeta$ no existe.

Aun asi, he estado dandole vueltas y con prueba y error he conseguido justo lo contrario a lo que quiero.

Código (bash) [Seleccionar] Expandir

SetEnvIfNoCase Referer "^http://dominio2" spam_ref=1
SetEnvIfNoCase Referer "^http://dominio3" spam_ref=1
RewriteCond %{HTTP_REFERER} .*dominio.com/carpeta/.* [OR]
Order Deny,Allow
Deny from env=spam_ref


BIen, con eso, consigo que todo el mundo acceda a dominio1.com/carpeta menos los dos que le digo y todo el mundo incluido dominio2 y 3 pueden acceder a raiz de dominio1.

Lo que quiero es al contrario, que en dominio1.com/carpeta solo peuda acceder por dominio2 y 3, pero si cambio el orden de alloy y deny lo que hago es aplicar toda la web, en vez de la ruta.

Ya me queda poco, xD, aun asi gracias de nuevo.

Nota. Creo que con el tema de capeta puede que sea culpa mia por explicarme mal. Como sabemos wordpress contiene 3 carpeta wp-admin, wp-content y wp-includes, por lo que dominio.com/carpeta seria en realidad dominio1.com/index.php?id=1$sección=coches (me estoy inventando la ruta). y no existiria la carpeta "coches"  como tal.

Nada, no me sale ni con vuestra ayuda, debe estar haciendo algo mal.

Una duda que seguramente me ayudara a resolverlo.

Como se aplica a una ruta url sin que exista realmente esa carpeta. Es decir, como se aplica domonio.com/micarpeta sin que exista /var/www/htdocs/dominio/micarpeta.

Gracias.

MinusFour.

En realidad no existe la carpeta ya que dominio1.com/carpeta es generado con una regriteRule de htaccess de una ruta de wordpress. Por eso no me ha funcinoado (eso ycreo yo) <Directory> <Location><Proxy> etc

Si, el htaccess esta en la raiz del proyecto web (/var/www/carpeta)
Si, todo el mundo puede acceder a dominio1.com , pero si accedes (por ejemplo con un href) a dominio1.com/carpeta solo podra acceder el que ya quiera (dominio2.com).

el-brujo --> Mañana cuando llegue al pc, lo pruebo y os cuento.


Muchas gracias a los dos, un saludo.