Busco un web-proxy, el cual...

Eleкtro · 23 Julio 2015, 12:57 PM

Buenas

Necesito un servicio web-proxy el cual proporcione una sencilla query para automatizar la navegación (mediante programación), por ejemplo:

Código [Seleccionar]

http://www.proxy.com/browse.php?url=http://www.site.com&refer=no

Tan simple como eso, ¿se puede con alguno?. Lo comento por que por el momento he tenido complicaciones con todos los servicios que he probado, ya no se si pensar que quizás soy yo el que está haciendo algo mal :-/

Saludos

moikano→@ · 23 Julio 2015, 13:13 PM

Los que he probado funciónan con hashes en las variables get. Prueba a ponerlo sin el "http://"

Código [Seleccionar]

http://www.proxy.com/browse.php?url=www.site.com&refer=no

Eleкtro · 23 Julio 2015, 13:33 PM

Cita de: moikano→@ en 23 Julio 2015, 13:13 PMLos que he probado funciónan con hashes en las variables get.

Efectivamente (bueno, yo al principio pensé que era base64 hasta que verifiqué que no xD), parece que no se salva de estar "protegido" ni un solo servicio web-proxy, por ese motivo creo que es indiferente que ponga la url con o sin http(s)://, pero de todas formas te comento que ya lo probé antes de formular mi pregunta

, y en los que lo probé me devuelve un código 404.

Solamente necesito hallar un servicio que no use cifrado para construir la query.

Gracias por comentar de todas formas.

saludos!

moikano→@ · 23 Julio 2015, 13:46 PM

Cita de: Eleкtro en 23 Julio 2015, 13:33 PM
Efectivamente, parece que no se salva de estar "protegido" ni un solo servicio web-proxy, por ese motivo creo que es indiferente que ponga la url con o sin http(s)://, pero de todas formas te comento que ya lo probé antes de formular mi pregunta , y en los que lo probé me devuelve un código 404.

Solamente necesito hallar un servicio que no use cifrado para construir la query.

Gracias por comentar de todas formas.

saludos!

Es para realizarlo de forma automática?
Porque si es así puede hacer la petición directamente a la web y que te pase el hash para consultar

Eleкtro · 23 Julio 2015, 14:06 PM

Cita de: moikano→@ en 23 Julio 2015, 13:46 PMEs para realizarlo de forma automática?

Es para automatizar la tarea usando un servicio web-proxy para acceder a una página en concreto y hacerle web-scrapping.

Podría hacerlo usando un proxy normal y así no me enfrentaría a la complicación que me está causando la idea del web-proxy, pero lo otro requeriría mayor mantenimiento en el código ...obtener de forma automatizada una lista de proxys e ir probandolos hasta que uno funcione, y esperar que siga funcionando hasta terminar la tarea o de lo contrario volver a empezar a probar proxys, pf, no es algo que me apetezca sinceramente.

Cita de: moikano→@ en 23 Julio 2015, 13:46 PMPorque si es así puede hacer la petición directamente a la web y que te pase el hash para consultar

Encontré un servicio que funciona bien, sin hashes:

Código [Seleccionar]

http://proxyanonimo.es/browse.php?u=url

Ejemplo real de la página que me interesa:

Código [Seleccionar]

http://proxyanonimo.es/browse.php?u=http%3a%2f%2fplixid.com

El problema que tengo es que mis expectativas en la respuesta eran encontrar el contenido del documento htm de la url a la que supuestamente he accedido, pero no es así, esta es la respuesta:

Código (html5) [Seleccionar]

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<html>
<head>
<title>Proxy Anonimo :: Spanish Web Proxy</title>
<meta name="keywords" content="proxy, webproxy, proxy online, spanish proxy" />
<meta name="description" content="Usa nuestro WebProxy An�nimo para comprobar como se ve una web desde otro sitio que no sea el ordenador en el que est�s sentado. Es un acceso remoto desde nuestro servidor." />

<style type="text/css">
	html, body {
	   text-align: center;
	}
	#wrapper {
	   width: 740px;
	   margin: 0 auto 0 auto;
	   text-align: left;
	   padding: 10px;
	   background: #eee;
	   border: 4px outset #ccc;
	}
	#footer {
	   margin: 10px 0 0 0; 
	   font-size: 80%;
	   color: #ccc;
	}
	#error {
	   border: 1px solid red;
	   padding: 2px;
	   margin: 5px 0 15px 0;
	   background: #eee;
	}
	.center { text-align: center; }
	
	/* TOOLTIP HOVER EFFECT */
	#tooltip{ 
	   width:20em; background: #fff;
	}
</style>
	<script type="text/javascript">ginf={url:'http://proxyanonimo.es',script:'browse.php',target:{h:'http://plixid.com',p:'/',b:'',u:'http://plixid.com'},enc:{u:'iawpK1Q337kKRtEraNzZubjsx46C64Qd4aqEZ6vR2GrHZTZXxmNPoU7JM4aGYQJROYjBUFiKbxiYh5LEhmjt4g3G83dVHKClyLMhgTRfgX1nSBPYLYhG38a11bMwMcF8',e:'',x:'',p:''},b:'12'}</script>
	<script type="text/javascript" src="http://proxyanonimo.es/includes/main.js?1.4.1"></script></head>
<body>
<div id="wrapper">

	<h1 class="center"><a href="index.php">Proxy Anonimo</a></h1>
	<h2 class="center">IPv6 Ready!</h2>	
	<div id="error">Hotlinking directly to proxied pages is not permitted.</div><p style="text-align:right">[<a href="http://proxyanonimo.es/browse.php?u=http%3a%2f%2fplixid.com&amp;b=12&amp;f=norefer">Reload http://plixid.com</a>]</p>
	
	<h2>Proxy</h2>
	
	   Usa nuestro WebProxy An�nimo para comprobar como se ve una web desde otro sitio que no sea el ordenador en el que est�s sentado. Es un acceso remoto desde nuestro servidor. Si tu conexi�n tiene alguna restricci�n, con nuestro Proxy An�nimo no tendr�as que tener problema o por lo menos, asegurarte de si la web es accesible o no. 
	
	<h2>URL</h2>
	
	<form action="includes/process.php?action=update" method="post" onsubmit="return updateLocation(this);">
		<input type="text" name="u" id="input" size="60">
		


		<!--<input type="submit" value="Go">-->
	
		<h3>Options</h3>
		<ul id="options">
			<li><input type="checkbox" name="encodeURL" id="encodeURL"><label for="encodeURL" class="tooltip" onmouseover="tooltip('Encrypts the URL of the page you are viewing so that it does not contain the target site in plaintext.')" onmouseout="exit();">Encrypt URL</label></li><li><input type="checkbox" name="encodePage" id="encodePage"><label for="encodePage" class="tooltip" onmouseover="tooltip('Helps avoid filters by encrypting the page before sending it and decrypting it with javascript once received.')" onmouseout="exit();">Encrypt Page</label></li><li><input type="checkbox" name="allowCookies" id="allowCookies" checked="checked"><label for="allowCookies" class="tooltip" onmouseover="tooltip('Cookies may be required on interactive websites (especially where you need to log in) but advertisers also use cookies to track your browsing habits.')" onmouseout="exit();">Allow Cookies</label></li><li><input type="checkbox" name="tempCookies" id="tempCookies" checked="checked"><label for="tempCookies" class="tooltip" onmouseover="tooltip('This option overrides the expiry date for all cookies and sets it to at the end of the session only - all cookies will be deleted when you shut your browser. (Recommended)')" onmouseout="exit();">Force Temporary Cookies</label></li><li><input type="checkbox" name="stripTitle" id="stripTitle"><label for="stripTitle" class="tooltip" onmouseover="tooltip('Removes titles from proxied pages.')" onmouseout="exit();">Remove Page Titles</label></li><li><input type="checkbox" name="stripJS" id="stripJS"><label for="stripJS" class="tooltip" onmouseover="tooltip('Remove scripts to protect your anonymity and speed up page loads. However, not all sites will provide an HTML-only alternative. (Recommended)')" onmouseout="exit();">Remove Scripts</label></li><li><input type="checkbox" name="stripObjects" id="stripObjects"><label for="stripObjects" class="tooltip" onmouseover="tooltip('You can increase page load times by removing unnecessary Flash, Java and other objects. If not removed, these may also compromise your anonymity.')" onmouseout="exit();">Remove Objects</label></li>		</ul>
	</form>
	
	<br>
		
	<br><br><br>
	
	<p><a href="http://s07.flagcounter.com/more/xu5M"><img src="http://s07.flagcounter.com/count/xu5M/bg=FFFFFF/txt=000000/border=CCCCCC/columns=8/maxflags=248/viewers=De+donde+nos+visitan/labels=1/pageviews=1/" alt="free counters" border="0"></a></p>
	

	<div id="eXTReMe"><a href="http://extremetracking.com/open?login=proxyes">
<img src="http://t1.extreme-dm.com/i.gif" style="border: 0;"
height="38" width="41" id="EXim" alt="eXTReMe Tracker" /></a>
<script type="text/javascript"><!--
EXref="";top.document.referrer?EXref=top.document.referrer:EXref=document.referrer;//-->
</script><script type="text/javascript"><!--
var EXlogin='proxyes' // Login
var EXvsrv='s10' // VServer
EXs=screen;EXw=EXs.width;navigator.appName!="Netscape"?
EXb=EXs.colorDepth:EXb=EXs.pixelDepth;EXsrc="src";
navigator.javaEnabled()==1?EXjv="y":EXjv="n";
EXd=document;EXw?"":EXw="na";EXb?"":EXb="na";
EXref?EXref=EXref:EXref=EXd.referrer;
EXd.write("<img "+EXsrc+"=http://e1.extreme-dm.com",
"/"+EXvsrv+".g?login="+EXlogin+"&amp;",
"jv="+EXjv+"&amp;j=y&amp;srw="+EXw+"&amp;srb="+EXb+"&amp;",
"l="+escape(EXref)+" height=1 width=1>");//-->
</script><noscript><div id="neXTReMe"><img height="1" width="1" alt=""
src="http://e1.extreme-dm.com/s10.g?login=proxyes&amp;j=n&amp;jv=n" />
</div></noscript></div>

<p class="center">Powered by <a href="http://www.glype.com/">Glype</a>&reg; v1.4.1.</p> 
</div>

<script type="text/javascript">
var infolinks_pid = 1993344;
var infolinks_wsid = 0;
</script>
<script type="text/javascript" src="http://resources.infolinks.com/js/infolinks_main.js"></script>

</body>
</html>

¿Qué mas me faltaría por hacer?.

Saludos!

moikano→@ · 23 Julio 2015, 15:11 PM

Claro, el problema de esas webs es que ponen iframes ya sea por html o por javascript.

Lo mejor es que uses proxys http normales.

Una pregunta, el proxy que necesitas tiene que ser de un pais en concreto? tienen que ser varios?

Eleкtro · 23 Julio 2015, 15:21 PM

Cita de: moikano→@ en 23 Julio 2015, 15:11 PMUna pregunta, el proxy que necesitas tiene que ser de un pais en concreto? tienen que ser varios?

no, es suficiente con que el proxy sea anónimo (no transparente) o al menos eso creo, pero ya he probado decenas de proxys, los cuales funcionan con otras webs (ej: google.com), pero con la web que me interesa (plixid.com) me devuelven diferentes códigos de respuesta, pf, es que me banearon por IP y tendrán un sistema de detección o algo al usar proxys..., me parece que la única manera va a ser usando un web-proxy, que al menos eso si que lo bypassea bien... mientras que al parecer con un proxy normal como ya he mencionado no puedo (cuando ese mismo proxy funciona si lo pruebo con otra página distinta).

Cita de: moikano→@ en 23 Julio 2015, 15:11 PMtienen que ser varios?

Si, tienen que ser varios, por que accedo ...o mejor dicho accedia diariamente a la página para hacerle web-scrapping.

Pero encontrar proxys activos y anónimos no es problema, el problema es que a la hora de probarlos con esa web no me funcionan xD, al probar un proxy me dió un error muy extraño decía algo así:
"Infracción en el protocolo por parte del servidor. Section:ProxyInLine"
(más o menos, no lo recuerdo bien, y el código no lo recuerdo)
Al probar otros proxys me daban otros tipos de errores distintos... pero vuelvo a repetir que esos mismos proxys funcionan al probarlos con otras páginas, me parece raro.

Saludos

moikano→@ · 23 Julio 2015, 15:28 PM

Y que te devuelve? algo que indique que este bloqueado.

Como lo veo yo tienes 3 caminos.

1-Buscar un web-proxy que no cree un iframe y que te ofrezca el código de la web, cosa que no se si al final darás con alguno.

2-Buscar un proxy en listados de proxys públicos con el que poder sacar el código que necesitas. Tiene que haber alguno. Pero tendrás que crear una infrastrucutra para scrapearlos y probarlos, yo tenia algún script por ahí para hacerlo, pero creo que no son muy legales para colgarlos. Otra es que los pruebes a mano, eso si, estos proxys aparecen tan rápido como desaparecen.

3- Hacerte tu propio proxy. Hay formas de hacerlo de forma gratuita. Hace un tiempo que quería aportar un par de scripts en php para hacer un proxy con un hosting gratuito para este tipo de cosas, si te interesa lo preparo en github y te pego el enlace aquí.

Pablo Videla · 23 Julio 2015, 15:37 PM

Una consulta, porque tiene que ser web-proxy?

No te sirve usar tor por ejemplo?

Eleкtro · 23 Julio 2015, 16:07 PM

La primera opción creo que no tiene probabilidad de éxito, tal vez no exista ningún servicio con esas características... pero ojalá existiera y pudiera dar con él, sería lo más cómodo para mi.

La segunda opción, tengo una aplicación comercial que saca alrededor de 30.000 proxys con cada uso, ahora mismo estoy iterando la lista obtenida de forma asíncrona para registrar las requests fallidas y exitosas entre google.com y plixid.com, y... bueno, he conseguido acceder a plixid.com con varios proxys, pero es que esta metodología es un auténtico coñazo incluso haciendo web-scrapping a listas públicas de proxys, descargar e ir probando proxys... casi prefiero reclamar un cambio de IP a mi ISP que me dará menos trabajo.

La tercera opción, tal vez sea viable, no lo se, hay cosas que desconozco como por ejemplo el nivel de anonimato en el que quedaría yo, aparte de como hacerlo (bajo Windows)...

Cita de: moikano→@ en 23 Julio 2015, 15:28 PM3- Hacerte tu propio proxy. Hay formas de hacerlo de forma gratuita. Hace un tiempo que quería aportar un par de scripts en php para hacer un proxy con un hosting gratuito para este tipo de cosas, si te interesa lo preparo en github y te pego el enlace aquí.

Te lo agradezco mucho pero creo que te haría perder el tiempo por que no domino la programación a nivel web, tal vez no sepa que hacer con esos scripts en php, pero si quieres, sea bienvenida tu ayuda en ese sentido

y gracias de nuevo.

Cita de: Pablo Videla en 23 Julio 2015, 15:37 PM
Una consulta, porque tiene que ser web-proxy?

No te sirve usar tor por ejemplo?

no, debo automatizarlo por que es parte de un algoritmo de web-scrapping desarrollado bajo la plataforma .Net.

gracias por comentar