Mensajes

Muchas gracias por vuestras respuestas. El wget lo bloquea pero con un navegador no.

$ proxychains lynx -source https://web.com > file.html

Lo acabo de instalar y configurar, "funcioana" he probado el wget con varias web, pero percisamente la que quiero me rechaza la petición.

Petición HTTP enviada, esperando respuesta... 503 Service Unavailable
2016-08-10 19:01:24 ERROR 503: Service Unavailable.

Es gracioso que esta web esté tan bién protegida, cuando ellos son los primeros en hacer scraping para ajustar sus precios.

Está es mi mejor amiga,  PHP Simple HTML DOM Parser.
Lo que tengo pensado hacer es con c++ descargarlo todo y con PHP procesarlo. Porque más de una vez después de procesar online con php o algo me ha salido mal o quiero coger más cosas, mejor guardar y luego procesar. Voy instalar ya proxychains haber si consigo que funcione.

Si yo sólo uso linux, y cron también estoy acostumbrado voy a probar a usar proxychains, porque no me han baneado, pero me han puesto captchas.

Llevo mirándolo 4 horas, pero no consigo que me funcione, si alguien tiene/conoce alguna guía se lo agradecería.

Hola, quiero hacer scraping, legitimo, pero se que el sistema me va acabar baneando la ip. He mirado sistemas para ocultar la ip, como usar proxy. Como sólo lo voy a usar dos días he mirado algunas webs, gratuitas, pero la idea de pasar un servidor interpuesto me genera muchas dudas.
He pensado una alternativa y es usar una servidor compartido que tengo:

Código (php) [Seleccionar] Expandir


<?php
echo file_get_contents($_GET['url']);
?>

Esto funciona bien, pero presiento que voy acabar tumbando el servidor.
¿Alguien se le ocurre una alternativa?, ¿Me recomiendan usar un proxy?
Voy a usar linux y c++

Básicamente como conseguir que google indexe n páginas, evitando la limitación de los sitemap.

Código (cpp) [Seleccionar] Expandir


#include<iostream>
using namespace std;

bool equal(string C, char c)
{
  if(C.length() == 0) return true;

  if(c == C[C.length()-1]) return false;

  return  equal(C.erase(C.length()-1), c);
}


string function (string cadena, string saveCadena)
{
  if(cadena.length() == 0) return saveCadena;

  if(equal(saveCadena, cadena[cadena.length()-1]))
    return function(cadena.erase(cadena.length()-1), saveCadena + cadena[cadena.length()-1]);
  return  function(cadena.erase(cadena.length()-1), saveCadena);
}

int main()
{
  cout << function("aaaabbbbccz", "");
}



Llevo un tiempo viendo webs que realmente no aportan nada, lo único que les genera trafico son búsquedas 'con pocos resultados', es decir las búsquedas de  un usuario pasa a formar parte de está web.

Mi pregunta es: ¿cómo se puede hacer esto? Teniendo en cuenta que cada búsqueda no la puedes meter en un sitemap, porque el límite de url creo que está en 20.000


Un saludo.

Si con la url del .deb que te he pasado no te funciona puede ser que no cumplas la dependencias.
prueba esto:
sudo apt-get install *.deb
sudo apt-get isntall -f
sudo apt-get install *.deb