Alguien me recomienda alguna libreria para un scraper web?

Iniciado por raytex, 23 Agosto 2015, 18:13 PM

0 Miembros y 1 Visitante están viendo este tema.

raytex

Alguien me podría recomendar alguna librería de C# para realizar  un scraper web que se logge en una pagina y saque información.

Mod: tema movido, esto no es C/C++ es .net

Eleкtro

Para el web-scrapping, lee lo siguiente:

Cita de: Elektro
Cita de: zonahurbana en 16 Junio 2015, 00:00 AM¿recorres el DOM y obtienes valores de ciertas etiquetas?

Practiamente en eso consiste el web-crawling, en parsear los documentos Html para obtener información específica.

Hay varios modos de hacerlo, la más ordinaria es utilizando las funciones built-in de .net para partir un string (String.Split) y filtrarla mediante substracciones (String.Substring, String.IndexOf, String.LastInfexOf, etc...),
otra manera sería utilizando expresiones regulares (RegEx),
y otra manera sería utilizando ciertas librerías (HtmlagilityPack en caso de .Net) para representar el árbol del documento Html orientado a objetos,
entre alguna que otra metodología más que habrá.

Dices que estás interesado en ello, pues aquí puedes ver un pequeño ejemplo con el que puedes empezar:
http://foro.elhacker.net/net/leer_datos_de_una_tabla_html-t436957.0.html

Y aquí tienes el source que compartí de un web-spider que recolecta los enlaces de una página de música en particular:
[SOURCE] Plixid Leecher - By Elektro

También existe una librería especializada en el web-scrapping para .Net, se llama aBot, aunque nunca la llegué a probar en profundidad:
https://github.com/sjdirect/abot
    (también la puedes descargar por la consola de NuGet)

EDITO: Aparte de algunas Classes de .Net Framework que puedes utilizar para el parseo de Html o Xml, cómo HtmlElement o Xelement

Saludos