script para sacar emails de paginas webs [python] [v3.0]

[Kase]

les comparto este script que realiza para sacar emails de una web usando una arañita que recorre enlaces internos...

lo comparto por si se les ocurre modificaciones poder mejorarlo

repo git > https://github.com/Boredsoft/email-spider

** acepta parametros
-url       obligatorio con formato  http://somthing.com/   (la / final es necesaria)
-max_links  maxima cantidad de links a analizar antes de cortar el programa y guardar
-max_emails  maxima cantidad de emails a obtener antes de finalizar el programa y guardar
-external    acepta links externos, pero si no se usa junto con max_links o max_emails el programa nunca se detendra

** si la conexion de internet se cae el programa espera 30 segundos para reanudarse
** no se traba con enlaces muertos
** uso de "sort" para revisar enlaces con mayor probabilidad de tener email despues de cierto tiempo

fix 3.0
soporte para mas sistemas operativos
mejor detección de emails mediante el regex
fix v 2.0
ahora detecta mas tipos de urls internas
ahora detecta si es windows o linux para usar el comando correcto de limpiar pantalla.

Código (python) [Seleccionar] Expandir

# -*- coding: utf-8 -*-
## by kase: kase@boredsoft.com   colaboraciones: EleKtro H@cker
import requests,re,os,time,sys
from argparse import ArgumentParser, RawTextHelpFormatter

parser = ArgumentParser(description="email spider", version="3.0", formatter_class=RawTextHelpFormatter)
## -url
parser.add_argument("-url",  dest="url", help='url a analizar en formato http://web.com/')
## -max_links links
parser.add_argument("-max_links",  dest="max_links", help='maximo de links internos a analizar')
## -max_emails emails
parser.add_argument("-max_emails",  dest="max_emails", help='maximo de emails a analizar')
## -external  default False
parser.add_argument("-external",  dest="external", help='investigar links externos [si|no]')

argumento = parser.parse_args()



url_web = argumento.url
url_web_limpio = argumento.url.replace('http://','').replace('/','').replace('www.','')
links_internos = ['/']
links_visitados = []
emails_capturados = []
mailsrch = re.compile(r"[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+(?:[A-Z]{2}|com|org|net|edu|gov|mil|biz|info|mobi|name|aero|asia|jobs|museum|mx|com\.mx|xxx|tv|tk)\b")
#old mailsrch = re.compile(r'[\w\-][\w\-\.]+@[\w\-][\w\-\.]+[a-zA-Z]{2,6}')
urlssrch = re.compile(r'href=[\'"]?([^\'" >]+)')
contador = 0
while links_internos:
try:
## saca el ultimo link de la lista
##print links_internos
link = links_internos.pop()
## añade ese link a visitados, para no volverlo a tener en cuenta
links_visitados.append(link)
if link[0] == '/' or link == '':
r=requests.get(url_web+''+link)
else:
r=requests.get(link)
links = urlssrch.findall( r.text)
##print 'xxxxxxxxxxxxx', links
emails = mailsrch.findall(r.text)
## guarda todos los emails que se topa checando que no existan repeticiones
for email in  emails:
if email not in emails_capturados:
emails_capturados.append(email)
## guarda todos los links internos que se tope checando que no existan en la cola o en vistados
for link in links:
if not argumento.external:  ## verifica si usar enlaces externos o no
if link[0] == '/' or url_web_limpio in link:
if link not in links_internos and link not in links_visitados:
links_internos.append(link)
elif  argumento.external == 'si':
if link not in links_internos and link not in links_visitados:
links_internos.append(link)
contador +=1
## informacion en pantalla
if contador % 50 == 0:
if sys.platform.startswith('win'):
   # Windows
   os.system('cls')
elif sys.platform.startswith('linux'):
   # Linux
   os.system('clear')
elif sys.platform.startswith('cygwin'):
   # Windows (Cygwin)
   os.system('cmd /c cls')
elif sys.platform.startswith('darwin'):
   # MacOSX
   os.system('clear')
elif sys.platform.startswith('freebsd'):
   # FreeBSD
   os.system('clear')
print 'web atacada:', url_web
print 'total de emails obtenidos:', len(emails_capturados)
print 'urls recorridas: ', len(links_visitados)
print 'urls faltantes: ', len(links_internos)
print '-----  (~._.)~ '
## pequeño arreglo para tener mas chanse de optener emails en web grandes
## primero analiza los enlaces internos mas cortos  y despues de un tiempo, analiza los mas largos primero
## en paginas tipo blog, los enlaces mas largos son los de las post con comentarios donde posiblemente existan emails
if contador %10000 == 0:
if contador <= 10000:
links_internos.sort(reverse=True)
else:
links_internos.sort()
## si ahi un maximo de links internos  rompe el ciclo y termina
if argumento.max_links:
if contador >= int(argumento.max_links):
break
## si ahi un maximo de emails capturados rompe el ciclo y termina
if argumento.max_emails:
if len(emails_capturados) >= int(argumento.max_emails):
break
## si la conexion se cae duerme el proceso 20 segundos y reintenta
except:
r = os.system('ping -c 1 google.com') ## checa si hay conexion de internet
if r == 0:  #si existe conexion elimina el enlace muerto
link = links_internos.pop()
else: ##sino espera 20 segundos a que se reanude la conexion de internet
time.sleep(30)
if sys.platform.startswith('win'):
   # Windows
   os.system('cls')
elif sys.platform.startswith('linux'):
   # Linux
   os.system('clear')
elif sys.platform.startswith('cygwin'):
   # Windows (Cygwin)
   os.system('cmd /c cls')
elif sys.platform.startswith('darwin'):
   # MacOSX
   os.system('clear')
elif sys.platform.startswith('freebsd'):
   # FreeBSD
   os.system('clear')
print 'web atacada:', url_web
print 'total de emails obtenidos:', len(emails_capturados)
print 'urls recorridas: ', len(links_visitados)
print 'urls faltantes: ', len(links_internos)
print '-----  (~._.)~ CONEXION CAIDA, ESPERANDO 30 SEGUNDOS (X__X)'

f = open('%s.txt' % url_web.replace('http://','').replace('/','').replace('.','_'),'w+')
f.write("\n".join(emails_capturados))
f.close()

mejoras en las que pueden ayudarme
no soy muy bueno con expresiones regulares

estas me funcionan en el 90 de los casos, pero derrepente tienen errores (como cuando alguien usa el @ como a/o,   o no detecta urls internas si no comienzan con /)
 
mailsrch = re.compile(r'[\w\-][\w\-\.]+@[\w\-][\w\-\.]+[a-zA-Z]{1,4}')
urlssrch = re. compile(r'href=[\'"]?/([^\'" >]+)')



funciones que pienso agregar a futuro

** comandos para pausar las tarea y guardar donde se quedaron
** serializar cada cierto tiempo la tarea  para no perder el trabajo cuando se reinicie la computadora forzosamente

[daryo]

yo le pondria que ademas de esto busque con dorks en google paginas que puedan tener mails


spamer  

buen aporte jeje

[Kase]

interesante....  explicame un poco mas la idea, y podria interesarme sacarla

estoy por comenzar una campaña de mailing de varias webs...  mas emails a disposicion no estaria mal...


para burlar los filtros antispam uso  send blaster.... auke e considerado hacer todo una aplicacion yo mismo para mandar los emails y sacarlos de webs y contruir listas e base a criterios

[daryo]

pues me refiero a que ademas de poderle pasar de parametro la web a buscar mails usar tambien avanzadas en google como estas:
inurl:contact
inurl:nosotros.php
tambien se puede usar intitle:contactenos
o cosas asi
en los que es bastante probable encontrar mails eso seguro aumentaria bastante la lista de mails a spamear

[Kase]

pues me refiero a que ademas de poderle pasar de parametro la web a buscar mails usar tambien avanzadas en google como estas:
inurl:contact
inurl:nosotros.php
tambien se puede usar intitle:contactenos
o cosas asi
en los que es bastante probable encontrar mails eso seguro aumentaria bastante la lista de mails a spamear

pues tienes razon en eso, pero por ejemplo yo uso la araña  para solarta en una web de tematica X   de ese modo se que sus usuarios estan interesados en el tema..

quisas pueda hacer una busqueda en google por palabras algo asi como:
"palabra" @hotmail
y luego recorrer los enlaces
asi encontraria emails de tematicas que me interesen.

[flacc]

interesante, con un poco de ingenio podrías recorrer miles de webs mientras dejas el script en un servidor mandando spam xD

[Eleкtro]

@Kase

He probado esto:

Código [Seleccionar] Expandir

Kase.py -url http://elhacker.net/

Output:

Código [Seleccionar] Expandir

carlos@cool

Solo me devuelve un "email", ¿Eso es normal? xD

Los parámetros de maxpages y maxmails son opcionales, ¿no? (también los he probado pero obtengo lo mismo).

PD: Lo has testeado en Windows?
PD2: Si esto funciona corréctamente le pongo una chincheta.

Muy bueno.

[Kase]

@Kase

He probado esto:

Código [Seleccionar] Expandir

Kase.py -url http://elhacker.net/

Output:

Código [Seleccionar] Expandir

carlos@cool

Solo me devuelve un "email", ¿Eso es normal? xD

Muy bueno.

lo que pasa es que la pagina del hacker solo tiene links del tipo
<a href='www.elhacker.net/enlace_interno'>  
y la expresion regular que uso solo esta preparada para buscar
<a href='/encalce_interno/'>

como veras, ahi webs que  son  inmunes a esta expresion regular..  por ejemplo ah algunas que  solo tienes el dominio y todo lo interno se maneja mediante

<a href='www.elhacker.net?get=key' >


hacer una expresion regular que contemple todas las opciones no es imposible...
pero  mi conocimiento en expresiones regulares es limitado, por eso coloque aqui el script, para ver si me ayudan a mejorarlo...

Los parámetros de maxpages y maxmails son opcionales, ¿no? (también los he probado pero obtengo lo mismo).

los parametros max_linsk, y max_emails  si son  opcionales,  los coloque por que la primera web que ataque tenia mas de 80,000 enlaces internos y tras 24 horas solo abia recorrido 40,000  xD



Quiero hacer un sistema completo que pueda guardar los emails en una bd  con etiquetas para saber los intereses del email.  que este mismo pueda usar la araña  y que a su vez  puedan mandar los emails  con formato  html + txt_pano  y  mandar 1 cada x segundos (programado)  para burlar filtros anti spam

y de paso que pueda tambien aceptar importaciones csv y permita mandar los emails personalizados con nombre y otros datos...


con tiempo creo poder hacerlo en 1 semana, el problema es que ando muy cortito de dinero, y debo darle prioridad a un par de webs pendientes para las que me contrataron. aun asi, les informo  si me lanzo a hacerlo en 1 semana o dos

PD: Lo has testeado en Windows?

Código (python) [Seleccionar] Expandir

os.system('clear')

esta linea es para limpiar pantalla en linux, en windows creo que es diferente..  pero con poner la correcta deberia funcionar

PD2: Si esto funciona corréctamente le pongo una chincheta.

eso seria genial   ojala pronto quede la version que detecte mejor los enlaces internos.

por que el sistema que unifique la recoleccion  y el envio de emails ya no es scripting, en eso usaria  objetos y un framework como django para montar toda una buena interfaz de administracion.

[Eleкtro]

Código (python) [Seleccionar] Expandir

os.system('clear')

ups, de haberlo visto estaba claro, no me fijé en el código la verdad xD solo le he dado un par de vueltas al regex.

Sobre la parte de mejorar la dinámica de los RegEx para aceptar el tipo de urls que has comentado no debería ser muy dificil, solo tienes que usar el operador "|" y añadir una expresión más a la derecha, así se dará por válida cualquiera de las dos expresiones (si se encuentra una de las dos).

Ejemplo:

Código [Seleccionar] Expandir

(r'^href=expresión1$|^href=expresión2$')

Puedes usarlo las veces que quieras, aunque para usar las expresiones regulares extendidas primero se necesita que el regex que usa python séa el extendido... no lo he comprobado personálmente pero vamos, es python, me imagino que debe poder aceptar esos operadores.

En el regex del Mail usas {1,4}, pero yo lo cambiaria por {2,6} ya que existen dominios de 6 caracteres: http://en.wikipedia.org/wiki/List_of_Internet_top-level_domains y por lo que véo no existe ningúno de 1 solo caracter.
(Ya... quizás solo un 0,001% de la población mundial usa esos dominios... pero así es como se consigue la perfección xD.)

Espero que tu script vaya creciendo y mejorando poco a poco para que le podamos sacar todo el beneficio posible, ¡ESO SI, SIEMPRE SIN MALAS INTENCIONES! .

EDITO: Como innovación estaría bien que en una próxima versión añadas una opción para obtener sólamente los mails que acaben en ".net",".com" etc,  a elección del usuario.

Gracias por compartir.

Un saludo!

[Kase]

ya arregle lo de detectar mas tipos de webs

al final no lo ise con una expresion regular, por que  ahi muchas variaciones
ahora detecto todos los  href en bruto,  y luego los filtro  
si tienen el nombre de la web en la url o si empiezan con un /    se incluye como enlace interno, en su defecto se descarta

de este modo tambien resuelvo el problema de recorrer subdominios

Código (python) [Seleccionar] Expandir


url_web_limpio = argumento.url.replace('http://','').replace('/','').replace('www.','')


if not argumento.external:  ## verifica si usar enlaces externos o no
if link[0] == '/' or url_web_limpio in link:
if link not in links_internos and link not in links_visitados:
links_internos.append(link)
elif  argumento.external == 'si':
if link not in links_internos and link not in links_visitados:
links_internos.append(link)



ahora si EleKtro H@cker  puedes  hacer un

Kase.py -url http://elhacker.net/

pero si no usar un -max_emails 500 o -max_urls 10000  el programa nunca se detendra, el hacker es inmenso!



es en estos casos cuando la idea de daryo serviria

estaria padre poder lanzar el script con un

kase.py -google 'insite:elhacker.net  @hotmail'

de tal modo que aprobechemos el indice de google para que nos devuelva las urls indexeadas del hacker donde algun usuario dejo su correo electronico

PD: ahora si debo volver al trabajo!!!   no se cuando tenga la siguiente version D: