Mensajes

Yo me pondría a pensar muy bien en el uso que le vas a dar. Lo que has dicho fue:

Básicamente quiero usar el crawler principalmente para descargar contenido del sitio y de links apuntados por el sitio mientras me hecho la siesta o salgo de casa, desde el android, por eso del límite de velocidad de los datos e ir generando caché para cargar más rápido los sitios o poder verlos offline o no, obtener data para analisis...

Y básicamente lo que te entendí que quieres hacer es:

1) "Cache warmup"

Que francamente, es mejor si estableces caches mas agresivas con tus dispositivos (y en lugares que se puedan leer más rápido)

2) Offline viewing

Que es un tremendo dolor de cabeza para sitios web que son dinámicos, porque no solo tienes que obtener los recursos necesarios sino que muy probablemente los tengas que modificar de alguna forma. Por ejemplo, si una pagina web empieza a utilizar fetch o XHR para obtener algunos recursos, es probable que vayas a necesitar montarte un servidor web de por medio o editar el código para que no utilize fetch/XHR. Y considerando que hoy en día el código viene minificado y modularizado te puede resultar díficil encontrar el código en cuestión o hacer alguna especie de monkey patching para que cargue de tu FS. Es más en algunos contextos no te van a permitir eso y lo que es peor te van a forzara usar HTTPS, así que en algunos casos no te va a quedar de otra más que poner un servidor HTTPs (y de paso tienes que agregar un root CA a tu trust store).

Es importante porque dependiendo del error que ocurra puede o no afectar el comportamiento del sitio de manera local. Hay muchas técnicas que algunos sitios web utilizan para usar las paginas de manera offline. Reddit por ejemplo tiene una modalidad offline (y a veces es un lio refrescar información). Es más responsabilidad del sitio web hacerlo visible de manera offline.

En fin, que no es algo que vas a poder hacer para algunos sitios, así que va a tocar investigar como funciona el sitio.

3) Obtener datos en especifico

Mucho más factible que tener una pagina web funcionando de manera local y para esto si te puedes utilizar las herramientas que te han dicho. Pero no hay ninguna panacea para cualquier sitio web. Si es un SPA quizás necesites un headless browser como CasperJS/PhantomJS/Puppeteer/etc, pero igual y puedes usar un parser para HTML (o busquedas en el string) si hacen prerender al sitio web (que deberían porque hay buscadores que no hacen crawling que entienda javascript). Te toca analizar el sitio web en la mayoría de los casos...

Es como si alguien te llevara en la cajuela del carro y te dejara en algún lado para que nadie sepa que saliste de la casa. Esa persona sabe que saliste de la casa.

Creo que son 150 Euros según está pagina:

https://www.oepm.es/export/sites/oepm/comun/documentos_relacionados/Tasas/2019_SIGNOS.pdf

Y 95 euros por cada clase extra de la marca, no se como sea lo de las clases en españa. Me imagino que se refieren a que si es una marca en el sector de alimentos o una marca en el sector de turismo, o una marca en el sector de tecnologías. O si estás registrando la marca en los 3 sectores.

Las otras tasas, NPI.

Normálmente no hace falta nada de DNS para saber a que dominio se esta conectando alguien usando https. En los primeros paquetes suele ir información en plano del certificado que te ayuda a saber si estas conectando, por ejemplo, con youtube, google o microsoft.

Si está es una forma muy fácil de obtener un dominio visitado pero tiene algunos detalles. Si el certificado tiene un wildcard, no sabes exactamente el subdominio. Y también tienes el problema con reverse proxies y SANs. Tal es el caso de cloudflare, por ejemplo, elhacker.net que usa cloudflare tiene este certificado:

CN = ssl389553.cloudflaressl.com
OU = PositiveSSL Multi-Domain
OU = Domain Control Validated
DNS Name=ssl389553.cloudflaressl.com
DNS Name=*.basin.com
DNS Name=*.basinwhite.com
DNS Name=*.clubpromos.fr
DNS Name=*.elhacker.net
DNS Name=*.instafreight.de
DNS Name=*.nieuwnieuwnieuw.com
DNS Name=*.payspective.com
DNS Name=*.puresoap.nl
DNS Name=*.rcminn.com
DNS Name=*.spamcontrol.io
DNS Name=*.standardheating.com
DNS Name=*.sungod.co
DNS Name=*.touch.org.sg
DNS Name=*.uniformity.io
DNS Name=*.vivalamoda.nl
DNS Name=basin.com
DNS Name=basinwhite.com
DNS Name=clubpromos.fr
DNS Name=elhacker.net
DNS Name=instafreight.de
DNS Name=nieuwnieuwnieuw.com
DNS Name=payspective.com
DNS Name=puresoap.nl
DNS Name=rcminn.com
DNS Name=spamcontrol.io
DNS Name=standardheating.com
DNS Name=sungod.co
DNS Name=touch.org.sg
DNS Name=uniformity.io
DNS Name=vivalamoda.nl

Así que los que ven el certificado no pueden saber exactamente a cual de los sitios estás entrando (a menos que cada uno de estos sitios vaya por por un reverse proxy diferente, entonces las IPs te delatan).

PD: Por si acaso aclaro un poco más, todo esto hablamos de captación masiva e ISPs normales, alguien con suficiente poder te meten un certificado firmado por un CA oficial y te joden sin amor. MITM y probablemente te lo comerás con patatas por que el CA que lo firma es válido. Pero esto a priori, solo deberían tener mano gobiernos o cosas así.

Nadie debería poder decirle a un CA que cree certificados falsos, pero estoy seguro que debe de pasar. Estoy seguro que ya ha habido root CAs comprometidos y muchos otros incidentes que pueden pasar en cualquier parte del proceso del PKI. Pero que el gobierno le pueda decir a un CA que publique un certificado falso le están quitando toda la validez a ese CA.

Si tu tuvieras un negocio que literalmente se basa en que tu digas la verdad y viene el gobierno y te dice que tienes que mentir. ¿Que crees que haga esto con tu negocio? Se viene abajo completamente. Y no solo eso, todos tus clientes que necesitan de este nivel de confianza ya no lo tienen, ahora necesitan buscar a otro CA. Como gobierno, no solo te jodes al CA, te jodes a todos sus clientes también.

Pero bueno, no se que tan permisivos sean los que mantienen los trust stores. Hasta donde yo se se lo toman muy en serio y no creo que quieran tener CAs comprometidos por gobiernos de algún otro país.

En fin, si le tienes miedo a tu gobierno, no te queda otra mas que salirte por una VPN en otro país. Ah y para caer de una buena vez en la paranoia completa te reunes con el proveedor en su país (en un lugar seguro porfavor, mínimo a 20 metros bajo el suelo) y que ahí te den la copia de tus certificados necesarios.

Tienes que hacer:

Código (bash) [Seleccionar] Expandir

sudo apt-get update

Para actualizar los paquetes que están en el repo. Tenías mal la entrada para el repositorio de kali así que probablmente no tenías acceso a muchos paquetes.

El paquete si está en el repositorio por cierto:

https://http.kali.org/kali/pool/main/p/python-pbkdf2/

Node no  veo que incite a las malas practicas (bueno hasta donde llegué en el curso). Es simplemente una sintaxis aparte de la normal de js (que no interfiere con la otra, no la deforma, solo es un complemento). Ni tan distinta tampoco porque se basa en objetos con sus metodos, propiedades y callbacks (ajax tampoco lo veo mal).

No se que te hayas visto en Node que dices que trabajar con diferente syntaxis al JS del navegador. Nodejs trabaja con V8, el mismo runtime que chroma usa para procesar JS. Si tienes tu navegador actualizado es muy probable que tengas nuevas reglas de gramática que en Node.

Y se trabaja de la misma forma en Node que en el navegador. Escuchando a eventos, se maneja funciones asíncronas. Lo único diferente son las APIs, que uno trabajar con el DOM en el navegador y en node tienes APIs para sistema de archivos, servidores/clientes de HTTP (o de lo que tu quieras), crypto, compresión, etc.

Pero en cambio React , Angular, he visto como pervierten la forma de hacer html.

Siento mucho decirte esto, pero hoy en día nadie quiere escribir HTML "puro". Nadie quiere escribir 200 lineas de HTML para crear una barra de navegación que posiblemente vayas a deshacerte después. Y estoy seguro que debes estar pensando: "Pues no tienes porque escribir 200 lineas de HTML para algo que debería tomarte 6 o 10 lineas" y estás en lo cierto. Esto simplemente no es posible solamente con HTML.

Yo creo que cualquier persona que haya trabajado con HTML se ha pensado en escribir un programa que genere HTML de una forma u otra. Y si dices que tienes experiencia Web, estoy casi seguro que lo has hecho. Es más la única forma de escribir SOLAMENTE html, es de manera estática (y olvidate de JS de por medio). No se que forma de producir HTML tengas tú que llames lo que hace React una perversion.

Nadie quiere escribir solamente HTML. Estoy seguro que ni las personas que están detrás del standard te dirían que solo utilizes HTML a pelo. Y por años, nadie lo ha hecho. De hecho, HTML se ha inspirado bastante de los frameworks que existen hoy en día. Y si no te gusta react por "como pervierten la forma de hacer html" pues vas a tener problemas en el futuro porque HTML ya está adoptando componentes web. Las bases de estas dos tecnologías van a ser las mismas. Tu tienes un componente, lo utilizas y puede generar HTML por tí. La única diferencia es que HTML va a "esconder" el código detrás del shadow dom.

lo que haces por ejemplo con REACT lo puedes hacer perfectamente con codigo puro

¿Que crees que hace React? React no hace magia, también tiene que trabajar con tu "código puro" de una u otra forma. ¿Puedes hacer lo mismo que React? Si escribes otro React quizás, pero entonces ¿Cual es el punto?. Otra cosa sea que no necesites lo que hace React.

pero claro las agencias estan como apuraditas, quieren todo rapido, dinero, dinero, dinero, rapido y facil

Entonces, ¿Que quieres que hagan? ¿Quieres que gasten todo el dinero en producción y se tarden años en producir ganancias? Imagínate ser una empresa en el 2019 preocupada por tus ingresos y costos. *shocked_pikachu.jpg*

POr ejemplo Jquery que de por si ya es un frameworl facil de aprender , hay gente encima de que ya es facilito le instala otro plugin y otro plugin y otro plugin...pues dime si eso no es mediocridad o flojera..¿no pueden hacer un slider ellos solos con jquery, que de por si ya te facilita bastante, que necesitan estar descargando plugin para que les haga todo el movimiento del scroll o slider?

Y si pueden hacer ellos un plugin que hace exactamente lo mismo, ¿Deberían escribir exactamente lo mismo o escribir 90% del código igual y un 10% diferente? Te repito, no tienes ni idea de las veces que he escrito cosas que ya están escritas solo por escribirlas. Es estupidez al cuadrado.

Quiero pensar que te refieres al creador de Temple OS. Esta muerto xD

PD: No acabes como el creador de Temple OS.. el si que era purista. Hacia todo por su cuenta hasta escribió su propio compilador... y su código estaba absurdamente mal .. hasta el punto de que insultaba a los demás cuando se lo criticaban. Aquí un "docu" sobre el..

https://www.youtube.com/watch?v=UCgoxQCf5Jg

QEPD. Si era exactamente el mismo que estaba pensando.

2. Inventaria un vehiculo totalmente desde cero si me dedicara a ello. De la misma forma haria mis propios diseños moviles o sistema operativo si me dedicara a eso. No podemos inventar desde cero todo lo que nos rodea (ni el mas genio lo haria), pero si lo que es nuestra especialidad.

....

5. A veces hay que reinventar la rueda para hacerlo a nuestro gusto al 100% y para que no haya codigo basura y cosas sobrantes que nunca vamos a utilizar. Justamente ese es otro de los argumentos de los fanaticos de estas tecnologias "no hay que reinventar la rueda"...no sabes cuantas veces he escuchado esa frase trillada.

¿Desde 0 dices? ¿Te das cuenta de todas las disciplinas necesarias para realizar esto?¿Cuantas personas en el mundo crees que puedan hacer esto? ¿Y es que acaso pueden hacer un mejor trabajo que multiples personas expertas en sus respectivas areas?

En la mayoría de los casos no es necesario reinventar la rueda, simplemente modfiicarla.  Todo el tiempo que pierdes en reinventar la rueda cuando podrías estar haciendo cosas más significativas con la rueda que ya tienes. Si la rueda no te sirve entonces si vale la pena buscar alternativas.

No tiene nada que ver con ser vago. Muchos de los frameworks inclusive sobre complican asuntos triviales. El problema es que, vas a terminar escribiendo cosas muy similares. No tienes ni idea de la cantidad de veces que he escrito algunos metodos de lodash o underscore por ejemplo. Ya no me preocupo si lo escribí yo o me baje una dependencia con NPM. Todavía puedo leer el código y ver lo que están haciendo. Hacer un PR si pienso que hay algo que sería bueno tener en la librería o dependencia.

Encima piensa en todo el soporte que recibes al trabajar con frameworks y herramientas bien establecidas.

Y si vamos a ser puristas, yo no veo a nadie escribiendo código maquina a pelo en un sistema operativo que se ha hecho uno mismo.

Edit: solo conozco a una sola persona y results ser que está enfermo. Literalmente.

Restar dos timestamps significa que vas a obtener el número de segundos entre los dos timestamps. Ese número de segundos lo puedes usar para construir una fecha, pero será la fecha con los segundos añadidos al epoch time (00:00:00 Thursday, 1 January 1970). Dudo mucho que eso sea lo que tu quieres. De todas formas lo que tu tienes ahí no son timestamps son fechas en formato de string.

Hay varias formas de reiniciar el servidor node.js automáticamente cuando estás desarrollando. Francamente, tener acceso al servidor de forma programática es una herramienta invaluable. Hasta donde yo me acuerdo, los frameworks de PHP intentan retomar mucho control del servidor HTTP, cosa que Node.js simplemente te lo da.

Luego tienes un montón de herramientas web que practicamente van de la mano con Node.js. NPM, Webpack, Babel, React, Flow, Typescript, Eslint, etc. Todas estás tecnologías son super útiles para el desarrollo web y usan node.js de alguna forma para su desarrollo. Esta fue una de las principales razones por la cual hice el cambio a node.js hace un par de años. Quería utilizar herramientas modernas y había mucha fricción entre ellas y PHP. Lo más probable es que estés utilizando Node.js de alguna u otra forma, entonces porque no hacer el cambio de una vez.

Otra de las razones por la cual me cambie fue el lenguaje. Me canse de la documentación del lenguaje. Muchas veces tenía que estar leyendo los comentarios en el manual para una mejor explicación. Si yo quiero entender algo acerca de javascript puedo simplemente leer los estándares.  Si quiero entender porque cierta regla gramatical funciona de una forma o la otra, puedo leer el estándar de ECMAScript y averiguar que es lo que ocurre. El lenguaje está en constante desarrollo y el lenguaje ha cambiado demasiado en estos últimos 4 años. La gente todavía no termina de digerir todo lo que se agrego al lenguaje en ES2015 (y ya estamos en ES2019).

Pero si vas a hacer el cambio a javascript, vas a tener que dejar PHP atrás. Y no me refiero a que te olvides de todo lo que sabes de PHP, sino que vas a tener que dejar de pensar en PHP y pensar en javascript. Si intentas escribir javascript en PHP vas a tener muchos problemas. javascript toma de muchos lenguajes y es su propia bestia.