Comprimir varios gigas para transferir/migrar a otro servidor

[‭‭‭‭jackl007]

Buen dia, tengo una duda respecto a comprimir varios gigas.

Deseo comprimir alrededor de 10'000 ficheros que tengo en una carpeta (pesan como 30 gigas), para luego transferirlo a otro servidor y posteriormente volverlo a descomprimir. Creen que tendré problemas si comprimo todo el directorio de admin/home: alrededor de 15'000 ficheros y un peso de 50 gigas.

Lo que pasa es que tengo un servidor y al parecer voy a mudar a otro más estable. La verdad que una vez movi muchos ficheros y el TAR resultó corrupto.

Alguna recomendación? La verdad que no me interesa el ratio de compresión, simplemente me interesa que los ficheros no estén corruptos y puedan ser descomprimidos sin errores en otro servidor.

PD: Utilizo CentOs 5.5, y me conecto via SSH

[oPen syLar]

SSH soporta comprensión para el envió de fichero.. Aunque desconozco si es tan efectivo como un bzip2, lzma y 7zip o similar... Obviamente el servidor SSH tiene que tener activado dicha opción.

Quizás un rsync podría ayudarte para no tener que comprimir antes y descomprimir luego y si pierdes conexión no tendrás que partir desde 0

Yo optaría por rsync

[Slava_TZD]

Con tar no he tenido nunca problemas, una vez comprimidos los ficheros crea una suma de verificación y cuando tengas el .tar en el ordenador local comparas las sumas.

[‭‭‭‭jackl007]

Gracias por las respuestas, no me quedo claro lo de la "Suma de Verificación". Cómo se hace con el tar?

Por ahi encontre el parametro -W para verificar en tiempo de compresión:

Código [Seleccionar] Expandir

tar cvfW fichero.tar directorio/

Pero no se, no me dice si todo está OKay o algo así, solo dice verificando y nada más.

Alguna forma más? Averiguare lo del SSH, y del Rsync

[portaro]

yo ya tube problemas en comprimir en tar, y solo me di cuenta de casualidad porque necesitaba saber si habia o no adicionado una folder a uno de los archivos y me estaba corrompido.

LO hice cuando tube necessidad de generar archivos comprimidos de unos pdf videos etc de linux para etudiar y guardarlos siempre.

Te aconsejo mucho hjsplit nunca me dio problemas, o lxsplit.

[Slava_TZD]

Gracias por las respuestas, no me quedo claro lo de la "Suma de Verificación". Cómo se hace con el tar?

Código [Seleccionar] Expandir

$ md5 .vimrc
MD5 (.vimrc) = c95dbdd29fb33a2e9f8f85f23ffd4528

Si se modificase un solo bit del fichero .vimrc la suma sería totalmente distinta.

edit: En Linux es md5sum.

Saludos

[‭‭‭‭jackl007]

Gracias, y alguno ha tenido experiencia con rsync?

En cuanto a hjsplit y lxsplit no es lo que necesito, ya que la transferencia de los archivos la hago via shell directamente y no necesito cortarlos en trozos pequeños, simplemente necesito comprimir varios gigas con miles de archivos sin que se corrompan.

Voy a seguir leyendo un poco más

[Diabliyo]

Buen dia, tengo una duda respecto a comprimir varios gigas.

Deseo comprimir alrededor de 10'000 ficheros que tengo en una carpeta (pesan como 30 gigas), para luego transferirlo a otro servidor y posteriormente volverlo a descomprimir. Creen que tendré problemas si comprimo todo el directorio de admin/home: alrededor de 15'000 ficheros y un peso de 50 gigas.

Lo que pasa es que tengo un servidor y al parecer voy a mudar a otro más estable. La verdad que una vez movi muchos ficheros y el TAR resultó corrupto.

Alguna recomendación? La verdad que no me interesa el ratio de compresión, simplemente me interesa que los ficheros no estén corruptos y puedan ser descomprimidos sin errores en otro servidor.

PD: Utilizo CentOs 5.5, y me conecto via SSH

El servidor a donde vas a pasarlos esta en linea ?, de donde a donde es la transferencia ?

Lo pregunto porque si se trata de grandes cantidades de informacion, no hay cosa mejor que levantes un NFS, y despues jales los datos. Pero igual podrias dar mas informacion de los servers, o: "de donde a donde" vas a pasar los datos.

Sobre los TAR, te recomiendo no confiez en comprimir grandes cantidades porque a veces suele comprimirse corrupto, ademas el echo de "comprimir" asume que tendras casi el doble de peso ocupado en el server, lo cual seria necesario tengas espacio suficiente.

Saludos !

[‭‭‭‭jackl007]

Los servidores están en USA, (yo en Perú), y ambos están conectados a internet. Son servidores para páginas webs.

También había pensado en la posibilidad de usar lftp para hacer la transferencia de todo el directorio, pero no se que tan recomendable sea.


Veré como es el tema del NFS

[Diabliyo]

Los servidores están en USA, (yo en Perú), y ambos están conectados a internet. Son servidores para páginas webs.

También había pensado en la posibilidad de usar lftp para hacer la transferencia de todo el directorio, pero no se que tan recomendable sea.


Veré como es el tema del NFS

Usa FTP.... asi de simple !....

Montate el proftpd o vsftp... con tu cuenta root conectate y bajate todo...
Y no uses comprimidos solo entra a los directorios y bajate todo el folder del HOME que te interese...

En lo personal, ya que mencionas que son paginas webs y me imagino es "tu negocio" (o el de tu jefe), para evitarte el problema de bajar y bajar la informacion de tus clientes, te recomiendo mejor veas sobre GITHUB, es un repositorio.

Yo acostumbro respaldar todos los dias los /HOME, asi que para no estar rebuscando cuales archivos son nuevos y llenar mi HDD de muchos respaldos. Mejor monto el GIT-Server, hago repositorio el directorio /HOME y mi servidor LOCAL (en mi oficina) hace el respaldo todas las noches.

Saludos !