Unir varios ficheros en uno, escribiendo todas las primeras al principio y suc..

[jpozuelo]

Buenas tardes amigos.

Estoy trabajando con C,necesito escribir varios ficheros en uno. El problema es que tengo que escribir en el fichero conjunto, todos los datos de los demás en orden. Es decir, al principio, todas las primeras líneas de todos, segunda línea, todas las segundas líneas, etc.

No puedo guardarlo en memoria, pues es un trabajo en BIG Data, y estoy usando 709 ficheros con más de mil líneas de datos cada uno.

¿Cómo lo harían ustedes?

Mil gracias

[jpozuelo]

Así lo he hecho y me funciona bien, pero el programa es poco eficiente, es decir, tarda en torno a 20 minutos en recorrer los 709 ficheros.

Lo que he hecho ha sido, leer todas las primeras líneas y escribir,  así sucesivamente para cada fichero. Pero al tener que cerrar y abrir cada fichero para cada línea el programa tarda demasiado.

Por eso ahora la idea que tengo es leer un archivo concreto y escribirlo, dejándo los huecos enter la primera línea y la segunda en cada fichero, pero ahora tengo el problema de al leer el segundo ficchero escribirlo concretamente en la segunda línea....

[jpozuelo]

Voy a intentar explicarme mejor. Escribo el modelo de fichero que quiero generar:

linea 1     fichero1
linea1      fichero2
linea1      fichero3
....          .....

linea2     fichero1
linea2     fichero2
....         .....


Mi planteamiento ahora es escribir todo el fichero 1 dejando los huecos para poder escribir los sucessivos ficheros, pero mi problema está, en que una vez escrito el primer fichero, como me posiciono en la segunda línea, la escribir la primera linea del segundo fichero.

Muchas gracias por la colaboración.

[AlbertoBSD]

Así lo he hecho y me funciona bien, pero el programa es poco eficiente, es decir, tarda en torno a 20 minutos en recorrer los 709 ficheros.

¿Cuanto pesan los archivos?
¿Cual es la longitud promedio de la linea?

Puedo hacer un ejemplo con los datos anteriores para ver cuanto tarda en mi computadora.

Realmente es el proceso que te comente en teoría es lo mas eficiente, por que cuando dejas huecos para meter datos tienes que calcular es desplazamiento de donde va quedar el nuevo dato adicional y tendrás que calcular cuanto hueco dejar.

De hecho pensando bien no tienes que estar cerrando y abriendo el archivo destino, simplemente los cierras al final.

Te dejo este codigo de ejemplo, yo asumo que los archivos tienen distinto numero de lineas incluso el programa debe de funcionar para mismo numero de lineas en todos los archivos.

Código (c) [Seleccionar] Expandir

#include<stdio.h>

#define N = 700

int main() {
int i = 0,entrar = 1,finalizados = 0;
char *nombres[N] = {"Archivo1","Archivo2","Archivo2","Archivo4",...};
char *buffer = calloc(1000,1);
FILE *archivos[N];
FILE *destino;
while(i < N) {
archivos[i] = fopen(nombres[i],"r");
i++;
}
destino = fopen("destino","w");
while(finalizados != (N-1)) {
while(i < N) {
if(archivos[i] != NULL) {
fgets(buffer,1000,archivos[i]);
fprintf(destino,"%s\n",buffer);
memset(buffer,0,1000);
if(feof(archivos[i])) {
fclose(archivos[i]);
archivos[i] = NULL;
finalizados++;
}
}
i++;
}
}
fclose(destino);
}

[jpozuelo]

Muchísimas gracias por tu respuesta.

Finalmente no lo voy a hacer literalmente como me comentas dado que no sirve para mis archivos (algo lógico pues no he especificado como son), pero me has dado la idea central para poder mejorar el programa.
Aún lo he probado, cuando lo pruebe comentaré para tratar los resulados.

Muchas gracias por la ayuda