problema de memoria con readdir (Solucionado)

[AlbertoBSD]

Muy buen dia.

Problema: La memoria utilizada por el programa aumenta y no disminuye

Solución: No es un problema, es la memoria que se genera por el paradigma de la recursividad, esto es: que al llamar a la misma función de forma recursiva, el Stack Frame de la memoria que utiliza cada una de las llamadas a la función se acumule.

Intente aplicar una solucion de forma Iterativa, guardando el Path de los directorios que faltan por leer en una Queue, pero utiliza mas memoria  que la solucion recursiva.

readdir devuelve un apuntador de la estructura (struct dirent)
Mas info: https://linux.die.net/man/3/readdir

El cual creo que es el causante de este POST.

Versión Corta

¿Quien controla el Apuntador entregado por readdir?

Es memoria estatica y no se debe de liberar

Código (c) [Seleccionar] Expandir

directorio_archivo_temporal = readdir(directorio)

Al momento de tratar de liberar dicho apuntador, el programa se cuelga...

Código (c) [Seleccionar] Expandir


while(directorio_archivo_temporal = readdir(directorio) ) {
//etc..
free(directorio_archivo_temporal);
}


El problema radica en que la memoria del programa solo aumenta y no disminuye.

Codigo de la version corta funcionando

Código (c) [Seleccionar] Expandir


#include<sys/stat.h>
#include<sys/types.h>
#include<dirent.h>
#include<stdio.h>
#include<stdlib.h>
#include<string.h>

int is_regular_file(const char *path);

int procesar_directorio(char *path);

int main(int argc,char **argv) {
switch(argc){
case 2: //Se espera directorio
procesar_directorio(argv[1]);
break;
default:
printf("Numero de argumentos no esperado\n");
break;
}
getchar();

}

int is_regular_file(const char *path) {
struct stat path_stat;
stat(path, &path_stat);
return S_ISREG(path_stat.st_mode);
}

int procesar_directorio(char *path) {
DIR *directorio;
struct dirent *directorio_archivo_temporal;
char *path_copy;
int len_path;
char *path_temporal;
int len_path_temporal;
directorio = opendir(path);
if(directorio != NULL) {
len_path = strlen(path);
path_copy = malloc(len_path+2);
memcpy(path_copy,path,len_path);
if(path_copy[len_path - 1] == '\\' ){
path_copy[len_path] = '\0';
}
else {
path_copy[len_path] = '\\';
path_copy[len_path+1] = '\0';
len_path++;
}
while(directorio_archivo_temporal = readdir(directorio) ) {
len_path_temporal = strlen(directorio_archivo_temporal->d_name);
path_temporal = malloc(len_path+len_path_temporal+1);
path_temporal[len_path+len_path_temporal] = '\0';
sprintf(path_temporal,"%s%s",path_copy,directorio_archivo_temporal->d_name);
if(is_regular_file(path_temporal)) {
printf("%s\n",path_temporal);
}
else { //Directorio?
if( len_path_temporal > 2 ) { //not .. or .
procesar_directorio(path_temporal); //recursivamente
}
}
free(path_temporal);
}
free(path_copy);
closedir(directorio);
}
}









Versión extensa

Aquí esta toda la Letanía

Estoy realizando un programa que lea de forma Recursiva un directorio dado y liste los archivos en pantalla. Nada del otro mundo. Asi mismo estoy haciendo que el formato de salida sea el formato tipo UNIX /bla/bla/bla en lugar del formato de windows C:\lalala\lalalala.txt

Esto con el objetivo de virtualizar el path de subdirectorios específicos para otro programa pero eso ya es harina de otro costal.

El problema es que cuando listo Cualquier carpeta con muchos subdirectorios como la unidad C:\  el programa en empieza usando lo clasico unos 400 KB y termina utilizando 800 KB o mas dependiendo de la carpeta que este listada.

El dia Ayer publique un post parecido:
Problema de memoria en miniservidor usando Winsock (Solucionado)

En el cual se estaba cerrando el socket de forma incorrecta.

En este caso creo que es problema del apuntador devuelto por readdir.

Código del programa funcionando:

Código (c) [Seleccionar] Expandir


#include<sys/stat.h>
#include<sys/types.h>
#include<dirent.h>
#include<stdio.h>
#include<stdlib.h>
#include<string.h>

int fsize(const char *filename);
int is_regular_file(const char *path);

int procesar_directorio(char *path,char *virtual_path);

int main(int argc,char **argv) {
switch(argc){
case 2: //Se espera directorio
procesar_directorio(argv[1],"/");
break;
case 3: //Se espera archivo + nombre de directorio de destino.
break;
default:
printf("Numero de argumentos no esperado\n");
break;
}
getchar();

}

int is_regular_file(const char *path) {
struct stat path_stat;
stat(path, &path_stat);
return S_ISREG(path_stat.st_mode);
}

int fsize(const char *filename) {
   struct stat st;
   if (stat(filename, &st) == 0)
       return st.st_size;
   return -1;
}

int procesar_directorio(char *path,char *virtual_path) {
DIR *directorio;
struct dirent *directorio_archivo_temporal,*result;

char *path_copy;
char *virtual_path_copy;
int len_path,len_virtual_path;

char *path_temporal;
char *virtual_path_temporal;
int len_path_temporal;
int len_virtual_path_temporal;


directorio = opendir(path);
if(directorio != NULL) {

len_path = strlen(path);
len_virtual_path = strlen(virtual_path);

virtual_path_copy = malloc(len_virtual_path+2);
path_copy = malloc(len_path+2);
memcpy(path_copy,path,len_path);
memcpy(virtual_path_copy,virtual_path,len_virtual_path);

if(path_copy[len_path - 1] == '\\' ){
path_copy[len_path] = '\0';
}
else {
path_copy[len_path] = '\\';
path_copy[len_path+1] = '\0';
len_path++;
}
if(virtual_path_copy[len_virtual_path - 1] == '/' ){
virtual_path_copy[len_virtual_path] = '\0';
}
else {
virtual_path_copy[len_virtual_path] = '/';
virtual_path_copy[len_virtual_path+1] = '\0';
len_virtual_path++;
}
/*
directorio_archivo_temporal = calloc(1,sizeof(struct dirent));
result == NULL;
*/
//while(readdir_r(directorio,directorio_archivo_temporal,&result) == 0 && result != NULL){
while(directorio_archivo_temporal = readdir(directorio) ) {

len_path_temporal = strlen(directorio_archivo_temporal->d_name);
//printf("readdir point to %p\n",directorio_archivo_temporal);
//printf("Len %i : %s\n",len_path_temporal,directorio_archivo_temporal->d_name);

path_temporal = malloc(len_path+len_path_temporal+1);
virtual_path_temporal = malloc(len_virtual_path + len_path_temporal+1);

path_temporal[len_path+len_path_temporal] = '\0';
virtual_path_temporal[len_virtual_path+len_path_temporal] = '\0';

sprintf(path_temporal,"%s%s",path_copy,directorio_archivo_temporal->d_name);
sprintf(virtual_path_temporal,"%s%s",virtual_path_copy,directorio_archivo_temporal->d_name);

if(is_regular_file(path_temporal)) {
//printf("Archivo :\"%s\"\n",path_temporal);
printf("%s\n",virtual_path_temporal);
}
else { //Directorio?
if( len_path_temporal > 2 ) { //not .. or .
procesar_directorio(path_temporal,virtual_path_temporal); //recursivamente
}
}
free(path_temporal);
free(virtual_path_temporal);
}
//free(directorio_archivo_temporal);



free(path_copy);
free(virtual_path_copy);
closedir(directorio);
}
else {
printf("El directorio \"%s\" no es un directorio valido\n",path);
}
}


Funciona bien, recibe parametros de entrada, ejemplo

Ejemplo

Código [Seleccionar] Expandir


C:\>generar_contenido.exe contenido
/index.html


Le agregue un getchar al final del archivo para poder ver con cuanta memoria termina el programa. Para carpetas sin tanto subdirecorio no hay problema, el detalle es cuando se trata de todo un disco...

Imagen:


Ya he validado que todos los apuntadores que yo genero de forma dinámica son liberados en su totalidad, esto mediante re implementaciones de malloc,calloc,realloc y free como describo en el siguiente post: ¿He liberado todos los apuntadores?

Imagen:


Con lo cual considero que el problema es el apuntador devuelto por readdir.

Intente cambiar el siguiente pedazo de codigo

Código (c) [Seleccionar] Expandir


while(directorio_archivo_temporal = readdir(directorio) ) {
//etc...
}


por

Código (c) [Seleccionar] Expandir


while(directorio_archivo_temporal = readdir(directorio) ) {
//etc..
free(directorio_archivo_temporal);
}


Pero el programa se queda colgado por un rato y finaliza, seguramente por tratar de escribir en memoria que no esta asignada...

Intente implementarlo con readdir_r utilizando mi propio apuntador previamente asignado..

Código (c) [Seleccionar] Expandir


while(readdir_r(directorio,directorio_archivo_temporal,&result) == 0 && result != NULL){


Pero por alguna razon MinGW no lo tiene implementado, y segun he visto ya esta deprecated, entonces ¿Cual puede ser la solución?

Saludos!



Pordon por el Post tan largo, aqui esta su patata

[CalgaryCorpus]

Segun la documentacion, readdir usa memoria estatica, de modo que no corresponde usar free() sobre lo que se retorna.

[CalgaryCorpus]

Sugiero reemplazar esto de pedir y liberar memoria en cada vuelta del while por solo pedir memoria cuando es necesario pedirla, y no liberarla en cada vuelta, solo liberarla al final del while.

Algo asi como:

Código (cpp) [Seleccionar] Expandir

buffer = NULL;
memoria_actual = 0;
while( ... ) {
  memoria_requerida = ...  // calcular cuanto se requiere
  if( memoria_requerida > memoria_actual ) {
      // liberar la memoria anterior, pedir tanta como memoria_requerida, o hacer realloc
      ..
      // y actualizar cual es el tamano actual
      memoria_actual = memoria_requerida;
  }
  // copiar hacia buffer

  // la logica actual
  if( is_regular_file ....) {
  }
  //etc

  // no liberar la memoria en cada vuelta
}

free(buffer);  // liberar al final.


[AlbertoBSD]

Segun la documentacion, readdir usa memoria estatica, de modo que no corresponde usar free() sobre lo que se retorna.

Excelente, segun veo usa parte de la misma estrucutra original del directorio pasado como parametro. o algo asi alcance a ver.

Sugiero reemplazar esto de pedir y liberar memoria en cada vuelta del while por solo pedir memoria cuando es necesario pedirla, y no liberarla en cada vuelta, solo liberarla al final del while.

Voy aplicarlo gracias!, ya que si termina siendo mas eficiente, por que evitaria tantas llamadas a malloc como sea posible.

Creo que ya encontre la solucion, según veo no es problema de memoria por liberar, es problema de la implementación recursiva de la función.

La solución recursiva es la que menos memoria utiliza.

Saludos!