PixInsight Forum (historical)

PixInsight => Bug Reports => Topic started by: Ignacio.R. on 2007 December 26 08:02:26

Title: MST y la memoria
Post by: Ignacio.R. on 2007 December 26 08:02:26
Pues despues de volverme absolutamente loco y de no saber que estaba pasando he llegado a una conclusion.
He estado haciendo unas pruebas con MST metiendole mas de 100 iteraciones y ayer tambien hice varias pruebas. La cuestion es que esta mañana en un momento dado me han empezado a salir errores de memoria demasiado baja. Al momento he mirado como iba la prueba que estaba haciendo con MST y veo que me habia dejado la imagen muy oscura, cosa bastante curiosa puesto que solo habia modificado un poco un parametro en comparacion con la prueba anterior que habia salido mucho mas iluminada.
Pues tampoco es que siga mucho el tema de la memoria del disco pero creia recordar que tenia unos 30Gb libres y cuando miro en equipo veo que tenia 25Mb  :shock:  Pues lo tipico, he borrado algunos archivos de proceso que ya no iba a utilizar y he limpiado la papelera. Total, me quedaban 2,4 Gb libres.
A continuacion he vuelto a poner la misma MST para que se fuera haciendo (120 iteraciones van para largo) y al poco rato vuelvo a mirar y otra vez lo mismo. Memoria demasiado baja, el proceso a medio hacer pero los menus de PI activos.
Y bueno, al mirar de nuevo he visto que en la carpeta de usuario me dice que hay ocupados 49Gb pero si repaso las carpetas una por una las que mas tienen son descargas 3Gb y imagenes 3Gb tambien. Me fallan mas de 40Gb en mis calculos....

Deducciones. Puede ser que PI grabe en algun sitio las mascaras que va haciendo y luego no las borre?? Como dato interesante he de decir que utilizo W.Vista.

Saludos
Title: MST y la memoria
Post by: Carlos Milovic on 2007 December 26 08:11:03
Hola Ignacio :)

Si, es muy probable que estes lleno de temporales de PixInsight. Prueba con la opcion "Purge all", aunque no creo que te borre los archivos viejos...

En fin, para hacerlo manualmente, deberás navegar tus carpetas visualizando los archivos ocultos. Estoy casi seguro de que el directorio de trabajo se encuentra oculto por defecto en windows.

Y por cierto, es útil tenerle un acceso directo desde el escritorio, para ir siempre vigilando como van esos temporales ;)
Title: MST y la memoria
Post by: Ignacio.R. on 2007 December 26 08:33:18
Quote from: "Carlos Milovic"
Hola Ignacio :)

Si, es muy probable que estes lleno de temporales de PixInsight. Prueba con la opcion "Purge all", aunque no creo que te borre los archivos viejos...

En fin, para hacerlo manualmente, deberás navegar tus carpetas visualizando los archivos ocultos. Estoy casi seguro de que el directorio de trabajo se encuentra oculto por defecto en windows.

Y por cierto, es útil tenerle un acceso directo desde el escritorio, para ir siempre vigilando como van esos temporales ;)


Hola Carlos.

Gracias por la ayuda. Lo he hecho manual directamente. Por lo visto esa carpeta que en W.Vista se llama AppData esta oculta por defecto y en ella esta entre otras cosas Temp.
Bueno, la broma se traduce en mas de 500 archivos de entre 100 y 30Mb aproximadamente...
En fin, vuelvo a tener mis casi 40Gb de disco libre.... ya decia yo.... :wink:

Saludos
Title: MST y la memoria
Post by: ManoloL on 2007 December 26 11:24:43
Hola:
Yo también he estado haciendo pruebas y he comprobado como mientras el programa está en funcionamiento va acumulando en la carpeta Temp de Windows los archivos Swp que se van generando a lo largo del proceso. En mi viejo portátil solo dispongo de unos 6 Gb libres, por lo que con archivos de intercambio de 118 Mb no puedo pasar de 50 iteracciones sin llenar el disco.
Bien es verdad que al salir normalmente del programa dichos archivos se han borrado. No obstante he encontrado algunos de este tipo con pinta de haberse quedado cuando las salidas del programa no han sido normales, tal como ocurre cuando se producen bloqueos.
Y aquí una pregunta:
Yo trabajo habitualmente conectado a un disco externo USB donde tengo acumulados todos los archivos derivados de los procesos fotográficos. Trabajando con el DSS me pasó algo parecido, pero dicho programa tiene una posibilidad de "colocar" los archivos temporales en el disco y carpeta que uno desee y los pude colocar en este disco externo. ¿Es posible hacer esto mismo en PixInsight mediante algún procedimiento?.

Saludos.
Title: MST y la memoria
Post by: Carlos Milovic on 2007 December 26 11:49:01
Hola Manolo

Si, mira en las Preferencias Globales, bajo "Directories and Network". Ahí puedes especificar la carpeta y disco de trabajo.
Title: MST y la memoria
Post by: ManoloL on 2007 December 26 13:32:25
Quote from: "Carlos Milovic"
Hola Manolo

Si, mira en las Preferencias Globales, bajo "Directories and Network". Ahí puedes especificar la carpeta y disco de trabajo.

Hola:
Efectivamente se puede hacer y ya lo he hecho, después de desmarcar "Use system TEMP directory" pues si no, no deja hacerlo.
Ahora ya cuento con un centenar de Gigas para los experimentos.
Por cierto que he visto que hay ayudas en "bocadillo". Creo que mientras llega la anhelada documentación, hay que trastear por todos los rincones buscando "cosillas".
Saludos.
Title: MST y la memoria
Post by: GABRI 9555 on 2007 December 27 04:00:14
Hola , pues ayer estuve cerca de dos horas limpiando los archivos en temp , casi 80gb  :shock: de archivos temporales , hare lo que Manolol , crear una carpeta para ahi depositar los temporales.
Title: MST y la memoria
Post by: Ignacio.R. on 2007 December 27 05:06:52
Pues es curioso. Hay archivos que se borran y otros no. Lo que me sucedio ayer es que llevaba 3 o 4 dias sin apagar el pc y sin ni si quiera cerrar el PI por lo que todos los archivos se iban acumulando. Pero no todos se borran. Siguiendo el consejo de Carlos me hice un acceso directo a la carpeta teporal y esta mañana lo he abierto y ya tenia ahi un par de archivos de PI... :roll:
Y bueno, lo peor fue al cerrar ayer las imagenes abiertas. Como en algunas ya habia aplicado MST y habia borrado los Temp me salian tantos errores por imagen como iteraciones habia aplicado y que ademas hay que ir cerrando uno a uno. Pues unos 800 clicks tuve que hacer para cerrar el dichoso programa  :lol:  :lol:  :lol:  :lol:  Suerte que siempre salen en la misma posicion los mensajes de error...

Saludos
Title: MST y la memoria
Post by: GABRI 9555 on 2007 December 27 06:08:23
el problema creo es que son archivos antiguos , con aplicaba MTS mediante el script inicial de David, acabo de probar y lo unico que deja es un registro de la accion realizada , en cualquier caso a mi no termina de funccionar , empieza a funccionar y se tira una hora procesando y al final tengo que parar la aplicacion , no se porque me ocurre , he probado distintos valores de mediana y distintas interraciones y nada , empieza pèro no termina.
Title: MST y la memoria
Post by: David Serrano on 2007 December 27 11:56:07
Con respecto a la memoria, tengo la impresión de que Pixi tampoco elimina las imágenes temporales. Desaparecen más tarde, al hacer alguna otra operación (no he investigado mucho) pero mientras el script se está ejecutando, van quedando ahí. No encontré apaño para esto.

[edito] "Aparecen" --> "Desaparecen".
Title: MST y la memoria
Post by: Juan Conejero on 2007 December 27 12:10:18
Buenas

*Todos* los archivos de intercambio (*.swp) deberían desaparecer cuando se cierra PI o cuando se cierran las imágenes correspondientes. También cuando se selecciona Image > Purge > Swap Files.

Los archivos de intercambio se generan en el directorio que tengáis seleccionado en Preferences > Directories and Network > Swap Files Directory. Por defecto es el directorio TEMP, que en Windoze es C:\Documents and Settings\<usuario>\Configuración Local\Temp.

Si se os quedaran archivos de intercambio en ese directorio tras cerrar PI de forma controlada (no porque se produce un crash), entonces tendríamos un bug. Y además sería un bug que me hace temblar de miedo, porque tendría que ver con el sistema de históricos de proceso, que es vital para el funcionamiento de la plataforma.

Por favor, confirmad que no se quedan archivos de intercambio en el disco. Comprobad la fecha de los archivos de intercambio viejos que podáis tener; deberían corresponder o bien a versiones bastante viejas de PI, o bien a cuelgues (crashes) de la aplicación, o bien porque habéis matado el proceso de PI manualmente.
Title: MST y la memoria
Post by: ManoloL on 2007 December 27 13:36:37
Hola Juan:
Por lo que yo he observado los archivos de las mascaras se acumulan y desaparecen todos cuando se "desarrolla" la imagen final.
Los archivos de las diferentes fases de la imagen se borran cuando se cierra la imagen final.
Por cierto me ha ocurrido que al ponerme a trabajar sin conectar el disco USB donde tenia la carpeta de los archivos de intercambio estos se me han colocado en la carpeta C:\PCL.
Luego, después de conectar el disco externo, he tenido que volver a designar la carpeta.
Saludos.
Title: MST y la memoria
Post by: GABRI 9555 on 2007 December 28 03:14:03
Hola juan , desde ayer estoy probando a ver si queda alguna imagen en la carpeta de temporales que he creado en mis imagenes y lo unico que queda es un archivo swp de 65,7kb con la fecha de ayer , lo que creo que me ocurrio es que en algun momento tuvo que haber un error y las imagenes no se borraban desde el primer script , el que funccionaba invertido , despues de limpiar los temporales antiguos y crear la carpeta nueva  cuando cierro PI las imagenes creadas en la MST se borran  dejan solo el archivo swp.
Title: MST y la memoria
Post by: Ignacio.R. on 2007 December 28 10:14:13
Yo tampoco tengo ninguna desde que las borre todas. Seguramente es por el tema de las versiones antiguas y por interrupciones de procesos. Ademas, como ya dije, cuando vi todos aquellos archivos tenia cargadas 4 o 5 imagenes despues de haber pasado todas ellas por varios procesos incluidos MST. Y mismamente por haber borrado los swp tuve que aceptar un moton de mensajes de error.

Saludos
Title: MST y la memoria
Post by: ManoloL on 2007 December 30 16:20:50
Hola:
Hace un rato el script (versión 8 ) me ha dado el siguiente error:

Welcome to PixInsight. Started 2007 dic 30 20:56:07 J2454465.37231 UTC

* Parallel processing enabled: Using 2 logical processors.
* PSM AutoSave enabled. Auto-save period: 30 seconds.

Reading 1 image(s):
F:/FotosNuevas/A2007/12_Diciembre/071230/Previos/TuttleTriangAbg.tif
Reading TIFF: 32-bit integers, 3 channel(s), 3906x2602 pixels, chunky: 100%

run -x=auto C:/PCL/src/scripts/masked-stretch-transform08.js

Processing script file: C:/PCL/src/scripts/masked-stretch-transform08.js

RGBWorkingSpace: Processing view: TuttleTriangAbg
0.047 s
*** Error [000]: C:/PCL/src/scripts/masked-stretch-transform08.js, line 450: At address 004F02DF with exception code C0000005 :
Access violation: invalid memory read operation at address 100DC400

Me lo había dado previamente, pero cuando tengo problemas de este tipo, reinicializando el PC me suelen desparecer. En este caso no ha sido así.
He aplicado la versión anterior y el script ha funcionado.
Luego he vuelto a probar con la misma imagen de nuevo la versión 8 y ya me ha funcionado.
Seguramente hay algo raro en las tripas del PC, o de Windows......
Saludos.
Title: MST y la memoria
Post by: David Serrano on 2007 December 30 17:47:32
Mañana llegaré de vuelta a Madrid y podré mirar las diferencias entre la 0.7 y la 0.8 a fin de encerrar la causa de esto. De todas formas mañana es fin de año... y luego resaca...

En fins, todo lo malo será acordarse el día 2. Si no ves respuestas, no dudes en dar caña.
Title: MST y la memoria
Post by: ManoloL on 2007 December 31 18:43:16
Quote from: "David Serrano"
Mañana llegaré de vuelta a Madrid y podré mirar las diferencias entre la 0.7 y la 0.8 a fin de encerrar la causa de esto. De todas formas mañana es fin de año... y luego resaca...

En fins, todo lo malo será acordarse el día 2. Si no ves respuestas, no dudes en dar caña.


Hola David:
Gracias por tu interés.
El error aparece esporadicamente y con las dor versiones del programa, una la genera en la linea 450 y la otra en la 453.

Hoy saliendo del Pixi y volviendo a entrar se ha podido ejecutar el script.
Estos son algunos de los mensajes generados:

Processing script file: C:/PCL/src/scripts/masked-stretch-transform08.js

RGBWorkingSpace: Processing view: TutTri04a06
0.031 s
Calculating view histograms...
*** Error [000]: C:/PCL/src/scripts/masked-stretch-transform08.js, line 450: At address 004F02DF with exception code C0000005 :
Access violation: invalid memory read operation at address 106DD188

run -x=auto C:/PCL/src/scripts/masked-stretch-transform.js

Processing script file: C:/PCL/src/scripts/masked-stretch-transform.js

RGBWorkingSpace: Processing view: TutTri04a06
0.000 s
*** Error [000]: C:/PCL/src/scripts/masked-stretch-transform.js, line 453: At address 004F02DF with exception code C0000005 :
Access violation: invalid memory read operation at address 157232A0
RGBWorkingSpace: Processing view: TutTri04a06
0.000 s
*** Error [000]: C:/PCL/src/scripts/masked-stretch-transform.js, line 453: At address 004F02DF with exception code C0000005 :
Access violation: invalid memory read operation at address 157232A0

run -x=auto C:/PCL/src/scripts/masked-stretch-transform.js

Processing script file: C:/PCL/src/scripts/masked-stretch-transform.js

RGBWorkingSpace: Processing view: TutTri04a06
0.000 s
*** Error [000]: C:/PCL/src/scripts/masked-stretch-transform.js, line 453: At address 004F02DF with exception code C0000005 :
Access violation: invalid memory read operation at address 156F02F8

run -x=auto C:/PCL/src/scripts/masked-stretch-transform08.js

Processing script file: C:/PCL/src/scripts/masked-stretch-transform08.js

RGBWorkingSpace: Processing view: TutTri04a06
0.000 s
*** Error [000]: C:/PCL/src/scripts/masked-stretch-transform08.js, line 450: At address 004F02DF with exception code C0000005 :
Access violation: invalid memory read operation at address 1599B480

Saludos.