Pb mémoire avec fonction "creer dark flat offset maitre"

[patrick sogorb]

Bonjour à tous

Il y a quelques temps, je suis passé à une grosse camera (Moravian kaf-16803), et lorsque je cherche à "créer dark flat offset maitres" avec beaucoup d'images, je me heurte à un problème de mémoire. Au début j'étais avec 8 Go RAM et PRiSM8 (W7 integral 64 bits). Puis je suis passé à 16 Go de RAM, pensant que le problème venait de là => idem, aucun changement. Je viens de passer à PRiSM 9.0.2 => Pas mieux. Pourtant, lorsque je jette un oeil au graphique des performances du gestionnaire de tâche, il y a maintenant beaucoup de RAM libre... Là je commence à sécher. Une idée?

Pour l'instant, je traite avec moins d'images de calibration, et ça marche bien. Mais c'est dommage de ne pas pouvoir utiliser toutes les images de calibration que j'ai fait.

[Cyril Cavadore]

Facile:
ton OS est de 64 bits, et tu peux adresser une qté de memoire assez importante ...
MAIS, Prism est une application 32 bits qui ne peut adresser que 4 Giga de memoire mais qui tourne dans un OS 64 bits (comme 90% de sprogrammes) pour des questions de compatibilité.
Pour resoudre ton pb il existe une version 64 bits de Prism qui permet d'adresser une qté de memoire illimité.
En general je passe cette version sur demande et je peux t'en passer une pour tests.
Contacte moi sur mon mail perso...
STP

[Patrice Le Guen]

Bonjour,
J’ai rencontré le même problème. Lors de la création d’un master bias (Menu Prétraitement/ Créer flat dark offset maître) à partir de 150 clichés de 32Mo chacun j’ai rencontré une erreur « Out of memory ». Voici le LOG :
Chargement :E:\Images de prétraitement\Bruts\Offsets-bin1-25C-1.fits
Quantité de mémoire estimée (Mo) : 4797
Chargement :E:\Images de prétraitement\Bruts\Offsets-bin1-25C-2.fits
……………….
Chargement :E:\Images de prétraitement\Bruts\Offsets-bin1-25C-116.fits
Le traitement a échoué !! Out of memory

Le gestionnaire de tâches de Windows indique que PRISM a utilisé 3716Mo. La copie d’écran jointe montre le résultat de la fonction « Surveillance de l’allocation mémoire »

Question : La fonction « Pile moyenne » réussit le traitement de 150 images de 32Mo en n’allouant que 72Mo, pourquoi ne pas avoir implémenté le même type d’algorithme pour calculer le master bias ?

Pour info :
Maxim DL alloue 142Mo pour faire la médiane de 151 images.
Pixinsight alloue 438Mo pour faire la médiane de 151 images.
Je m’étonne que PRISM nécessite l’allocation de 4797Mo pour faire la pile médiane de 151 offsets.
Si c’est la seule solution, je suis intéressé par la version 64 bits de PRISM.

PS : Ma configuration (setup)
• PRISM 9.0.5 build 4 du 14/12/2014
• Version OS Windows 8.1 en 64 bits
• Processeur Intel(R)_Core(TM)_i5-3210M_CPU_@_2.50GHz
• Mémoire utilisable 16Go
• Résolution 1920x1080
• ASCOM Platform 6 - SP3 v6.0.3.0
• Monture EM200 Temma 2Jr et driver ASCOM Telescope driver for Takahashi Temma protocols 6.2.0.0
• Mise au point Robofocus et RobofocusSever driver ASCOM 5.2.0.0
• Autoguider i-Nova PLA-MX hors axe 17mm et driver ASCOM I_Nova Camera Driver 1.11.0.0
• Acquisition CCD QSI583WSG
• Filtres ASTRODON True RGB et Ultra bande étroite Ha Oiii Sii à 3nm
• Optique Lunette Takahashi FSQ106 F/5

[Marc DELDEM]

Salut,

Je laisse Cyril développer, mais le calcul d'une moyenne peut se faire de façon itérative alors que le calcul d'une médiane nécessite d'avoir pour un pixel donné en X,Y toutes les valeurs possibles, de les ordonner et de trouver la valeur médiane.

Donc à mon avis point de salut sans une version de Prism en 64 bits.

Marc

[Cyril Cavadore]

Bonne réponse Marc....
Cyril

[Patrice Le Guen]

Bonsoir,

Si j'ai bien compris cette page https://fr.wikipedia.org/wiki/M%C3%A9di ... 3%A9dianes de Wikipedia il me semble qu'il s'agit d'un algorithme itératif du calcul de la médiane par la décomposition en plusieurs groupes. Mais je peux me tromper étant donné que je ne me suis pas amusé à le comparer par rapport à un algorithme de tri classique.

Je pense que Maxim DL et Pixinsight utilisent un algorithme de ce type.

Cordialement.

[Cyril Cavadore]

"algorithme itératif du calcul de la médiane par la décomposition en plusieurs groupes" Ok vu

Au fait,
Pourquoi faire la mediane de 100 offsets de camera 16803 ?
Avec 20 ca suffit bien, ca reduit le le bruit de racine de 20, et ce bruit devient totalement negligeable devant celui de l'image, meme si c'est un filtre etroit...
Il me semble..

[Patrice Le Guen]

Bonsoir,

Cependant PRISM m'a indiqué une "Quantité de mémoire estimée (Mo) : 4797", il aurait très bien pu rajouter qu'il ne pouvait adresser que 4Go et ne pas lancer inutilement le traitement.

Par ailleurs, oui tu as raison de dire que 20 offsets ça suffit bien. J'étais convaincu que plus on en faisait et mieux ce serait. Comme je n'ai trouvé aucune lecture sérieuse sur la question de savoir combien d'offsets ou de dark il fallait faire j'ai fait des mesures sur mes offsets bruts. Le graphique ci-dessous montre la synthèse de ces mesures.

Comparaison du bruit dans des piles médianes d'offsets

J'ai utilisé PRISM 9.0.5 pour créer l'offset avec différentes quantités d'images n (5, 10, 25, 50, 75 et 100) en abscisses et j'ai indiqué en ordonnée l'écart type (que j'assimile au bruit) calculé par la fonction statistique globale de PRISM. La courbe rouge indique la décroissance théorique du bruit en 1 sur racine de n.
L’excellent dossier de Christian Buil http://www.astrosurf.com/ccdbazar/D-Mat ... uit04.html indique que le bruit s'additionne quadratiquement, j'ai donc rajouté la courbe verte (bruit de l'offset master et bruit de l'image brute). Cette courbe verte stagne à l'horizontale à partir de 30 images additionnées environs. Quand on passe de 10 à 25 images le gain est de 0.65 en intensité de bruit. Quand on passe de 25 à 50 images le gain est de 0.27 en intensité de bruit (à comparer au bruit de l'image brute qui est de 18.75 soit 1,4% d'amélioration pour le double d'images). Il me semble donc inutile de dépasser 50, mais 20 images reste tout à fait honnête.

Attention à tout lecteur qui prendrait ces chiffres pour son compte car ils ne sont valables que pour ma caméra CCD (QSI 583).

PS : Ma configuration (setup)
• PRISM 9.0.5 build 4 du 14/12/2014
• Version OS Windows 8.1 en 64 bits
• Processeur Intel(R)_Core(TM)_i5-3210M_CPU_@_2.50GHz
• Mémoire utilisable 16Go
• Résolution 1920x1080
• ASCOM Platform 6 - SP3 v6.0.3.0
• Monture EM200 Temma 2Jr et driver ASCOM Telescope driver for Takahashi Temma protocols 6.2.0.0
• Mise au point Robofocus et RobofocusSever driver ASCOM 5.2.0.0
• Autoguider i-Nova PLA-MX hors axe 17mm et driver ASCOM I_Nova Camera Driver 1.11.0.0
• Acquisition CCD QSI583WSG
• Filtres ASTRODON True RGB et Ultra bande étroite Ha Oiii Sii à 3nm
• Optique Lunette Takahashi FSQ106 F/5

[Cyril Cavadore]

Il ya certaines personnes, soutenue par une association trés a la mode, qui pretendent qu'il faut 100 offsets ... 100 darks, etc etc
- Ce qui est une annerie -
Je fais 20 images et ce depuis 1993, avec en plus des cameras bien plus bruyantes, et je n'ai jamais rien vu de genant avec cette demarche.