ELEMENTS DE COMPARAISON
DES NIKON D3/D300 ET DU CANON 40D
POUR L'IMAGERIE FAIBLE FLUX

COMPARISON ELEMENTS BETWEEN
NIKON D3/D300 AND CANON 40D
FOR FAINT LIGHT APPLICATIONS

Les boitiers Nikon D70, D80, D200 réduisent le bruit en filtrant numériquement l'image au delà d'un temps de pose de 1 seconde. Le gros problème est que ce filtre numérique s'applique aux fichiers RAW, ce qui rend ces derniers inutilisables pour une exploitation sérieuse en imagerie astronomique (les étoiles faibles sont effacées en même temps que le bruit !...). C'est la raison de la suprématie de Canon dans le domaine de l'imagerie astronomique, les boitiers de cette marque délivrant un vrai RAW, apte à un traitement d'image poussé. Qui plus est, les capteurs CMOS de Canon génèrent un signal thermique plus faible de deux ordres de grandeur par rapport aux boitiers Nikon équipés des CCD Sony (D70, D200), ce qui est déterminant lors des poses longues en astronomie (voir ici pour plus d'explications).

Nous analysons ici la performances des nouveaux boitiers Nikon D3/D300 relativement au Canon 40D du point de vue l'imagerie faible flux.

Deux modèles du Nikon D3 ont été mesuré à l'occasion du salon de la photographie 2007 de Paris - Porte de Versaille. Le facteur de conversion électrons/pas codeur et le bruit sont évalués de manière standard (respectivement par la méthode de la droite photonique sur un plage éclairée uniformément et sur des poses brèves de 1/2000 sec - voir les méthodes ici). La variation de gain de pixel a pixel (défaut de PRNU, ou Pixel Response Non uniformity) est elliminée en faisant la soustraction de deux clichés sucessifs sur la même plage de lumimère uniforme. iLa sensibilité affichée pour tous les boitiers est de 400 ISO. Les mesures sont faites sur les fichiers raw CR2 et NEF. Voici le résulat :

Digital SLR Nikon D70,D80, D200 reduces the noise by filtering the image with digital processing for an exposure length above 1 second. The issue is that the digital filter is also applied on the raw image, which prevent them to be used in rigorous astronomical application (faint stars are deleted as well as the noise !...). This explains the suprematie of Canon in the astronomy world: the Canon digital SLR produces a "true" RAW, capable to sustain heavy processing. On top of that, CMOS Canon sensor has a thermal signal lower of two magnitudes compared to Nikon DSLR equipped with CCD Sony (D70, D200), which really makes the difference in astronomical imaging (see here for more explanation).

Now we analyse the Nikon D3 and D300 relative to the Canon 40D from the point of view of faint light imagery.

Two samples of the Nikon D3 were measured during the "Salon de la Photo 2007"  Paris, Porte de Versaille. The conversion factor (electrons by digital code or electrons by Analog Digital Unit) and readout noise are evaluated by using classical methods (photon light curve for the electronic gain and short exposure statistic analyse for the readout noise - see procedure here). The pixel to pixel gain variation (Pixel response Non Uniformity, PRNU) is eliminated by subtracting two frames. Measurements are done on raw CR2 and NEF files. The long exposure noise reduction and the high ISO noise reduction are off. Here the result:
 

Modéle
Model

Codage AD
RAW bit depth

Sensibilité ISO affichée
Displayed ISO sensitivity

Gain inverse
Inverse gain

Bruit de lecture RMS en ADU
Readout noise in ADU

Bruit de lecture RMS en électrons
Readout noise in electrons

Nombre de photoélectrons à la saturation du RAW
Number of photoelectrons at RAW saturation

Canon 40D
 

14 bit

400

0.78 electron/ADU

8.38 ADU

6.5 electrons

120 000 electrons

Nikon D3 - examplaire 1
Nikon D3 - sample #1

12 bit

400

8.3 electrons/ADU

1.00 ADU

8.3 electrons

340 000 electrons

Nikon D3 - examplaire 2
Nikon D3 - sample #2

14 bit

400

2.1 electrons/ADU

4,64 ADU

9,7 electrons

340 000 electrons

Nota : le bruit mesuré du Nikon D3 est multiplié par 1,414 pour tenir compte de la troncature des valeurs négatives du signal lors de la conversion analogique numérique par l'électronique (l'offset est malheureusement calé sur la valeur nulle chez Nikon, alors que Canon ajoute volontairement un signal de 1024 ADU dans la cas du 40D, ce qui permet de mesurer l'intégralité de la fluctuation du signal de part et d'autre de la moyenne).

L'effet de la différence de profondeur de numérisation (réglage de l'appareil par les menu) du Nikon D3 est bien visible sur le gain : il est d'un facteur 4 entre l'exemplaire 1 et l'exemplaire 2, c'est à dire la valeur théorique attendue (ceci est aussi un contrôle de la qualité des présentes mesures). A signaler aussi la différence de taille type des fichiers RAW du D3, 10 Mo pour l'exemplaire 1 (format FX) et 24 Mo pour l'exemplaire 2 (format FX). Comme attendu aussi le type de codage (12 ou 14 bits) n'influence pas le bruit de lecture en sortie de capteur (ce bruit est mesuré avant  l'amplificateur externe auu capteur et le convertisseur AD) mais en revanche le gain en dynamique est bien réel (le codage sur 14 bits des images du D3/D300 et du 40D est un grand progrès !).

La sensibilité ISO correspond à des niveaux de gain électronique (défini ici comme le facteur de conversion entre des électrons et des comptes numériques) extrèmement différents entre Canon et Nikon. En supposant que les rendements quantiques des capteurs sont équivalant entre ces deux marques (c'est hautement probable), alors une sensibilité affichée de 6400 ISO sur le Nikon D3 numéro 1 (numérisation sur 12 bits) correspond à une sensibilité affichée de 600 ISO sur le Canon 40D (numérisation sur 14 bits), alors qu'une sensibilité affichée de 6400 ISO sur le Nikon D3 numéro 2 (14 bits), correspond à une sensibilité ISO de 2400 ISO pour le 40D (14 bits). L'analyse montre que les sensibilités ISO "records" annoncées par Nikon ne correspondent dans les faits qu'à des gains, certes hauts, mais usuels chez le concurrent Canon. Du reste, lorsqu'on calcule le bruit de lecture du détecteur on trouve des valeurs forts semblables chez Nikon et chez Canon. Ce n'est pas une surprise, la technologie électronique à ces limites et le bruit de lecture est un paramètre difficile à optimiser. Un bruit de lecture inférieur à 10 électrons est de toute manière une performance déjà exceptionnelle, surtout en regard de la vitesse de lecture des capteurs, impressionnante dans les Reflex. D'après les mesures actuelles, le CMOS du Canon 40D est légèrement moins bruité que le capteur CMOS du Nikon D3, mais l'écart est faible et peut très bien être comblée par un rendement quantique légèrement supérieur chez Nikon par exemple. La taille des pixels peut en particulier intervenir sur la qualité de détectabilité du boitier (capacité à voir des étoiles faibles ou de bien restituer de faibles aplats) : le pas pixel est de 8,45 microns pour le Nikon D3 (24x36 mm plein format), 5,5 microns pour le D300, 8,2 microns pour le Canon 5D (24x36 mm plein format) et 5,7 microns pour le Canon 40D - la détectivté effective devra être vérifiée par des mesures complémentaires.

La dynamique du D3 à 400 ISO est typiquement de 340000/9,7=350000. Celle du 40D n'est que de 120000/6,5=18500. L'écart s'explique aisément par la différence de taille des pixels (la capacité de stockage augmente avec la dimension des pixels), et c'est bien là le fort intéret des capteurs à gros pixels. Sur ce point le 40D et le D3 ne sont pas directement comparables.

Note: the Nikon D3 measured noise is multiplied by 1.414 to take into account the truncation of negative signal during digital to analog conversion performed by the electronic (for a zero illumination Nikon camera give unfortunately a nearly zero numerical code - comparatively, the 40D electronic fix the zero value of light intensities at the level of 1024 ADU and no part of useful noise and faint signal is lost during Analog to Digital conversion).

The effect of the RAW bit depth difference (adjustment by the menu) for the Nikon D3 is clearly visible on the gain i.e. a x4 factor between the exemplary #1 and exemplary #2. This is the theoretical expected value (this is also a quality control of these present measures). Also we mention the difference in the typical D3 RAW size: 10 MB for sample #1 (FX format) and 24 MB for sample #2 (FX format). As expected the encoding (12 or 14 bits) does not influence the readout noise (measured before the electronic amplifier and AD converter), but on the other hand, increase of the image dynamic is real (thanks to the 14 bits of D/3/D300 and 40D!).

The ISO sensitivity levels corresponds to an electronic gain (here the conversion factor between electrons and digital counts) extremely different between Canon and Nikon. Assuming that the quantum efficiency of sensors are equivalent (it is highly probable in first approximation), the displayed  sensitivity of 6400 ISO for the Nikon D3 #1 corresponds to a sensitivity of 600 ISO for the Canon 40D, while a sensitivity displayed at 6400 ISO for the Nikon D3 #2, corresponds to a sensitivity of 2400 ISO for the Canon 40D. Analysis shows that the "displayed" ISO announced by Nikon is very over evaluated relative to Canon competitor. Incidentally, when calculating the detector noise the values find are nearly equivalent. This is not a surprise, electronics technology have limits and reading noise is a parameters difficult to optimize. A readout noise less than 10 electrons is in any case already an exceptional performance, especially for high speed sensors. According the current measures, the Canon 40D CMOS is slightly less noisy than the CMOS Nikon D3 CMOS, but the gap is not very significant (the Nikon quantum efficiency may be slightly higher for example, remember, the pixel pitch is 8.45 microns for the Nikon D3 (full frame 24x36 mm), 5.5 microns for the D300, 8.2 microns for the Canon 5D (full frame 24x36 mm) and 5.7 microns for the Canon 40D - effective detectivity to be evaluated by future measures and user tests).

The D3 dynamic at 400 ISO is nearly 340000/9.7=350000. For the 40D the electronic dynamic is 120000/6.5=18500. The difference is clearly the effect of pixels size (the 40D and the D3 are not trully comparables, of course).


Texture du bruit de lecture du Nikon D3
ramené au même gain électronique que le Canon 40D.
Noise reading texture of Nikon the D3
adjusted to the same electronic gain as the Canon 40D. 


Texture du bruit de lecture du Canon 40D.
Le contraste de visualisation est similaire à celui du D3.
Noise texture of a Canon 40D image.
The visualization contrast is identical to the D3 image. 

Ci-après le résultat d'une pose de 30 secondes en obcurité et à 400 ISO ( l'image du Nikon D3 est multipliée par un coefficient égal au rapport des facteurs de conversion électrons/ADU du Nikon et du Canon afin de ce ramener au même gain électronique) :

Below the result of a 30 seconds exposure in darkness at ISO 400 (the Nikon D3 image is multiplied by a coefficient equal to the ratio of inverse electronic gain, i.e. Nikon e-/ADU divided by Canon e-/ADU) :


Fichier NEF d'un Nikon D3 exposé en obscurité durant 30 s à 400 ISO avec toutes les réductions de bruit idendifiées à OFF. L'image montre une structure artificielle évidente, qui est le signe d'un filtrage numérique par le firmware après la prise de vue. Remarquer la différence de texture avec une pose courte. L'objet de ce traitement interne est manifestement de gommer le signal thermique (pixels chauds) et de réduire le bruit thermique. A l'image du D200 ou du D70, les fichiers RAW du D3 pour les poses longues (probablement au delà de 1 seconde) ne sont définitivement pas de vrais fichiers RAW ! 

A NEF file from a Nikon D3. The image is a 30s exposure in dark at 400ISO with all the identified noise reduction set to OFF. The image shows an obivious artificial structure, which indicates that a digital filtering by the firmware has been applied once the image is taken. Note the considerable texture difference with a short exposure. The purpose of this internal filtering is clearly to smooth the thermal signal (hot pixels) and thermal noise. RAW files from Nikon D3 for long exposures (probably superior to one second) are definitively not a RAW file !

 


Fichier CR2 provenant d'un Canon 40D. La pose est ici aussi de 30 secondes à 400 ISO. Quelques  rares points chauds sont visibles. Ils sont laissés intacts par le firmware ainsi que le bruit. Le bruit a une structure approximativement gaussienne. Le fichier RAW reproduit fidélement le signal en sortie de capteur et autorise un efficace des données et des mesures precises. Le contraste de visualisation est le même que pour l'image NEF.

A CR2 file from a Canon 40D (30 sec. exposure). Some hot pixels are visible. They are left intact  by the firmware. The noise structure has approximatively a gaussian shape. The RAW file is the direct representation of the sensor output signal. Accurate measurements and processinga are possible. The contrast vizualisation is the same as for the NEF image.

 


 
Détail agrandi 3X de l'image du signal thermique du Nikon D3. L'effet directionnel sur le résidu de l'algorithme de filtrage des pixels chauds est bien visible. L'ennui est que les étoiles fines sont succeptibles d'êtres aussi effacées par l'algortithme.
Enlarged (x3) details of the thermal signal image for the Nikon D3. Directional effect on the processing residue are evidents. The trouble is that the stars will be also erased.
 

D300 dark signal evaluation


Le résultat d'une pose de 30 secondes en obscurité réalisée avec un Nikon D300.
Le procédé de filtrage du D3 se retrouve sur le D300.
A 30 seconds exposure in darkness made with a Nikon D300.
The same D3 filtering is found on the D300.

 


La même zone après conversion de l'image RAW en une image couleur.
The same pattern after conversion of the RAW BAYER image (Color Filter Array structure) to a RGB image (true colors).

 

A gauche, image en mode 1 (signal d'obscurité filtré par la firmware). Au centre, image en mode 2 (soustraction interne de deux images). A droite, image en mode 3, qui révèle le vrai signal thermique.
Pour des explications sur les modes mode1, 2 et 3 cliquer ici.
Les seuils de visualisation sont les mêmes. Le travail de filtrage fait par le logiciel interne du D300 est bien visible en mode 1
par rapport au vrai signal thermique de la même région révélé par le mode 3.
Nikon D300 @ 800 ISO. Exposition de 60 secondes. RAW 12 bit.
Left, a mode 1 image (single dark). Middle, a mode 2 image (internal two dark substraction). Right, a mode 3 image i.e. the true dark signal now visible!
Explanation about mode1, 2 and 3 are here.
The visualization threshold are the same. Nikon D300 @ 800 ISO. 60 sec. exposure. 12-bits RAW.


Canon 40D - Exposition de 60 secondes à 800 ISO.
RAW 12 bits simulé  en divisant le RAW 14 bits par 4.
Aucun point chaud sature l'image.
Canon 40D - 60 sec. exposure @ 800 ISO
Simulated 12-bit RAW  image (14-bit RAW is divided by 4)
No hot-pixels saturation.


Nikon D300 (mode 3) - Exposition de 60 secondes à 800 ISO.
Le boitier est réglé en RAW 12 bits.
52 pixels chauds saturent l'image (ils atteignent le niveau 4095).
Nikon D300 (mode 3) - 60 sec. exposure @ 800 ISO
12-bit RAW image
52 hot-pixels saturate the detector (level 4095). 


Detail de l'histogramme de la distribution du signal thermique entre les comptes 0 et 1024 (le niveau de l'image 40D est décalé pour être nul sur une pose brève).
Detail of the the dark signal histogram between count 0 and 1024 (the 40D image bias is shifted to 0).


 Conclusion

Le bruit de lecture des capteurs CMOS Nikon et Canon sont très similaires. La forte sensibilité ISO affichée par Nikon est une question de marketing. Dans les faits le capteur CMOS du Nikon D3 (et aussi le capteur CMOS du D300, d'origine Sony) est de très haute qualité, mais au final, Nikon se hisse au niveau de la technologie Canon et rattrape seulement son retard.

Le comportement des appareils Nikon et Canon est radicalement différent en longue pose :

- Chez Nikon, le pixels chauds sont elliminés par un traitement numérique sophistiqué en dehors du capteur. Lors du retrait logiciel des points chauds le signal dans l'images RAW des pixels voisins est aussi affecté. On connait les dégats en astronomie de ce type d'algorithme : les étoiles faibles sont aussi supprimées et l'image perd totalement ces qualités photométriques sur les objets ponctuels.

- Chez Canon, le signal thermique est réduit au niveau de chaque pixel par un processus de lecture différentielle du capteur. Le niveau du signal thermique mesuré en sortie de capteur est extrémement bas. Le résidu peut être elliminé efficacement lors du prétraitement des images (simple soustraction d'une carte du signal d'obscurité).

Il est dramatique de constater que Nikon a régler le problème du bruit thermique en filtrant numériquement les fichiers RAW (qui ne sont dont pas de vrais RAW au sens strict du terme !). Ce traitement peut surement satisfaire les utilisateurs diurnes et il n'est pas question de remettre en cause les qualités de ces nouveaux boitiers pour l'application principale pour laquelle ils ont été conçus. Mais en reconduisant la même erreur faite sur les D70 et D200 (équipés de CCD) sur les nouveaux boitiers équipés de CMOS, Nikon semble divorcer une fois de plus avec la communauté astronomique. Il faudra bien sur confirmer cette appréciation avec des tests sur le ciel, mais à moins de pouvoir débrayer le traitement interne, la situation est préocupante.

 Aujourd'hui les boitiers Canon et Pentax, en offrant un vrai RAW, sont probablement les seuls utilisables pour faire de l'astronomie efficace et avancée.

Conclusion
 
The readout noise of the Nikon and Canon CMOS detectors is very similar. The high ISO sensitivity displayed by Nikon is for the marketing: Nikon D3 CMOS (and also the CMOS D300 CMOS - Sony origin) is a very high quality sensor, but in the end, Nikon just rises now the level of Canon technology.

The behaviour of Nikon DSLR are radically different from the Canon ones for long exposure:

- For Nikon, the hot pixels are eliminated by a sophisticated digital processing external to the sensor. During this digital processing, the signal of the neighboring pixels is also affected. The damage of such processing is well-known in astronomy: the weak stars are also eliminated and the image loose photometric qualities on stellar like objects.

- For Canon, the thermal signal is reduced for each pixel by a differential reading method. The thermal signal level measured at the output of the sensor is very low. The residual can efficiently be removed during the image processing (a simple substraction of a reference dark signal map).

 It is tragic to see that Nikon solved the problem of thermal signal by a digital processing of the RAW files (i.e. NEF files do  not contain true raw data). This processing can surely meet the daytime users and the high performance for main application is evident. But by repeating the same mistake made on the D70 and the D200 (equipped with a CCD) on the news Digital SLR Nikon probably divorces once more with the astronomical community.

 Today the Canon and Pentax cameras seem to be the only ones useable digital SLR for efficient and advanced astronomy.


Back to cameras test page