Des chercheurs d’Apple et de Purdue University présentent DarkDiff, un modèle de diffusion intégré au processeur de signal d’image (ISP) capable de récupérer des détails dans des scènes presque noires à partir des données brutes du capteur. L’étude est disponible sur arXiv.
Le défi de l’ultra basse lumière
En très faible luminosité, le capteur capte peu de photons et l’image se remplit de bruit. Les approches de correction classiques ou les réseaux de régression tendent à lisser à l’excès, avec des textures qui virent à l’« effet peinture » et des détails fins mal reconstruits.
DarkDiff, principe
DarkDiff reconfigure un modèle de diffusion pré-entraîné (Stable Diffusion) pour l’insérer dans la chaîne ISP. L’ISP réalise d’abord les étapes initiales (balance des blancs, dématriçage). Le modèle opère ensuite sur l’image RGB linéaire, débruite et produit directement une image sRGB.
- Réutilisation d’un modèle génératif pré-entraîné pour guider la reconstruction des zones sombres en tenant compte du contexte global.
- Mécanisme d’attention locale par patchs afin de préserver les structures et limiter les hallucinations de contenu.
- Contrôle par classifier-free guidance : réglage de la fidélité à l’entrée vs. l’apport des priors visuels pour gérer le compromis entre lissage et détail.
Résultats et méthodologie
Les chercheurs ont évalué DarkDiff sur des photos réelles en lumière extrême, notamment avec un Sony A7SII. Des expositions très courtes (0,033 s) ont été comparées à des références capturées sur trépied avec des poses 300 fois plus longues. Les expérimentations rapportent une qualité perceptuelle supérieure à l’état de l’art sur trois jeux de données RAW en basse lumière (détails et visuels).
Contraintes et limites
Le traitement est nettement plus lent que les pipelines classiques et son exécution locale sur smartphone serait coûteuse en calcul et en énergie ; un traitement distant pourrait être nécessaire. Des limites sont aussi notées pour la reconnaissance de textes non anglais dans les scènes sombres.
L’étude ne suggère pas une intégration prochaine dans l’iPhone. Elle illustre toutefois l’orientation d’Apple vers des progrès de photographie computationnelle, devenue centrale face aux contraintes physiques des modules photo mobiles.
