Multi exposure image fusion using sparse representation and K-means clustering

Abstract

Yıllardır teknolojik gelişmelerin amaçlarından biri, insanların anılarını daha büyük bir gerçekçilikle koruyup paylaşmalarını sağlamak için kameraları ve ekranları geliştirmektir. Bu amaç önünde duran en büyük zorluklardan biri insan gözünün dinamik aralığının kamera ve ekranlara göre çok daha yüsek olmasıdır. Bilim insanları sorunu çözmek ve insanların anılarını daha gerçekçi bir ̧sekilde saklamalarını sağlamak amacıyla yüksek dinamik aralığa (HDR) sahip kameralar ve ekranlar geli ̧stirmi ̧slerdir. Fakat bu cihazların maliyetinin yüksek olması onları yaygın bir ̧sekilde kullanılmaktan alıkoymaktadır. Çoklu poz füzyonu (MEF) bu yüksek maliyetli cihazlara yazılım bazlı ve dü ̧sük fiyatlı bir alternatif olarak geli ̧stirilmi ̧stir. MEF birden fazla düşük dinamik aralıga (LDR) sahip görüntüyü birle ̧stirerek yüksek kalitede görüntü elde etmeyi hedeflemektedir. Bu tez, çok karanlık ve çok aydınlık görüntülerin tanımlandığı ̆ve çok az veya hiç bilgi içermeyen kısımlarının elenerek maskelerin çıkarıldıgı bir ön eğitim aşaması içeren yeni bir MEF yöntemini tanıtmaktadır. Ağırlık haritalarını çıkarmak için daha sonra seyrek temsil (SR), k-ortalama kümeleme ve önceden tanımlanmış maskeler kullanılır. Ardından, maskeler guided filtre ile işlenir. Son olarak, yöntem görüntülerin ve agırlık haritalarının Gaussian ve Laplacian piramitler yardımıyla birleştirilmesi ile devam eder. Son olarak guided filtreleme sırasında kaybedilen keskinliği geri kazandırmak için bir Laplacian filtresi kullanır. Genişkapsamlı deneyler, önerilen yöntemin görsel ve istatistiksel etkinligini ve güvenilirliğini göstermektedir.

Technology has long been trying to enhance the capture and display devices, such as cameras and screens, to allow people to preserve and share their memories by taking more realistic pictures. One of the main challenges of this task is managing the dynamic range. To address this, researchers developed high dynamic range (HDR) imaging devices that create visuals similar to the human eye. However, the high cost of HDR devices prevents them from becoming common household items. Multi- exposure fusion (MEF) offers a software-based alternative, creating HDR-like images by merging multiple low dynamic range (LDR) images. This method typically involves extracting and combining the best features of these LDR images by utilizing weight maps. This thesis introduces a novel MEF method that includes a self-training phase where over-exposed and under-exposed images are identified, and masks are extracted by eliminating the parts with very little to no information. Sparse representation (SR), k-means clustering, and pre-defined masks are then used to extract weight maps for each exposure. This is followed by the masks being processed by a guided filter. Finally, the method employs pyramidal decomposition followed by a Laplacian filter to restore the sharpness lost during guided filtering. Extensive experiments demonstrate the proposed method's visual and statistical effectiveness and reliability.