Blind underwater image restoration using operational cycle-gans

Abstract

Sualtı görüntülerinin izlenmesi hem ekolojik yaşamın devamlılığı hem de bu alanların araştırılması açısından önemlidir. Bununla birlikte, ışığın sualtında iletim özellikleri ve suların fiziksel özellikleri gibi sebepler, su altı görüntülerinde renk bozulması, saçılma, titreme, zayıf görüş ve eşit olmayan aydınlatma bozulmalarına yol açmaktadır. Yukarıda bahsedilen ve değişen şiddetteki bu artefaktlar kümesi, su altı görüntülerini izlemeyi ve bilgi çıkartımını anlaşılmaz kılmaktadır. Sualtı görüntü restorasyonu girişiminde bulunan çok sayıda çalışmaya rağmen, basit restorasyon modelleri ile artefakt karışımı ile bozulan gerçek sualtı görüntülerini restore etmekte başarılı olamamışlardır. Bu çalışmada, sualtı görüntülerini rastgele bozan gürültü ve artefaktların türüne ve şiddetine bağlı olmadan resimlerin kalitesinin arttırabilecek, operasyonel döngü ile tutarlı üretken karşıt ağları kullanarak sualtı görüntülerini restore edecek için umut verici yeni bir yöntem sunuyoruz. Bu çalışma iki boyutlu sualtı resimlerini işlemek amacıyla yüksek öğrenme kapasiteli iki boyutlu operasyonel katmanları döngü ile tutarlı üretken karşıt ağları içinde kullanan ilk çalışmadır. Önerilen yeni yaklaşım büyük ölçekli sualtı görüntü veri setini (LSUI) kullanarak kapsamlı bir şekilde değerlendirilmiştir. Detaylı nicel ve nitel değerlendirmeler, yöntemimizin, literatürde mevcut yöntemlere göre üstünlüğünü göstermektedir.

Monitoring the underwater scenes is important for both continuation of ecological life and exploration of these underwater areas. However, because of the lights' transmission characteristics and water physical attributes, underwater images suffer from artifacts like color distortion, scattering, flickering, poor visibility, and uneven illumination. The set of these abovementioned artifacts with varying severities makes underwater images hard to monitor. Despite numerous studies that have attempted underwater image restoration, they obviously fail to perfectly restore real underwater images corrupted with a random blend of artifacts with their simple restoration models. In this paper, we propose a promising approach for restoring blind underwater images using novel operational cycle-consistent generative adversarial networks (Op-GANs), where the signal quality may be improved regardless of the kind or degree of the artifacts degrading the underwater image. This is the first study to utilize 2D operational layers with higher learning capacity in powerful cycle-GANs for processing 2D underwater images. Utilizing one of the largest benchmark underwater image datasets from the Large-Scale Underwater Image dataset (LSUI), the proposed technique achieved promising results. The detailed evaluations, both quantitative and qualitative, show that the suggested method outperforms the other competing techniques in the literature.