Fetter: Facial emotion and texture transfer with efficient representations

Abstract

Günümüzde, yüksek hesaplama kapasiteli donanımlarla birlikte gelişen üretici ağlar, yapay zeka araştırmalarının çıktılarını gerçekten ayırt edilemez hale getirmiştir. İnsan yüz resimlerini sentezlemek ve manipüle etmek için birçok Çekişmeli Üretici Ağ (GAN) modelleri bulunmaktadır. Ancak, üretici ağların yüksek çıktı kalitesi, önemli hesaplama gücü gerektirir, sabit boyutlu resimlerle çalışmayı zorunlu kılar ve geniş veri miktarları içeren büyük veri kümeleri talep eder. Ayrıca, bu modeller eğitildikleri veri kümelerinin özelliklerini miras alır. Sunduğumuz yenilikçi yaklaşım, Ayrık Kosinüs Dönüşümü (DCT) sözlügü tabanlı seyrek temsiller ve gradyan iniş optimizasyonu kullanarak herhangi bir boyuttaki insan yüz resimleri arasında doku ve duygu aktarımlarının hızlı bir şekilde gerçekleştirilebilecegini göstermektedir. Görüntü piramitlerini içeren ve her piramit seviyesinde hızlı optimizasyonu sağlayan metodumuz, modern GAN çıktıları ile karşılaştırılabilir kararlı sonuçlar üretmiştir.In the current era, advancements in generative networks, alongside hardware with high computational capacity, have made the outputs of artificial intelligence research indistinguishable from reality. Numerous Generative Adversarial Network (GAN) models for synthesizing and manipulating human face images exist. However, the high output quality of generative networks requires substantial computational power, necessitates working with fixed-sized images, and demands large datasets containing vast amounts of data. Additionally, these models inherit the characteristics of the datasets on which they are trained. Our novel approach demonstrates that texture and emotion transfers can be quickly performed between human face images of any size using Discrete Cosine Transform (DCT) dictionary based sparse representation and gradient-descent optimization. Our method, which incorporates image pyramids and facilitates rapid optimization at every pyramid level, has produced stable results comparable to state-of-the-art GAN outputs.