Variations on Structured Sparsity for Machine Learning

Abstract

Seyrek ve bol gösterimler için sözlük öğrenimi genelde bir öznitelik öğrenimi yöntemidir. Bu yöntem yapıcı sinyal işleme uygulamalarında sıkça kullanılır. Öğrenilen öznitelikler, makine öğrenimi için sınıflandırma ve kümeleme yöntemlerine de girdi olarak verilebilir. Kalıp seyreklik kullanarak, seyreklik sistemi bir kümeleme problemine çevrilebilir. Olağan durumda, aynı alt uzaydaki iki sınıfın ayırt edilememesinden dolayı, doğrusal olarak ayrılmayan durumların öğrenimi olası değildir. Bire toplam ve eksi olamama koşulları ile kalıp seyreklik birlikte kullanıldığında, k-flats, k-simplexes, k-polytopes olarak adlandırılacak çeşitli k-means üstproblemlerine ulaşılır. Polytope aynı boyut sayısına sahip simplekslerden oluşan bütün bir cisimi belirtir. K-polytopes deneysel olarak k-means toplulukları kadar iyi ve çekirdek k-means'ten daha iyi sonuçlar verir. Bütünsellik bırakıldığı ve boyutsal heterojenlik olduğu takdirde, k-polytopes bir tek sınıf öğrenim yöntemi olan simpleksel öğrenim ile genelleştirilebilir. Kombinasyonel doğası gereği, çözüm için evrimsel yöntem seçilmiştir. Bu çeşit bir uyarlama doğrusal ayrılmayan durumları kolayca öğrenebilmekte ve de güvenilir bir yöntem olarak görünmektedir. Boyutların birbirine dik olduğu varsayıldığı için hala eksiklikler vardır. Evrişim diklik sorununa pratik bir çözüm sağlar. Evrişimli durum kullanılarak, kaydırmaya değişimsiz k-means problemi sunulmuş ve evrişimli sözlük öğreniminin denetimsiz öznitelik öğrenimi başarımı değerlendirilmiştir. Bu eklentiler ve değerlendirmeler sonucunda, seyrek ve bol gösterimler sistemi çok önemli bir makine öğrenimi yöntemi olarak karşımıza çıkmaktadır.

Dictionary learning is conventionally utilized as a feature learning method. Such framework is commonly used in reconstructive signal processing tasks. Learnt features can also be used as inputs to further classification and clustering schemes. Using block-sparsity, sparse framework can be cast as a clustering problem directly. In its conventional form, learning of linearly non-separable cases is not possible, due to inability of distinguishing two classes within the same subspace. With sum-to-one and non-negativity constraints on the sparse codes and still assuming block-sparsity, one can arrive at superproblems of k-means, called k-flats, k-simplexes, and k-polytopes. A polytope is defined to be an intact object composed of many same dimensional simplexes. K-polytopes experimentally reaches the capacity of ensemble k-means and surpasses the capacity of kernel k-means. K-polytopes is futher generalized through the concept of simplicial learning cast as a one-class learning method, in which intactness is dropped and heterogeneous dimensionality is allowed. Due to combinatorial nature of the problem, an evolutionary approach is taken. Such adaptation solves linearly non-separable cases easily and appears to be a reliable method. Still an important shortcoming remains due to assuming orthogonality of dimensions. Convolution is a practical solution to the problem of orthogonality presented. Using convolutional case, a shift-invariant k-means version is formulated and unsupervised feature learning performance of convolutional dictionary learning is evaluated. With these new modifications and considerations, sparse and redundant representations framework appears to be a crucial tool for machine learning.