Düzenlileştirilmiş en küçük kareler - Regularized least squares

Bir serinin parçası
Regresyon analizi
Modeller
Doğrusal regresyon Basit regresyon polinom regresyon Genel doğrusal model
Genelleştirilmiş doğrusal model ayrık seçim Binom regresyon ikili regresyon Lojistik regresyon Çok terimli lojistik regresyon karışık logit yasaklamak çok terimli probit sıralı logit sıralı probit zehir
çok seviyeli model Sabit efektler rastgele efektler Doğrusal karışık efekt modeli Doğrusal olmayan karışık efekt modeli
Doğrusal olmayan regresyon Parametrik olmayan yarı parametrik güçlü Çeyreklik izotonik Ana bileşenleri en küçük açı Yerel bölümlere ayrılmış
Değişkenlerdeki hatalar
Tahmin
En küçük kareler Doğrusal doğrusal olmayan
Sıradan Ağırlıklı genelleştirilmiş
Kısmi Toplam Negatif olmayan sırt regresyonu düzenli
En küçük mutlak sapmalar yinelemeli olarak yeniden ağırlıklandırılmış Bayes Bayes çok değişkenli
Arka fon
Regresyon doğrulama Ortalama ve tahmin edilen yanıt Hatalar ve artıklar Formda olmanın güzelliği Öğrencileştirilmiş kalıntı Gauss-Markov teoremi
matematik portalı
v T e

Düzenlileştirilmiş en küçük kareler ( RLS ), elde edilen çözümü daha fazla kısıtlamak için düzenlileştirmeyi kullanırken en küçük kareler problemini çözmek için bir yöntemler ailesidir .

RLS iki ana nedenden dolayı kullanılır. Birincisi, doğrusal sistemdeki değişken sayısı gözlem sayısını aştığında ortaya çıkar. Bu tür ayarlarda, sıradan en küçük kareler problemi kötü bir şekilde oluşturulmuştur ve bu nedenle, ilgili optimizasyon probleminin sonsuz sayıda çözümü olduğu için sığdırılması imkansızdır. RLS, çözümü benzersiz şekilde belirleyen başka kısıtlamaların getirilmesine izin verir.

RLS'nin kullanılmasının ikinci nedeni, değişken sayısı gözlem sayısını geçmediğinde ortaya çıkar, ancak öğrenilen model zayıf genellemeden muzdariptir . RLS, bu gibi durumlarda, modelin eğitim zamanında kısıtlanarak genellenebilirliğini artırmak için kullanılabilir. Bu kısıtlama ya çözümü bir şekilde "seyrek" olmaya zorlayabilir ya da özellikler arasındaki korelasyonlar hakkında bilgi gibi problemle ilgili diğer ön bilgileri yansıtmaya zorlayabilir. Bir Bayes Bu anlayış HBS yöntemleri genellikle eşdeğer olduğunu gösteren ulaşılabilir önsel en küçük kareler sorunun çözümü hakkında.

Genel formülasyon

Bir olasılık boşluk tarafından verilen bir öğrenme ayarını düşünün , . Izin bir eğitim seti göstermek çiftleri açısından IID . Izin bir kayıp fonksiyonu. Beklenen riske göre fonksiyonların alanı olarak tanımlayın : ${\görüntüleme stili (X\times Y,\rho (X,Y))}$${\görüntüleme stili Y\R'de}$${\displaystyle S=\{x_{i},y_{i}\}_{i=1}^{n}}$${\görüntüleme stili n}$${\görüntüleme stili \rho }$${\displaystyle V:Y\times R\sağ ok [0;\infty )}$${\görüntüleme stili F}$

${\displaystyle \varepsilon (f)=\int V(y,f(x))\,d\rho (x,y)}$

iyi tanımlanmıştır. Ana amaç, beklenen riski en aza indirmektir:

${\displaystyle \inf _{f\in F}\varepsilon (f)}$

Problem tam olarak çözülemeyeceğinden, çözümün kalitesinin nasıl ölçüleceğinin belirlenmesine ihtiyaç vardır. İyi bir öğrenme algoritması, küçük bir risk ile bir tahminci sağlamalıdır.

Ortak dağılım tipik olarak bilinmediğinden, ampirik risk alınır. Düzenlileştirilmiş en küçük kareler için kare kayıp fonksiyonu tanıtılır: ${\görüntüleme stili \rho }$

${\displaystyle \varepsilon (f)={\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$

Bununla birlikte, işlevler, kare ile integrallenebilen işlevler kümesi gibi nispeten kısıtlanmamış bir uzaydan geliyorsa, bu yaklaşım eğitim verilerine fazla sığabilir ve zayıf genellemeye yol açabilir. Bu nedenle, işlevin karmaşıklığını bir şekilde kısıtlamalı veya cezalandırmalıdır . RLS'de bu, yeniden üreten bir çekirdek Hilbert uzayından (RKHS) işlevler seçilerek ve amaç işlevine işlevin normuyla orantılı olarak bir düzenlileştirme terimi eklenerek gerçekleştirilir : ${\görüntüleme stili X}$${\görüntüleme stili f}$${\görüntüleme stili {\matematiksel {H}}}$${\görüntüleme stili {\matematiksel {H}}}$

${\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}$

çekirdek formülasyonu

RKHS'un tanımı

Bir RKHS , çoğaltma özelliğine sahip simetrik bir pozitif tanımlı çekirdek işlevi ile tanımlanabilir : ${\görüntüleme stili K(x,z)}$

${\displaystyle \langle K_{x},f\rangle _{\mathcal {H}}=f(x),}$

nerede . Bir çekirdeğin RKHS'si , tümünün gerçek sayılar olduğu : tarafından yayılan işlevler uzayının tamamlanmasından oluşur . Yaygın olarak kullanılan bazı çekirdekler, doğrusal işlevlerin uzayını indükleyen doğrusal çekirdeği içerir: ${\displaystyle K_{x}(z)=K(x,z)}$${\görüntüleme stili K}$${\displaystyle \sol\{K_{x}\mid x\in X\sağ\}}$${\displaystyle f(x)=\sum _{i=1}^{n}\alpha _{i}K_{x_{i}}(x),\,f\in {\mathcal {H}}}$${\ Displaystyle \ alfa _ {i}}$

${\görüntüleme stili K(x,z)=x^{T}z,}$

polinom çekirdeği, düzenin polinom fonksiyonlarının uzayını indükler : ${\görüntüleme stili d}$

${\displaystyle K(x,z)=(x^{T}z+1)^{d},}$

ve Gauss çekirdeği:

${\displaystyle K(x,z)=e^{-{\frac {\|xz\|^{2}}{\sigma ^{2}}}}.}$

Keyfi bir kayıp işlevi için , bu yaklaşımın Tikhonov düzenlileştirmesi adlı genel bir algoritma sınıfını tanımladığını unutmayın. Sözgelimi, menteşe kaybı yol açar destek vektör makinesi algoritması kullanılarak epsilon-duyarsız kaybı yol için vektör regresyon destek . ${\görüntüleme stili V}$

keyfi çekirdek

DANIŞMANI teoremi çözüm olarak yazılabilir garantiler:

${\displaystyle f(x)=\sum _{i=1}^{n}c_{i}K(x_{i},x)}$bazıları için .${\displaystyle c\in \mathbb {R} ^{n}}$

Minimizasyon problemi şu şekilde ifade edilebilir:

${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\|Y-Kc\|_{\mathbb {R} ^{n}}^ {2}+\lambda \|f\|_{H}^{2},}$

burada, bazı gösterimlerin kötüye kullanılmasıyla, çekirdek matrisinin girişi (çekirdek işlevinin aksine ) . ${\görüntüleme stili ben,j}$${\görüntüleme stili K}$${\ Displaystyle K(\cdot ,\cdot )}$${\ Displaystyle K(x_{i},x_{j})}$

Böyle bir işlev için,

${\displaystyle {\begin{hizalı}&\|f\|_{H}^{2}=\langle f,f\rangle _{H}=\left\langle \sum _{i=1}^{ n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\sağ\rangle _{H }\\={}&\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\langle K(x_{i},\cdot ),K(x_{j},\cdot )\rangle _{H}=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j }K(x_{i},x_{j})=c^{T}Kc,\end{hizalı}}}$

Aşağıdaki minimizasyon problemi elde edilebilir:

${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\|Y-Kc\|_{\mathbb {R} ^{n}}^ {2}+\lambda c^{T}Kc}$.

Konveks fonksiyonların toplamı dışbükey olarak, çözelti benzersizdir ve minimum gradyan wrt ayarlayarak bulunabilir için : ${\görüntüleme stili c}$${\görüntüleme stili 0}$

${\displaystyle -{\frac {1}{n}}K(Y-Kc)+\lambda Kc=0\Rightarrow K(K+\lambda nI)c=KY\Rightarrow c=(K+\lambda nI)^{ -1}Y,}$

nerede ${\displaystyle c\in \mathbb {R} ^{n}.}$

karmaşıklık

Eğitimin karmaşıklığı, temel olarak, çekirdek matrisini hesaplamanın maliyeti artı kabaca olan doğrusal sistemi çözmenin maliyetidir . Doğrusal veya çekirdek matris hesaplama Gauss çekirdek olup . Testin karmaşıklığı . ${\görüntüleme stili O(n^{3})}$${\ Displaystyle O(n^{2}D)}$${\görüntüleme stili O(n)}$

Tahmin

Yeni bir test noktasındaki tahmin : ${\displaystyle x_{*}}$

${\displaystyle f(x_{*})=\sum _{i=1}^{n}c_{i}K(x_{i},x_{*})=K(X,X_{*})^ {T}c}$

Doğrusal çekirdek

Kolaylık sağlamak için bir vektör notasyonu tanıtıldı. Izin bir olmak satırlar giriş vektörleridir matris ve bir giriş çıkışları tekabül eden vektör. Vektörler açısından çekirdek matrisi olarak yazılabilir . Öğrenme fonksiyonu şu şekilde yazılabilir: ${\görüntüleme stili X}$${\görüntüleme stili n\kez d}$${\görüntüleme stili Y}$${\görüntüleme stili n\ kere 1}$${\displaystyle \operatöradı {K} =\operatöradı {X} \operatöradı {X} ^{T}}$

${\displaystyle f(x_{*})=\operatöradı {K} _{x_{*}}c=x_{*}^{T}\operatöradı {X} ^{T}c=x_{*}^{ T}w}$

Burada tanımlıyoruz . Amaç fonksiyonu şu şekilde yeniden yazılabilir: ${\displaystyle w=X^{T}c,w\inR^{d}}$

${\displaystyle {\begin{hizalanmış}&{\frac {1}{n}}\|Y-\operatöradı {K} c\|_{\mathbb {R} ^{n}}^{2}+\ lambda c^{T}\operatöradı {K} c\\[4pt]={}&{\frac {1}{n}}\|y-\operatöradı {X} \operatöradı {X} ^{T}c \|_{\mathbb {R} ^{n}}^{2}+\lambda c^{T}\operatöradı {X} \operatöradı {X} ^{T}c={\frac {1}{n }}\|y-\operatöradı {X} w\|_{\mathbb {R} ^{n}}^{2}+\lambda \|w\|_{\mathbb {R} ^{d}} ^{2}\end{hizalanmış}}}$

İlk terim, artık kareler toplamına karşılık gelen , sıradan en küçük kareler (OLS) regresyonundan amaç fonksiyonudur . İkinci terim, büyük değerleri cezalandıran OLS'de bulunmayan bir düzenleme terimidir . Düzgün sonlu boyutlu bir problem olarak kabul edilir ve standart kalkülüs araçlarını uygulamak mümkündür. Amaç fonksiyonunu minimize etmek için, gradyan şuna göre hesaplanır ve sıfıra ayarlanır: ${\görüntüleme stili w}$${\görüntüleme stili w}$

${\displaystyle \operatöradı {X} ^{T}\operatöradı {X} w-\operatöradı {X} ^{T}y+\lambda nw=0}$

${\displaystyle w=(\operatöradı {X} ^{T}\operatöradı {X} +\lambda n\operatöradı {I} )^{-1}\operatöradı {X} ^{T}y}$

Bu çözüm, fazladan bir terimle standart doğrusal regresyona çok benzer . OLS regresyonunun varsayımları geçerliyse , ile çözüm yansız bir tahmin edicidir ve Gauss-Markov teoremine göre minimum varyanslı doğrusal yansız tahmin edicidir . Bu nedenle terim , taraflı bir çözüme yol açar; ancak, aynı zamanda varyansı azaltma eğilimindedir. Bunu görmek kolaydır, çünkü -değerlerinin kovaryans matrisi ile orantılıdır ve bu nedenle büyük değerleri daha düşük varyansa yol açacaktır. Bu nedenle, manipüle etme, değiş tokuş önyargısına ve varyansa karşılık gelir. Göreceli olarak küçük veya ilişkili regresörlere sahip durumlar gibi yüksek varyanslı tahminlerle ilgili problemler için , optimum tahmin doğruluğu sıfırdan farklı bir değer kullanılarak ve böylece varyansı azaltmak için bir miktar önyargı getirilerek elde edilebilir . Ayrıca, nadir değildir makine öğrenimi durumlara sahip olmak bu durumda, bir rütbe -açıklı ve sıfırdan farklı bilgi işlem gereklidir . ${\displaystyle \lambda \operatöradı {I} }$${\displaystyle w=(\operatöradı {X} ^{T}\operatöradı {X} )^{-1}\operatöradı {X} ^{T}y}$${\displaystyle \lambda =0}$${\displaystyle \lambda n\operatöradı {I} }$${\görüntüleme stili w}$${\displaystyle (\operatöradı {X} ^{T}\operatöradı {X} +\lambda n\operatöradı {I} )^{-1}}$${\ Displaystyle \ lambda }$${\ Displaystyle \ lambda }$${\görüntüleme stili w}$${\görüntüleme stili n}$${\ Displaystyle \ lambda }$${\görüntüleme stili n<d}$${\görüntüleme stili X^{T}X}$${\ Displaystyle \ lambda }$${\displaystyle (\operatöradı {X} ^{T}\operatöradı {X} +\lambda n\operatöradı {I} )^{-1}}$

karmaşıklık

Parametre , matrisin tersinirliğini kontrol eder . Çeşitli metotlar, yukarıda lineer sistem çözmek için kullanılabilir Choleskey ayrışma matriksi, çünkü muhtemelen tercih edilen bir yöntem olduğu bir simetrik ve kesin bir pozitif . Bu yöntemin karmaşıklığı eğitim ve test içindir. Maliyet esasen hesaplamanın maliyetidir , oysa ters hesaplama (veya daha doğrusu doğrusal sistemin çözümü) kabaca . ${\ Displaystyle \ lambda }$${\displaystyle X^{T}X+\lambda nI}$${\displaystyle X^{T}X+\lambda nI}$${\ Displaystyle O(nD^{2})}$${\görüntüleme stili O(D)}$${\ Displaystyle O(nD^{2})}$${\görüntüleme stili X^{T}X}$${\görüntüleme stili O(D^{3})}$

Özellik haritaları ve Mercer teoremi

Bu bölümde, RLS'nin herhangi bir tür çoğaltan K çekirdeğine nasıl genişletileceği gösterilecektir. Lineer çekirdek yerine, bazı Hilbert uzayları için , özellik uzayı olarak adlandırılan bir özellik haritası düşünülür . Matris: Bu durumda, çekirdek tanımlanır şimdi yeni veri matrisi ile değiştirilmiştir , burada , ya bir inci bileşeni . ${\displaystyle \Phi :X\sağ ok F}$${\görüntüleme stili F}$${\görüntüleme stili X}$${\görüntüleme stili\Phi }$${\displaystyle \Phi _{ij}=\varphi _{j}(x_{i})}$${\görüntüleme stili j}$${\displaystyle \varphi (x_{i})}$

${\displaystyle K(x,x')=\langle \Phi (x),\Phi (x')\rangle _{F}.}$

Bu, belirli bir eğitim seti için olduğu anlamına gelir . Böylece amaç fonksiyonu şu şekilde yazılabilir: ${\displaystyle K=\Phi \Phi ^{T}}$

${\displaystyle \min _{c\in \mathbb {R} ^{n}}\|Y-\Phi \Phi ^{T}c\|_{\mathbb {R} ^{n}}^{2 }+\lambda c^{T}\Phi \Phi ^{T}c.}$

Bu yaklaşım çekirdek hilesi olarak bilinir . Bu teknik, hesaplama işlemlerini önemli ölçüde basitleştirebilir. Eğer yüksek boyutlu, işlem oldukça yoğun olabilir. Çekirdek işlevinin açık biçimi biliniyorsa, çekirdek matrisini hesaplamamız ve saklamamız yeterlidir . ${\görüntüleme stili F}$${\displaystyle \varphi (x_{i})}$${\görüntüleme stili n\kez n}$${\ Displaystyle \ operatör adı {K} }$

Aslında, Hilbert uzayının izomorfik olması gerekmez ve sonsuz boyutlu olabilir. Bu , sürekli, simetrik, pozitif tanımlı bir çekirdek fonksiyonunun şu şekilde ifade edilebileceğini belirten Mercer teoreminden çıkar . ${\görüntüleme stili F}$${\displaystyle \mathbb {R} ^{m}}$

${\displaystyle K(x,z)=\sum _{i=1}^{\infty }\sigma _{i}e_{i}(x)e_{i}(z)}$

burada bir formu ortonormal için ve . Özellik haritaları bileşenlerle tanımlanmışsa , bunu takip eder . Bu, herhangi bir çekirdeğin bir özellik haritası ile ilişkilendirilebileceğini ve RLS'nin genellikle bazı muhtemelen daha yüksek boyutlu özellik uzayında gerçekleştirilen doğrusal RLS'den oluştuğunu gösterir. Mercer'in teoremi, bir çekirdekle ilişkilendirilebilecek bir özellik haritasının nasıl olduğunu gösterirken, aslında birden çok özellik haritası, belirli bir çoğaltan çekirdek ile ilişkilendirilebilir. Örneğin, harita , keyfi bir çoğaltan çekirdeğin özelliğini karşılar . ${\displaystyle e_{i}(x)}$${\ Displaystyle \ ^{2}(X)}$${\displaystyle \sigma _{i}\in \mathbb {R} }$${\görüntüleme stili \varphi (x)}$${\displaystyle \varphi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$${\displaystyle \varphi (x)=K_{x}}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$

Bayes yorumlaması

En küçük kareler, normal dağılmış artıklar varsayımı altında bir olabilirlik maksimizasyonu olarak görülebilir. Bunun nedeni, Gauss dağılımının üssünün verilerde ikinci dereceden olması ve en küçük kareler amaç fonksiyonunun da öyle olmasıdır. Bu çerçevede, RLS'nin düzenleme terimleri, üzerinde kodlama öncelikleri olarak anlaşılabilir . Örnek olarak, daha Pyatnitskiy regülarizasyonu karşılık bir normal olarak önceden dağıtılmış bu, hedef en küçük kareler ile orantılı olduğu ilk nota bakınız için 0 merkezlenmiş log olasılık örnek alınan her bir zaman fonksiyonu normalde yaklaşık dağıtılır . Ardından , 0 merkezli bir normal önceliğin , formun log-olasılığına sahip olduğunu gözlemleyin.${\görüntüleme stili w}$${\görüntüleme stili w}$${\görüntüleme stili y^{i}}$${\ Displaystyle w^{T}\cdot x^{i}}$${\görüntüleme stili w}$

${\displaystyle \log P(w)=q-\alpha \sum _{j=1}^{d}w_{j}^{2}}$

burada ve öncekinin varyansına bağlı olan ve 'den bağımsız olan sabitlerdir . Bu nedenle, olabilirliğin logaritmasını önceki ile en aza indirmek, OLS kayıp fonksiyonu ve ridge regresyon düzenleme teriminin toplamını en aza indirmeye eşdeğerdir. ${\görüntüleme stili q}$${\görüntüleme stili \alfa }$${\görüntüleme stili w}$

Bu, Tikhonov düzenlileştirmesinin neden en küçük kareler sorununa benzersiz bir çözüm getirdiğine dair daha sezgisel bir yorum sağlar : verilerden elde edilen kısıtlamaları karşılayan sonsuz sayıda vektör vardır , ancak soruna normal olarak dağıtılmış bir önceki inançla geldiğimiz için orijin etrafında, bu kısıtlamayı göz önünde bulundurarak bir çözüm seçeceğiz. ${\görüntüleme stili w}$${\görüntüleme stili w}$

Diğer düzenlileştirme yöntemleri, farklı önceliklere karşılık gelir. Daha fazla ayrıntı için aşağıdaki listeye bakın.

Özel örnekler

Sırt regresyonu (veya Tikhonov düzenlemesi)

Ceza işlevi için özellikle yaygın bir seçim , kare normdur , yani, ${\görüntüleme stili R}$${\ Displaystyle \ _{2}}$

${\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}}$

${\displaystyle {\frac {1}{n}}\|Y-\operatöradı {X} w\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_ {j}|^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$

Bunun için en yaygın isimler Tikhonov düzenlemesi ve sırt regresyonu olarak adlandırılır . Şunlar için kapalı biçimli bir çözüm kabul eder : ${\görüntüleme stili w}$

${\displaystyle w=(X^{T}X+\alpha I)^{-1}X^{T}Y}$

Sırt regresyonu adı, terimin örnek kovaryans matrisinin köşegen "sırt" boyunca pozitif girişler eklediği gerçeğini ima eder . ${\görüntüleme stili \alfa I}$ ${\görüntüleme stili X^{T}X}$

Tüm durumunda, yani en küçük kareler , durum örnek neden kovaryans matrisi benzersiz bir çözelti elde etmek için ters olamaz tam dereceye sahip değildir ve bu yüzden. Bu nedenle sıradan en küçük kareler problemine sonsuz sayıda çözüm bulunabilir . Bununla birlikte, örneğin, ridge regresyon kullanıldığında, örnek kovaryans matrisine eklenmesi, tüm özdeğerlerinin kesinlikle 0'dan büyük olmasını sağlar. Başka bir deyişle, tersinir hale gelir ve çözüm benzersiz olur. ${\displaystyle \alpha =0}$${\görüntüleme stili d>n}$ ${\görüntüleme stili X^{T}X}$${\görüntüleme stili d>n}$${\görüntüleme stili \alfa >0}$${\görüntüleme stili \alfa I}$

Sıradan en küçük kareler ile karşılaştırıldığında, sırt regresyonu tarafsız değildir. Varyansı ve ortalama kare hatasını azaltmak için çok az önyargıyı kabul eder ve tahmin doğruluğunu iyileştirmeye yardımcı olur. Bu nedenle, sırt tahmincisi, katsayıları küçülterek daha kararlı çözümler verir, ancak verilere duyarlılık eksikliğinden muzdariptir.

Kement gerilemesi

En az mutlak seçim ve küçülme (LASSO) yöntemi bir başka popüler seçimdir. Gelen kement regresyon , kement ceza fonksiyonu olan norm , yani ${\görüntüleme stili R}$${\ Displaystyle \ _{1}}$

${\displaystyle R(w)=\sum _{j=1}^{d}\sol|w_{j}\sağ|}$

${\displaystyle {\frac {1}{n}}\|Y-\operatöradı {X} w\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_ {j}|\rightarrow \min _{w\in \mathbb {R} ^{d}}}$

Kement ceza fonksiyonunun dışbükey olduğunu ancak kesinlikle dışbükey olmadığını unutmayın. Tikhonov düzenlileştirmesinden farklı olarak , bu şema uygun bir kapalı form çözümüne sahip değildir: bunun yerine, çözüm tipik olarak ikinci dereceden programlama veya daha genel dışbükey optimizasyon yöntemlerinin yanı sıra en küçük açılı regresyon algoritması gibi özel algoritmalar kullanılarak bulunur.

Kement regresyonu ile Tikhonov regresyonu arasındaki önemli bir fark, kement regresyonunun daha fazla girdiyi gerçekte 0'a eşit olmaya zorlamasıdır . Buna karşılık, Tikhonov düzenlileştirmesi, girişlerini küçük olmaya zorlarken , aksi takdirde olacağından daha fazlasını 0 olmaya zorlamaz. Bu nedenle, sıfır olmayan girdilerin sayısının küçük olmasını beklediğimiz durumlarda LASSO düzenlileştirmesi Tikhonov düzenlileştirmesinden daha uygundur ve girişlerinin genellikle küçük olacağını ancak mutlaka sıfır olmayacağını beklediğimizde Tikhonov düzenlileştirmesi daha uygundur . Bu rejimlerden hangisinin daha alakalı olduğu, eldeki belirli veri setine bağlıdır. ${\görüntüleme stili w}$${\görüntüleme stili w}$${\görüntüleme stili w}$${\görüntüleme stili w}$

Yukarıda açıklanan özellik seçiminin yanı sıra LASSO'nun bazı sınırlamaları vardır. Sırt regresyonu, yüksek oranda ilişkili değişkenler durumunda daha iyi doğruluk sağlar . Başka bir durumda, LASSO en fazla değişkeni seçer . Ayrıca, LASSO, yüksek düzeyde ilişkili örnekler grubundan bazı keyfi değişkenler seçme eğilimindedir, bu nedenle gruplama etkisi yoktur. ${\görüntüleme stili n>d}$${\görüntüleme stili n<d}$${\görüntüleme stili n}$

ℓ ₀ Cezalandırma

${\displaystyle {\frac {1}{n}}\|Y-\operatöradı {X} w\|_{2}^{2}+\lambda \|w_{j}\|_{0}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$

Seyrekliği zorlamanın en uç yolu, katsayılarının gerçek büyüklüğünün önemli olmadığını söylemektir ; daha ziyade, karmaşıklığını belirleyen tek şey sıfır olmayan girişlerin sayısıdır. Ayarına Bu karşılık olarak norm arasında . Bu düzenlileştirme işlevi, garanti ettiği seyreklik için çekici olsa da, çözülmesi çok zordur, çünkü bunu yapmak, zayıf dışbükey bile olmayan bir işlevin optimizasyonunu gerektirir . Kement regresyonu, zayıf dışbükey bir optimizasyon problemi veren cezalandırmanın mümkün olan minimum gevşemesidir . ${\görüntüleme stili w}$${\görüntüleme stili w}$${\görüntüleme stili R(w)}$${\ Displaystyle \ _{0}}$${\görüntüleme stili w}$${\ Displaystyle \ _{0}}$

elastik ağ

Herhangi bir negatif olmayan ve amaç için aşağıdaki forma sahiptir: ${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

${\displaystyle {\frac {1}{n}}\|Y-\operatöradı {X} w\|_{2}^{2}+\lambda _{1}\sum _{j=1}^{ d}|w_{j}|+\lambda _{2}\sum _{j=1}^{d}|w_{j}|^{2}\rightarrow \min _{w\in \mathbb {R } ^{d}}}$

Let , o zaman minimizasyon probleminin çözümü şu şekilde tanımlanır: ${\displaystyle \alpha ={\frac {\lambda _{1}}{\lambda _{1}+\lambda _{2}}}}$

${\displaystyle {\frac {1}{n}}\|Y-\operatöradı {X} w\|_{2}^{2}\rightarrow \min _{w\in \mathbb {R} ^{d }}{\text{ st }}(1-\alpha )\|w\|_{1}+\alpha \|w\|_{2}\leq t}$bazıları için .${\görüntüleme stili t}$

Elastik Net ceza fonksiyonu olarak düşünün . ${\displaystyle (1-\alpha )\|w\|_{1}+\alpha \|w\|_{2}\leq t}$

Ne zaman , elastik ağ sırt regresyonu olurken , Kement olur. Elastik Net penaltı fonksiyonu 0'dan birinci türevi yoktur ve kesinlikle dışbükey olduğu özelliklere hem alarak kement regresyon ve sırt regresyon . ${\görüntüleme stili \alfa =1}$${\displaystyle \alpha =0}$${\displaystyle \forall \alpha \in (0,1]}$${\displaystyle \forall \alpha >0}$

Elastik Ağın temel özelliklerinden biri, ilişkili değişken gruplarını seçebilmesidir. Numunelerin ağırlık vektörleri arasındaki fark ve şu şekilde verilir: ${\displaystyle x_{i}}$${\görüntüleme stili x_{j}}$

${\displaystyle |w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2} )|\leq {\frac {\sum _{i=1}^{n}|y_{i}|}{\lambda _{2}}}{\sqrt {2(1-\rho _{ij} )}}}$, nerede .${\displaystyle \rho _{ij}=x_{i}^{T}x_{j}}$

Eğer ve yüksek korelasyonluysa ( ), ağırlık vektörleri çok yakındır. Negatif korelasyonlu numuneler olması durumunda ( ) numuneler alınabilir. Özetlemek gerekirse, yüksek korelasyonlu değişkenler için ağırlık vektörleri, negatif korelasyonlu değişkenler durumunda bir işarete eşit olma eğilimindedir. ${\displaystyle x_{i}}$${\görüntüleme stili x_{j}}$${\displaystyle \rho _{ij}\rightarrow 1}$${\displaystyle \rho _{ij}\rightarrow -1}$${\displaystyle -x_{j}}$

RLS yöntemlerinin kısmi listesi

Aşağıda, düzenlileştirme işlevinin olası seçeneklerinin bir listesi, her birinin adı, basit bir tane varsa buna karşılık gelen önce ve sonuçta ortaya çıkan optimizasyon probleminin çözümünü hesaplama yolları yer almaktadır. ${\ Displaystyle R(\cdot )}$

İsim	Düzenlileştirme işlevi	Karşılık gelen önceki	Çözme yöntemleri
Tikhonov düzenlileştirme	${\displaystyle \|w\|_{2}^{2}}$	Normal	Kapalı form
Kement gerilemesi	${\displaystyle \|w\|_{1}}$	Laplace	Proksimal gradyan inişi , en küçük açı regresyonu
${\ Displaystyle \ _{0}}$ cezalandırma	${\displaystyle \|w\|_{0}}$	-	İleriye doğru seçim , Geriye eleme , spike ve slab gibi önceliklerin kullanımı .
Elastik ağlar	${\displaystyle \beta \|w\|_{1}+(1-\beta )\|w\|_{2}^{2}}$	Normal ve Laplace karışımı	Proksimal gradyan iniş
Toplam varyasyon düzenlemesi	${\displaystyle \sum _{j=1}^{d-1}|w_{j+1}-w_{j}|}$	-	Split-Bregman yöntemi , diğerleri arasında

Ayrıca bakınız

• En küçük kareler
• Matematikte düzenlileştirme .
• Genelleme hatası , düzenlileştirmenin kullanılma nedenlerinden biridir.
• Tikhonov düzenlileştirme
• Kement gerilemesi
• Elastik net düzenleme
• En küçük açılı regresyon

Referanslar

Dış bağlantılar

• http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf Elastik Ağ Yoluyla Düzenleme ve Değişken Seçimi (sunum)
• Düzenlileştirilmiş En Küçük Kareler ve Destek Vektör Makineleri (sunum)
• Düzenlileştirilmiş En Küçük Kareler (sunu)