Lihat sumber Ridge regression

'''Ridge regression''' adalah salah satu teknik [[regresi]] dalam [[statistik]] dan [[pembelajaran mesin]] yang digunakan untuk menganalisis data yang mengalami masalah [[multikolinearitas]]. Metode ini merupakan bentuk dari [[regularisasi]] yang menambahkan penalti terhadap besar koefisien regresi untuk mengurangi [[overfitting]] dan meningkatkan kemampuan generalisasi model. Ridge regression bekerja dengan memodifikasi fungsi [[kuadrat terkecil]] (ordinary least squares) dengan menambahkan parameter regularisasi untuk mengontrol kompleksitas model.

== Konsep Dasar ==
Ridge regression merupakan pengembangan dari [[regresi linear]] biasa yang menambahkan sebuah istilah penalti berbasis norma L2 pada fungsi kerugian. Penalti ini memaksa nilai koefisien regresi menjadi lebih kecil, sehingga mengurangi varians model tanpa terlalu meningkatkan bias. Secara matematis, metode ini meminimalkan jumlah kuadrat galat ditambah dengan λ (lambda) dikalikan jumlah kuadrat koefisien.

'''Ridge regression''' (juga dikenal sebagai ''Tikhonov regularization'') adalah metode regresi linear dengan penalti norm kuadrat (''L2 penalty''). Fungsi objektifnya adalah:

:<math>\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2</math>

dengan:
* <math>y</math> : vektor target/output (berukuran <math>n \times 1</math>)
* <math>X</math> : matriks fitur/predictor (berukuran <math>n \times p</math>)
* <math>\beta</math> : vektor koefisien regresi (berukuran <math>p \times 1</math>)
* <math>\|y - X\beta\|_2^2</math> : jumlah kuadrat galat (''sum of squared errors'')
* <math>\lambda \|\beta\|_2^2</math> : penalti regularisasi L2
* <math>\lambda \geq 0</math> : parameter regularisasi

Ridge regression mencari solusi yang tidak hanya meminimalkan galat prediksi, tetapi juga membatasi besar koefisien agar tidak berlebihan, sehingga dapat mengurangi risiko ''overfitting''.
== Sejarah dan Pengembangan ==
Metode ridge regression pertama kali diperkenalkan oleh Hoerl dan Kennard pada tahun 1970. Mereka mengembangkan teknik ini untuk mengatasi masalah multikolinearitas pada model regresi linear, di mana variabel independen memiliki korelasi tinggi satu sama lain. Sejak saat itu, ridge regression banyak digunakan di berbagai bidang seperti [[ekonometrika]], [[biostatistik]], dan [[ilmu komputer]].

Pengembangan selanjutnya mencakup variasi metode ini seperti [[lasso regression]] yang menggunakan norma L1, serta [[elastic net]] yang mengombinasikan penalti L1 dan L2.

== Masalah Multikolinearitas ==
Multikolinearitas terjadi ketika variabel-variabel independen dalam sebuah model memiliki hubungan linear yang tinggi. Hal ini menyebabkan estimasi koefisien menjadi tidak stabil dan variansnya meningkat. Ridge regression membantu mengatasi masalah ini dengan menambahkan penalti yang mengecilkan koefisien, sehingga model menjadi lebih stabil.

Jika multikolinearitas sangat parah, ridge regression dapat secara signifikan meningkatkan akurasi prediksi dibanding regresi linear biasa.

== Parameter Regularisasi λ ==
Parameter λ (lambda) adalah elemen kunci dalam ridge regression. Nilai λ yang kecil akan menghasilkan model yang mirip dengan regresi linear biasa, sedangkan nilai λ yang besar akan menghasilkan koefisien yang sangat kecil. Pemilihan nilai λ yang optimal biasanya dilakukan menggunakan [[validasi silang]] (cross-validation).

Pemilihan λ yang tepat membantu mencapai keseimbangan antara bias dan varians dalam model.

== Implementasi dalam Pembelajaran Mesin ==
Dalam pembelajaran mesin, ridge regression digunakan baik untuk [[prediksi]] maupun [[inferensi statistik]]. Banyak pustaka perangkat lunak seperti [[scikit-learn]] di [[Python (bahasa pemrograman)|Python]] atau [[R (bahasa pemrograman)|R]] menyediakan implementasi metode ini.

Ridge regression juga sering dipakai dalam [[machine learning]] untuk menghindari overfitting pada dataset dengan jumlah fitur yang besar.

== Kelebihan ==
Beberapa kelebihan ridge regression antara lain:
# Mengurangi varians model dan meningkatkan stabilitas estimasi.
# Mengatasi masalah multikolinearitas.
# Dapat digunakan pada dataset dengan jumlah fitur lebih banyak daripada jumlah observasi.
# Memiliki solusi analitik yang relatif sederhana.

== Kekurangan ==
Namun, terdapat pula keterbatasan ridge regression:
# Tidak melakukan seleksi variabel karena semua fitur tetap ada dalam model.
# Sensitif terhadap skala fitur, sehingga memerlukan [[standardisasi]] sebelum pelatihan.
# Pemilihan λ yang tidak tepat dapat menurunkan kinerja model.

== Perbandingan dengan Lasso ==
Ridge regression menggunakan penalti L2, sedangkan [[lasso regression]] menggunakan penalti L1. Lasso dapat menghasilkan koefisien yang benar-benar nol, sehingga melakukan seleksi fitur secara otomatis. Ridge regression, sebaliknya, hanya mengecilkan koefisien tanpa menghapusnya.

Pemilihan antara ridge dan lasso sering bergantung pada tujuan analisis dan sifat data yang digunakan.

== Contoh Aplikasi ==
Ridge regression digunakan dalam berbagai bidang, misalnya:
# Prediksi harga properti berdasarkan banyak variabel penjelas.
# Analisis data genetik yang memiliki jumlah variabel sangat besar.
# Pemodelan risiko kredit dalam industri perbankan.
# Peramalan permintaan dalam [[rantai pasok]].

== Variasi dan Pengembangan Lanjutan ==
Beberapa variasi dari ridge regression telah dikembangkan, seperti generalized ridge regression yang menyesuaikan penalti untuk masing-masing koefisien, atau Bayesian ridge regression yang menggunakan pendekatan [[statistik Bayesian]].

Selain itu, metode hybrid seperti [[elastic net]] mengombinasikan kelebihan ridge dan lasso untuk performa yang lebih baik pada kondisi tertentu.

== Kesimpulan ==
Ridge regression adalah metode regularisasi yang efektif untuk mengatasi overfitting dan multikolinearitas dalam model regresi. Dengan menambahkan penalti L2, metode ini dapat menghasilkan model yang lebih stabil dan mampu melakukan prediksi yang lebih akurat, khususnya pada data dengan banyak variabel yang saling berkorelasi.

Pemahaman yang baik tentang pemilihan parameter λ dan karakteristik data sangat penting untuk memaksimalkan manfaat dari ridge regression.