Regresi Linear

Regresi linear adalah alat statistik yang dipergunakan untuk mengetahui pengaruh antara satu atau beberapa variabel terhadap satu buah variabel. Variabel yang mempengaruhi sering disebut variabel bebas, variabel independen atau variabel penjelas. Variabel yang dipengaruhi sering disebut dengan variabel terikat atau variabel dependen.

Secara umum regresi linear terdiri dari dua, yaitu regresi linear sederhana yaitu dengan satu buah variabel bebas dan satu buah variabel terikat; dan regresi linear berganda dengan beberapa variabel bebas dan satu buah variabel terikat. Analisis regresi linear merupakan metode statistik yang paling jamak dipergunakan dalam penelitian-penelitian sosial, terutama penelitian ekonomi. Program komputer yang paling banyak digunakan adalah SPSS (Statistical Package For Service Solutions).

Regresi Linear Sederhana

Analisis regresi linear sederhana dipergunakan untuk mengetahui pengaruh antara satu buah variabel bebas terhadap satu buah variabel terikat. Persamaan umumnya adalah:

Y = a + b X.

Dengan Y adalah variabel terikat dan X adalah variabel bebas. Koefisien a adalah konstanta (intercept) yang merupakan titik potong antara garis regresi dengan sumbu Y pada koordinat kartesius.

Langkah penghitungan analisis regresi dengan menggunakan program SPSS adalah: Analyse --> regression --> linear. Pada jendela yang ada, klik variabel terikat lalu klik tanda panah pada kota dependent. Maka variabel tersebut akan masuk ke kotak sebagai variabel dependen. Lakukan dengan cara yang sama untuk variabel bebas (independent). Lalu klik OK dan akan muncul output SPSS.

Interpretasi Output

1.      Koefisien determinasi

Koefisien determinasi mencerminkan seberapa besar kemampuan variabel bebas dalam menjelaskan varians variabel terikatnya. Mempunyai nilai antara 0 – 1 di mana nilai yang mendekati 1 berarti semakin tinggi kemampuan variabel bebas dalam menjelaskan varians variabel terikatnya.

2.      Nilai t hitung dan signifikansi

Nilai t hitung > t tabel berarti ada pengaruh yang signifikan antara variabel bebas terhadap variabel terikat, atau bisa juga dengan signifikansi di bawah 0,05 untuk penelitian sosial, dan untuk penelitian bursa kadang-kadang digunakan toleransi sampai dengan 0,10.

3.      Persamaan regresi

Sebagai ilustrasi variabel bebas: Biaya promosi dan variabel terikat: Profitabilitas (dalam juta rupiah) dan hasil analisisnya Y = 1,2 + 0,55 X. Berarti interpretasinya:

1.      Jika besarnya biaya promosi meningkat sebesar 1 juta rupiah, maka profitabilitas meningkat sebesar 0,55 juta rupiah.

2.      Jika biaya promosi bernilai nol, maka profitabilitas akan bernilai 1,2 juta rupiah.

Interpretasi terhadap nilai intercept (dalam contoh ini 1,2 juta) harus hati-hati dan sesuai dengan rancangan penelitian. Jika penelitian menggunakan angket dengan skala likert antara 1 sampai 5, maka interpretasi di atas tidak boleh dilakukan karena variabel X tidak mungkin bernilai nol. Interpretasi dengan skala likert tersebut sebaiknya menggunakan nilai standardized coefficient sehingga tidak ada konstanta karena nilainya telah distandarkan.

Contoh: Pengaruh antara kepuasan (X) terhadap kinerja (Y) dengan skala likert antara 1 sampai dengan 5. Hasil output yang digunakan adalah standardized coefficientssehingga Y = 0,21 X dan diinterpretasikan bahwa peningkatan kepuasan kerja akan diikuti dengan peningkatan kinerja atau penurunan kepuasan kerja juga akan diikuti dengan penurunan kinerja. Peningkatan kepuasan kerja dalam satu satuan unit akan diikuti dengan peningkatan kinerja sebesar 0,21 (21%).

Regresi Linear Berganda

Analisis regresi linear berganda sebenarnya sama dengan analisis regresi linear sederhana, hanya variabel bebasnya lebih dari satu buah. Persamaan umumnya adalah:

Y = a + b1 X1 + b2 X2 + .... + bn Xn.

Dengan Y adalah variabel bebas, dan X adalah variabel-variabel bebas, a adalah konstanta (intersept) dan b adalah koefisien regresi pada masing-masing variabel bebas.

Interpretasi terhadap persamaan juga relatif sama, sebagai ilustrasi, pengaruh antara motivasi (X1), kompensasi (X2) dan kepemimpinan (X3) terhadap kepuasan kerja (Y) menghasilkan persamaan sebagai berikut:

Y = 0,235 + 0,21 X1 + 0,32 X2 + 0,12 X3

1.      Jika variabel motivasi meningkat dengan asumsi variabel kompensasi dan kepemimpinan tetap, maka kepuasan kerja juga akan meningkat

2.      Jika variabel kompensasi meningkat, dengan asumsi variabel motivasi dan kepemimpinan tetap, maka kepuasan kerja juga akan meningkat.

3.      Jika variabel kepemimpinan meningkat, dengan asumsi variabel motivasi dan kompensasi tetap, maka kepuasan kerja juga akan meningkat.

Interpretasi terhadap konstanta (0,235) juga harus dilakukan secara hati-hati. Jika pengukuran variabel dengan menggunakan skala Likert antara 1 sampai dengan 5 maka tidak boleh diinterpretasikan bahwa jika variabel motivasi, kompensasi dan kepemimpinan bernilai nol, sebagai ketiga variabel tersebut tidak mungkin bernilai nol karena Skala Likert terendah yang digunakan adalah 1.

Analisis regresi linear berganda memerlukan pengujian secara serempak dengan menggunakan F hitung. Signifikansi ditentukan dengan membandingkan F hitung dengan F tabel atau melihat signifikansi pada output SPSS. Dalam beberapa kasus dapat terjadi bahwa secara simultan (serempak) beberapa variabel mempunyai pengaruh yang signifikan, tetapi secara parsial tidak. Sebagai ilustrasi: seorang penjahat takut terhadap polisi yang membawa pistol (diasumsikan polisis dan pistol secara serempak membuat takut penjahat). Akan tetapi secara parsial, pistol tidak membuat takut seorang penjahat. Contoh lain: air panas, kopi dan gula menimbulkan kenikmatan, tetapi secara parsial, kopi saja belum tentu menimbulkan kenikmatan.

Penggunaan metode analisis regresi linear berganda memerlukan asumsi klasik yang secara statistik harus dipenuhi. Asumsi klasik tersebut meliputi asumsi normalitas, multikolinearitas, autokorelasi, heteroskedastisitas dan asumsi linearitas (akan dibahas belakangan).

Langkah-langkah yang lazim dipergunakan dalam analisis regresi linear berganda adalah 1) koefisien determinasi; 2) Uji F dan 3 ) uji t. Persamaan regresi sebaiknya dilakukan di akhir analisis karena interpretasi terhadap persamaan regresi akan lebih akurat jika telah diketahui signifikansinya. Koefisien determinasi sebaiknya menggunakan adjusted R Square dan jika bernilai negatif maka uji F dan uji t tidak dapat dilakukan.

Pertanyaan-pertanyaan yang sering muncul

1.      Dalam uji regresi sederhana apakah perlu menginterpretasikan nilai F hitung?Uji F adalah uji kelayakan model (goodness of fit) yang harus dilakukan dalam analisis regresi linear. Untuk analisis regresi linear sederhana Uji F boleh dipergunakan atau tidak, karena uji F akan sama hasilnya dengan uji t.

2.      Kapan menggunakan uji dua arah dan kapan menggunakan uji dua arah?Penentuan arah adalah berdasarkan masalah penelitian, tujuan penelitian dan perumusan hipotesis. Jika hipotesis sudah menentukan arahnya, maka sebaiknya digunakan uji satu arah, tetapi jika hipotesis belum menentukan arah, maka sebaiknya menggunakan uji dua arah. Penentuan arah pada hipotesis berdasarkan tinjauan literatur. Contoh hipotesis dua arah: Terdapat pengaruh antara kepuasan terhadap kinerja. Contoh hipotesis satu arah: Terdapat pengaruh positif antara kepuasan terhadap kinerja. Nilai t tabel juga berbeda antara satu arah dan dua arah. Jika menggunakan signifikansi, maka signifikansi hasil output dibagi dua terlebih dahulu, baru dibandingkan dengan 5%.

3.      Apa bedanya korelasi dengan regresi?

Korelasi adalah hubungan dan regresi adalah pengaruh. Korelasi bisa berlaku bolak-balik, sebagai contoh A berhubungan dengan B demikian juga B berhubungan dengan A. Untuk regresi tidak bisa dibalik, artinya A berpengaruh terhadap B, tetapi tidak boleh dikatakan B berpengaruh terhadap A. Dalam kehidupan sehari-hari kedua istilah itu (hubungan dan pengaruh) sering dipergunakan secara rancu, tetapi dalam ilmu statistik sangat berbeda. A berhubungan dengan B belum tentu A berpengaruh terhadap B. Tetapi jika A berpengaruh terhadap B maka pasti A juga berhubungan dengan B. (Dalam analisis lanjut sebenarnya juga ada pengaruh yang bolak-balik yang disebut denganrecursive, yang tidak dapat dianalisis dengan analisis regresi tetapi menggunakanstructural equation modelling).

Uji Asumsi Klasik

Uji asumsi klasik adalah persyaratan statistik yang harus dipenuhi pada analisis regresi linear berganda yang berbasis ordinary least square (OLS). Jadi analisis regresi yang tidak berdasarkan OLS tidak memerlukan persyaratan asumsi klasik, misalnya regresi logistik atau regresi ordinal. Demikian juga tidak semua uji asumsi klasik harus dilakukan pada analisis regresi linear, misalnya uji multikolinearitas tidak dapat dipergunakan pada analisis regresi linear sederhana dan uji autokorelasi tidak perlu diterapkan pada data cross sectional.

Uji asumsi klasik juga tidak perlu dilakukan untuk analisis regresi linear yang bertujuan untuk menghitung nilai pada variabel tertentu. Misalnya nilai return saham yang dihitung dengan market model, atau market adjusted model. Perhitungan nilai return yang diharapkan dilakukan dengan persamaan regresi, tetapi tidak perlu diuji asumsi klasik.

Setidaknya ada lima uji asumsi klasik, yaitu uji multikolinearitas, uji heteroskedastisitas, uji normalitas, uji autokorelasi dan uji linearitas. Tidak ada ketentuan yang pasti tentang urutan uji mana dulu yang harus dipenuhi. Analisis dapat dilakukan tergantung pada data yang ada. Sebagai contoh, dilakukan analisis terhadap semua uji asumsi klasik, lalu dilihat mana yang tidak memenuhi persyaratan. Kemudian dilakukan perbaikan pada uji tersebut, dan setelah memenuhi persyaratan, dilakukan pengujian pada uji yang lain.

1. Uji Normalitas

Uji normalitas adalah untuk melihat apakah nilai residual terdistribusi normal atau tidak. Model regresi yang baik adalah memiliki nilai residual yang terdistribusi normal. Jadi uji normalitas bukan dilakukan pada masing-masing variabel tetapi pada nilai residualnya. Sering terjadi kesalahan yang jamak yaitu bahwa uji normalitas dilakukan pada masing-masing variabel. Hal ini tidak dilarang tetapi model regresi memerlukan normalitas pada nilai residualnya bukan pada masing-masing variabel penelitian.

Pengertian normal secara sederhana dapat dianalogikan dengan sebuah kelas. Dalam kelas siswa yang bodoh sekali dan pandai sekali jumlahnya hanya sedikit dan sebagian besar berada pada kategori sedang atau rata-rata. Jika kelas tersebut bodoh semua maka tidak normal, atau sekolah luar biasa. Dan sebaliknya jika suatu kelas banyak yang pandai maka kelas tersebut tidak normal atau merupakan kelas unggulan. Pengamatan data yang normal akan memberikan nilai ekstrim rendah dan ekstrim tinggi yang sedikit dan kebanyakan mengumpul di tengah. Demikian juga nilai rata-rata, modus dan median relatif dekat.

Uji normalitas dapat dilakukan dengan uji histogram, uji normal P Plot, uji Chi Square, Skewness dan Kurtosis atau uji Kolmogorov Smirnov. Tidak ada metode yang paling baik atau paling tepat. Tipsnya adalah bahwa pengujian dengan metode grafik sering menimbulkan perbedaan persepsi di antara beberapa pengamat, sehingga penggunaan uji normalitas dengan uji statistik bebas dari keragu-raguan, meskipun tidak ada jaminan bahwa pengujian dengan uji statistik lebih baik dari pada pengujian dengan metode grafik.

Jika residual tidak normal tetapi dekat dengan nilai kritis (misalnya signifikansi Kolmogorov Smirnov sebesar 0,049) maka dapat dicoba dengan metode lain yang mungkin memberikan justifikasi normal. Tetapi jika jauh dari nilai normal, maka dapat dilakukan beberapa langkah yaitu: melakukan transformasi data, melakukan trimming data outliers atau menambah data observasi. Transformasi dapat dilakukan ke dalam bentuk Logaritma natural, akar kuadrat, inverse, atau bentuk yang lain tergantung dari bentuk kurva normalnya, apakah condong ke kiri, ke kanan, mengumpul di tengah atau menyebar ke samping kanan dan kiri.

2. Uji Multikolinearitas

Uji multikolinearitas adalah untuk melihat ada atau tidaknya korelasi yang tinggi antara variabel-variabel bebas dalam suatu model regresi linear berganda. Jika ada korelasi yang tinggi di antara variabel-variabel bebasnya, maka hubungan antara variabel bebas terhadap variabel terikatnya menjadi terganggu. Sebagai ilustrasi, adalah model regresi dengan variabel bebasnya motivasi, kepemimpinan dan kepuasan kerja dengan variabel terikatnya adalah kinerja. Logika sederhananya adalah bahwa model tersebut untuk mencari pengaruh antara motivasi, kepemimpinan dan kepuasan kerja terhadap kinerja. Jadi tidak boleh ada korelasi yang tinggi antara motivasi dengan kepemimpinan, motivasi dengan kepuasan kerja atau antara kepemimpinan dengan kepuasan kerja.

Alat statistik yang sering dipergunakan untuk menguji gangguan multikolinearitas adalah dengan variance inflation factor (VIF), korelasi pearson antara variabel-variabel bebas, atau dengan melihat eigenvalues dan condition index (CI).

Beberapa alternatif cara untuk mengatasi masalah multikolinearitas adalah sebagai berikut:

1. Mengganti atau mengeluarkan variabel yang mempunyai korelasi yang tinggi.

2. Menambah jumlah observasi.

3. Mentransformasikan data ke dalam bentuk lain, misalnya logaritma natural, akar kuadrat atau bentuk first difference delta.

4. Dalam tingkat lanjut dapat digunakan metode regresi bayessian yang masih jarang sekali digunakan.

3. Uji Heteroskedastisitas

Uji heteroskedastisitas adalah untuk melihat apakah terdapat ketidaksamaan varians dari residual satu ke pengamatan ke pengamatan yang lain. Model regresi yang memenuhi persyaratan adalah di mana terdapat kesamaan varians dari residual satu pengamatan ke pengamatan yang lain tetap atau disebut homoskedastisitas.

Deteksi heteroskedastisitas dapat dilakukan dengan metode scatter plot dengan memplotkan nilai ZPRED (nilai prediksi) dengan SRESID (nilai residualnya). Model yang baik didapatkan jika tidak terdapat pola tertentu pada grafik, seperti mengumpul di tengah, menyempit kemudian melebar atau sebaliknya melebar kemudian menyempit. Uji statistik yang dapat digunakan adalah uji Glejser, uji Park atau uji White.

Beberapa alternatif solusi jika model menyalahi asumsi heteroskedastisitas adalah dengan mentransformasikan ke dalam bentuk logaritma, yang hanya dapat dilakukan jika semua data bernilai positif. Atau dapat juga dilakukan dengan membagi semua variabel dengan variabel yang mengalami gangguan heteroskedastisitas.

4. Uji Autokorelasi

Uji autokorelasi adalah untuk melihat apakah terjadi korelasi antara suatu periode t dengan periode sebelumnya (t -1). Secara sederhana adalah bahwa analisis regresi adalah untuk melihat pengaruh antara variabel bebas terhadap variabel terikat, jadi tidak boleh ada korelasi antara observasi dengan data observasi sebelumnya. Sebagai contoh adalah pengaruh antara tingkat inflasi bulanan terhadap nilai tukar rupiah terhadap dollar. Data tingkat inflasi pada bulan tertentu, katakanlah bulan Februari, akan dipengaruhi oleh tingkat inflasi bulan Januari. Berarti terdapat gangguan autokorelasi pada model tersebut. Contoh lain, pengeluaran rutin dalam suatu rumah tangga. Ketika pada bulan Januari suatu keluarga mengeluarkan belanja bulanan yang relatif tinggi, maka tanpa ada pengaruh dari apapun, pengeluaran pada bulan Februari akan rendah.

Uji autokorelasi hanya dilakukan pada data time series (runtut waktu) dan tidak perlu dilakukan pada data cross section seperti pada kuesioner di mana pengukuran semua variabel dilakukan secara serempak pada saat yang bersamaan. Model regresi pada penelitian di Bursa Efek Indonesia di mana periodenya lebih dari satu tahun biasanya memerlukan uji autokorelasi.

Beberapa uji statistik yang sering dipergunakan adalah uji Durbin-Watson, uji dengan Run Test dan jika data observasi di atas 100 data sebaiknya menggunakan uji Lagrange Multiplier. Beberapa cara untuk menanggulangi masalah autokorelasi adalah dengan mentransformasikan data atau bisa juga dengan mengubah model regresi ke dalam bentuk persamaan beda umum (generalized difference equation). Selain itu juga dapat dilakukan dengan memasukkan variabel lag dari variabel terikatnya menjadi salah satu variabel bebas, sehingga data observasi menjadi berkurang 1.

5. Uji Linearitas

Uji linearitas dipergunakan untuk melihat apakah model yang dibangun mempunyai hubungan linear atau tidak. Uji ini jarang digunakan pada berbagai penelitian, karena biasanya model dibentuk berdasarkan telaah teoretis bahwa hubungan antara variabel bebas dengan variabel terikatnya adalah linear. Hubungan antar variabel yang secara teori bukan merupakan hubungan linear sebenarnya sudah tidak dapat dianalisis dengan regresi linear, misalnya masalah elastisitas.

Jika ada hubungan antara dua variabel yang belum diketahui apakah linear atau tidak, uji linearitas tidak dapat digunakan untuk memberikan adjustment bahwa hubungan tersebut bersifat linear atau tidak. Uji linearitas digunakan untuk mengkonfirmasikan apakah sifat linear antara dua variabel yang diidentifikasikan secara teori sesuai atau tidak dengan hasil observasi yang ada. Uji linearitas dapat menggunakan uji Durbin-Watson, Ramsey Test atau uji Lagrange Multiplier.

Regresi Linear dengan Variabel Moderating

Variabel moderating adalah variabel yang memperkuat atau memperlemah hubungan antara satu variabel dengan variabel lain. Sebagai contoh: seorang suami menyayangi istrinya. Dengan hadirnya seorang anak, maka rasa sayang tersebut bertambah. Berarti variabel anak merupakan moderating antara rasa saya suami terhadap istri. Contoh lain: kompensasi memperkuat pengaruh antara kepuasan kerja terhadap kinerja. Artinya kepuasan kerja berpengaruh terhadap kinerja, dan adanya kompensasi yang tinggi maka pengaruh antara kepuasan kerja terhadap kinerja menjadi lebih meningkat. Dalam hal ini, kompensasi bisa saja berpengaruh terhadap kinerja bisa saja tidak.

Metode analisis regresi linear dengan variabel moderating:

1. Multiple Regression Analysis (MRA)

Metode ini dilakukan dengan menambahkan variabel perkalian antara variabel bebas dengan variabel moderatingnya, sehingga persamaan umumnya adalah sebagai berikut: Y = a + b1 X1 + b2 X2 + b3 X1 X2 dengan Y adalah kinerja, X1 adalah kepuasan kerja, X2 kompensasi dan X1 X2 adalah perkalian antara kepuasan kerja dengan kompensasi. Hipotesis moderating diterima jika variabel X1 X2 mempunyai pengaruh signifikan terhadap Y, tidak tergantung apakah X1 dan X2 mempunyai pengaruh terhadap Y atau tidak. Model ini biasanya menyalahi asumsi multikolinearitas atau adanya korelasi yang tinggi antara variabel bebas dalam model regresi, sehingga menyalahi asumsi klasik. Hampir tidak ada model MRA yang terbebas dari masalah multikolinearitas, sehingga sebenarnya model ini tidak disarankan untuk dipergunakan.

2. Absolut residual

Model ini mirip dengan MRA, tetapi variabel moderating didekati dengan selisih mutlak (absolut residual) antara variabel bebas dengan variabel moderatingnya. Penerimaan hipotesis juga sama, dan model ini masih riskan terhadap gangguan multikolinearitas meskipun risiko itu lebih kecil dari pada dengan metode MRA.

3. Residual

Model ini menggunakan konsep lack of fit yaitu hipotesis moderating diterima terjadi jika terdapat ketidakcocokan dari deviasi hubungan linear antara variabel independen. Langkahnya adalah dengan meregresikan antara kepuasan kerja terhadap kompensasi dan dihitung nilai residualnya. Pada program SPSS dengan klik Save pada regreesion, lalu klik pada usntandardized residual. Nilai residual kemudian diambil nilai absolutnya lalu diregresikan antara kinerja terhadap absolut residual. Hipotesis moderating diterima jika nilai t hitung adalah negatif dan signifikan. Model ini terbebas dari gangguan multikolinearitas karena hanya menggunakan satu variabel bebas.

Pertanyaan-pertanyaan yang sering muncul:

1. Ada model regresi moderating dengan MRA tetapi output memenuhi uji multikolinearitas?

Hampir tidak ada model moderating dengan MRA yang terbebas dari gangguan multikolinearitas. Banyak output pada skripsi yang dimanipulasi agar tampaknya memenuhi asumsi multikolinearitas padahal sebenarnya tidak. Hal ini banyak terjadi di mana (maaf) dosen tidak terlalu menguasai statistik secara baik. Penulis sendiri belum pernah melihat tabulasi data yang memenuhi model moderating dengan metode MRA.

2. Bagaimana model regresi moderating dengan dua buah variabel bebas?

Model dengan MRA menjadi Y = a + b1 X1 + b2 X2 + b3 X3 + b4 X1 X2 + b5 X1 X3 + b6 X2 X3 + bb X1 X2 X3 di mana X3 adalah variabel moderating (he he...jadi panjang banget kan). Hipotesis diterima jika X1 X2 X3 signifikan, tetapi hampir pasti model ini menyalahi asumsi multikolinearitas. Sebaiknya digunakan model residual dengan lack of fit.

3. Bagaimana merancang model regresi dengan moderating pada penelitian?

Model moderating ditentukan dengan tinjauan teoretis, sehingga analisis dengan moderating hanya mengkonfirmasi saja teori tersebut apakah cocok dengan model empiris. Tidak boleh menggunakan alat statistik moderating untuk mengidentifikasikan bahwa variabel itu merupakan variabel moderating.

Regresi Linear dengan Variabel Intervening

Variabel intervening adalah variabel antara atau variabel mediating. Model regresi dengan variabel intervening merupakan hubungan bertingkat sehingga jika dengan analisis regresi harus menggunakan analisis jalur (path analysis) atau disarankan menggunakan metode structural equation modelling (SEM). Metode SEM akan dibahas belakangan dengan menggunakan Program AMOS atau LISREL

Regresi dengan variabel intervening dipergunakan untuk melihat pengaruh tidak langsung antara satu variabel terhadap variabel yang lain. Sebagai contoh: Gaya Evaluasi Atasan (GEA) mempunyai pengaruh terhadap Kinerja Manajerial (KM) melalui Tekanan Kerja (TK). GEA mempunyai pengaruh langsung terhadap KM tetapi juga bisa mempunyai pengaruh tidak langsung terhadap KM melalui TK. GEA diinterpretasikan mempunyai pengaruh tidak langsung terhadap KM melalui TK jika pengaruh GEA terhadap TK signifikan dan pengaruh TK terhadap KM juga signifikan. Dalam suatu kasus bisa saja variabel mempunyai pengaruh langsung terhadap suatu variabel dan pengaruh tidak langsung terhadap variabel tersebut melalui variabel yang lain.