رگرسیون خطی یا linear regression چیست

رگرسیون خطی به انگلیسی linear regression یک معادله خط است که بر اساس یک مجموعه از ازواج مرتب برای تخمین رفتار توابع رسم می‌شود, و می‌تواند براساس موئلفه اول, موئلفه دوم را پیش بینی کند.

رگرسیون خطی, برای پیش بینی روابط شبه خطی, یا توابع غیر خطی در دامنه محدود کاربرد دارد, اما باید توجه داشت که در مثال های واقعی, احتمال خطاء می‌تواند بسیار بالا باشد.

فرمول

رگرسیون خطی همانطور که از اسمش پیداست, یک معادله خط, به شکل عمومی f(x) = mx + b است؛ برای محاسبه شیب و عرض از مبداء, ابتداء باید میانگین موئلفه های اول (x) و دوم (y) را حساب کنیم, و مقدار متغیر های زیر را نیز بدست آوریم.

SS = {Σ(xᵢ-\overline{x})²}

به SS جمع مربعات یا sum of squares گفته می‌شود؛ در این مرحله, مجموع مربع اختلاف موئلفه اول با میانگین موئلفه های اول بدست می‌آید.

SP=Σ(xᵢ-\overline{x})(yᵢ-\overline{y})

به SP جمع مضارب یا sum of products گفته می‌شود.

شیب

بنا بر اطلاعات فوق, شیب برابر است با:

m = a = \beta_1 = {SP\over{SS}} = { \Sigma(xᵢ-\overline{x})(yᵢ-\overline{y})\over{\Sigma(xᵢ - \overline{x})²} }

در زبان پایتون نیز به صورت زیر خواهد بود

import numpy as np

SP = np.sum( (x - np.mean(x)) * (y - np.mean(y)) )
SS = np.sum((x - np.mean(x)) ** 2)

slope = SP / SS

عرض از مبدا

عرض از مبدا رگرسیون خطی, به صورت زیر محاسبه می‌شود.

b = \beta_0 = \overline{y}-m\overline{x}

نکته: اگر رابطه ما یک تابع نباشد می‌توانیم چندین رگرسیون خطی داشته باشیم. یعنی اگر به ازای x ما ۲ y داشته باشیم.

مثال

اگر رابطه زیر را از یک تابع خط داشته باشیم, معادله آن چه خواهد بود؟

{(1,2), (2,4), (3,6), (4,8), (10, 5)}

با کمی دقت می‌توان فهمید که رابطه بین x و y برابر 2x است, و لذا شیب خط y/x خواهد بود؛ به عبارت دیگر رگرسیون خطی برابر $$f(x) = 2x = y$$ است؛ در این مثال, معادله رگرسیون خط, از تمام ازواج مرتب داده شده عبور می‌کند, اما گاهی اینطور نیست.