כיצד מחושב הפרמטר b ברגרסיה ליניארית (חיזור ה-y של הקו המתאים ביותר)?

/ / פורסם ב בינה מלאכותית, לימוד מכונה EITC/AI/MLP עם פיתון, נסיגה, הבנת רגרסיה

בהקשר של רגרסיה לינארית, הפרמטר b (המכונה בדרך כלל חיתוך y של הקו המתאים ביותר) הוא מרכיב חשוב במשוואה הליניארית y = m x + b, שם m מייצג את השיפוע של הקו. שאלתך נוגעת ליחסים בין יירוט ה-y b, האמצעים של המשתנה התלוי y והמשתנה הבלתי תלוי x, והמדרון m.

כדי לטפל בשאילתה, עלינו לשקול את הגזירה של משוואת הרגרסיה הליניארית. רגרסיה ליניארית מטרתה ליצור מודל של הקשר בין משתנה תלוי y ומשתנים בלתי תלויים אחד או יותר x על ידי התאמת משוואה לינארית לנתונים שנצפו. ברגרסיה ליניארית פשוטה, הכוללת משתנה מנבא יחיד, הקשר נוצר על ידי המשוואה:

    \[ y = mx + b \]

כאן, m (המדרון) ו b (יוחט ה-y) הם הפרמטרים שצריך לקבוע. המדרון m מציין את השינוי ב y לשינוי של יחידה אחת ב x, בעוד יירוט ה-y b מייצג את הערך של y מתי x הוא אפס.

כדי למצוא פרמטרים אלה, אנו משתמשים בדרך כלל בשיטה של ​​הריבועים הקטנים ביותר, אשר ממזערת את סכום ההבדלים בריבוע בין הערכים הנצפים לבין הערכים החזויים על ידי המודל. שיטה זו מביאה את הנוסחאות הבאות עבור השיפוע m ואת יירוט ה-y b:

    \[ m = \frac{\sum{(x_i - \bar{x})(y_i - \bar{y})}}{\sum{(x_i - \bar{x})^2}} \]

    \[ b = \bar{y} - m\bar{x} \]

כאן, \bar{x} ו \bar{y} הם האמצעים של ה x ו y ערכים, בהתאמה. התנאי \sum{(x_i - \bar{x})(y_i - \bar{y})} מייצג את השונות של x ו yתוך \sum{(x_i - \bar{x})^2} מייצג את השונות של x.

הנוסחה עבור חיתוך y b ניתן להבין כדלקמן: פעם המדרון m נקבע, יישור ה-y b מחושב על ידי לקיחת הממוצע של y ערכים והפחתת מכפלת השיפוע m והממוצע של ה x ערכים. זה מבטיח שקו הרגרסיה עובר דרך הנקודה (\bar{x}, \bar{y}), שהוא המרכז של נקודות הנתונים.

כדי להמחיש זאת באמצעות דוגמה, שקול מערך נתונים עם הערכים הבאים:

    \[ \begin{מערך}{|c|c|} \hline x & y \\ \hline 1 & 2 \\ 2 & 3 \\ 3 & 5 \\ 4 & 4 \\ 5 & 6 \\ \hline \end{מערך} \]

ראשית, אנו מחשבים את האמצעים של x ו y:

    \[ \bar{x} = \frac{1 + 2 + 3 + 4 + 5}{5} = 3 \]

    \[ \bar{y} = \frac{2 + 3 + 5 + 4 + 6}{5} = 4 \]

לאחר מכן, אנו מחשבים את השיפוע m:

    \[ m = \frac{\sum{(x_i - \bar{x})(y_i - \bar{y})}}{\sum{(x_i - \bar{x})^2}} \]

    \[ = \frac{(1-3)(2-4) + (2-3)(3-4) + (3-3)(5-4) + (4-3)(4-4) + (5-3)(6-4)}{(1-3)^2 + (2-3)^2 + (3-3)^2 + (4-3)^2 + (5-3)^ 2} \]

    \[ = \frac{(-2)(-2) + (-1)(-1) + (0)(1) + (1)(0) + (2)(2)}{(-2) ^2 + (-1)^2 + (0)^2 + (1)^2 + (2)^2} \]

    \[ = \frac{4 + 1 + 0 + 0 + 4}{4 + 1 + 0 + 1 + 4} \]

    \[ = \frac{9}{10} = 0.9 \]

לבסוף, אנו מחשבים את חיתוך ה-y b:

    \[ b = \bar{y} - m\bar{x} \]

    \[ = 4 - 0.9 \ פעמים 3 \]

    \[ = 4 - 2.7 \]

    \[ = 1.3 \]

לכן, משוואת הרגרסיה הליניארית עבור מערך נתונים זה היא:

    \[ y = 0.9x + 1.3 \]

דוגמה זו מדגימה שחירוט ה-y b אכן שווה לממוצע של כולם y ערכים פחות מכפלת השיפוע m והממוצע של כולם x ערכים, שמתיישרים עם הנוסחה b = \bar{y} - m\bar{x}.

חשוב לציין ש-y-יירט b אינו פשוט הממוצע של כולם y ערכים בתוספת מכפלת השיפוע m והממוצע של כולם x ערכים. במקום זאת, זה כרוך בהפחתת מכפלת השיפוע m והממוצע של כולם x ערכים מהממוצע של כולם y ערכים.

הבנת הגזירה והמשמעות של פרמטרים אלו חיונית לפירוש התוצאות של ניתוח רגרסיה ליניארית. יירוט ה-y b מספק מידע רב ערך על רמת הבסיס של המשתנה התלוי y כאשר המשתנה הבלתי תלוי x הוא אפס. המדרון m, לעומת זאת, מצביע על הכיוון והחוזק של הקשר בין x ו y.

ביישומים מעשיים, רגרסיה ליניארית נמצאת בשימוש נרחב עבור מודלים חזויים וניתוח נתונים. היא משמשת כטכניקה בסיסית בתחומים שונים, כולל כלכלה, מימון, ביולוגיה ומדעי החברה. על ידי התאמת מודל ליניארי לנתונים שנצפו, חוקרים ואנליסטים יכולים לבצע תחזיות, לזהות מגמות ולגלות קשרים בין משתנים.

Python, שפת תכנות פופולרית למדעי נתונים ולמידת מכונה, מספקת מספר ספריות וכלים לביצוע רגרסיה ליניארית. ספריית `scikit-learn`, למשל, מציעה יישום פשוט של רגרסיה ליניארית באמצעות המחלקה `LinearRegression` שלה. הנה דוגמה כיצד לבצע רגרסיה לינארית באמצעות `scikit-learn` ב-Python:

python
import numpy as np
from sklearn.linear_model import LinearRegression

# Sample data
x = np.array([1, 2, 3, 4, 5]).reshape((-1, 1))
y = np.array([2, 3, 5, 4, 6])

# Create and fit the model
model = LinearRegression()
model.fit(x, y)

# Get the slope (m) and y-intercept (b)
m = model.coef_[0]
b = model.intercept_

print(f"Slope (m): {m}")
print(f"Y-intercept (b): {b}")

בדוגמה זו, המחלקה `LinearRegression` משמשת ליצירת מודל רגרסיה ליניארי. שיטת ה-'התאמה' נקראת כדי לאמן את המודל על נתוני המדגם, והתכונות 'coef_' ו-'intercept_' משמשות כדי לאחזר את השיפוע ו-y-intercept, בהתאמה.

יירוט ה-y b ברגרסיה ליניארית אינו שווה לממוצע של כולם y ערכים בתוספת מכפלת השיפוע m והממוצע של כולם x ערכים. במקום זאת, הוא שווה לממוצע של כולם y ערכים פחות מכפלת השיפוע m והממוצע של כולם x ערכים, כפי שניתן על ידי הנוסחה b = \bar{y} - m\bar{x}.

שאלות ותשובות אחרונות אחרות בנושא לימוד מכונה EITC/AI/MLP עם פיתון:

הצג שאלות ותשובות נוספות ב-EITC/AI/MLP Machine Learning עם Python

עוד שאלות ותשובות:

מתויג תחת: , , , , ,