الانحدار متعدد الحدود: كشف العلاقات غير الخطيةPolynomial Regression|

 Polynomial Regression

هو شكل من أشكال تحليل الانحدار المستخدم لنمذجة العلاقة بين المتغير التابع 𝑦 وواحد أو أكثر من المتغيرات المستقلة 𝑥. على عكس الانحدار الخطي البسيط، الذي يُمثل هذه العلاقة كخط مستقيم، فإن الانحدار متعدد الحدود يُمثلها كمتعددة حدود من الدرجة 𝑛 هذا يسمح بالتقاط العلاقات الأكثر تعقيدًا والمنحنية في البيانات.

معادلة متعددة الحدود: يُمثل النموذج بمعادلة على الشكل:

y=β0​+β1​x+β2​x2+⋯+βn​xn+ϵ

حيث 𝑦هو المتغير التابع، و𝑥 هو المتغير المستقل، β0​,β1​,…,βn​ هي المعاملات، و𝜖 هو مصطلح الخطأ.

التطبيق:

يُستخدم الانحدار متعدد الحدود على نطاق واسع في السيناريوهات التي تكون فيها اتجاهات البيانات غير خطية. الأمثلة تشمل:

- نمذجة معدلات النمو (مثل نمو السكان).

- تحليل بيانات السلاسل الزمنية ذات الأنماط الدورية.

- ملاءمة المنحنيات للبيانات التجريبية في الفيزياء والهندسة.

Polynomial Regression يُستخدم عمومًا عندما تكون النقاط في البيانات غير مُلتَقَطة بشكل جيد بواسطة نموذج الانحدار الخطي، وحيث يفشل الانحدار الخطي في وصف النتيجة بأفضل شكل.

توضيح الفروقات بين الانحدار الخطي والانحدار متعدد الحدود( Polynomial Regression):

1. العلاقة بين المتغيرات:

   - الانحدار الخطي ( Linear Regression ): يفترض علاقة خطية بين المتغير المستقل X والمتغير التابعY

المعادلة الأساسية للانحدار الخطي هي:

y=β0​+β1​X+ϵ

   - الانحدار متعدد الحدود ( Polynomial Regression): لا يتطلب أن تكون العلاقة خطية. بدلاً من ذلك، يُمَكّن النموذج من استخدام مصطلحات متعددة الحدود لالتقاط العلاقات غير الخطية. المعادلة الأساسية للانحدار متعدد الحدود من الدرجة n هي:

y=β0​+β1​x+β2​x2+⋯+βn​xn+ϵ

1.     استخدامات النماذج:

·         الانحدار الخطي: يُستخدم عندما تكون العلاقة بين المتغيرات خطية أو تقارب الخطية، ويوفر نموذجًا بسيطًا وسهل التفسير.

·         الانحدار متعدد الحدود: يُستخدم عندما تظهر البيانات اتجاهًا منحنًى أو غير خطي، حيث يُعتبر الانحدار الخطي غير كافٍ لتفسير هذه العلاقة.

2.     الأداء مع البيانات:

·         الانحدار الخطي: قد يفشل في وصف النتائج بشكل جيد إذا كانت البيانات تحتوي على منحنيات أو انعطافات.

·         الانحدار متعدد الحدود: يمكنه التكيف مع الأنماط المنحنية في البيانات، مما يسمح بتحسين الملاءمة والتنبؤ بشكل أكثر دقة للبيانات غير الخطية.

مثال توضيحي:

إذا كانت لدينا مجموعة بيانات تحتوي على نقاط تُظهر علاقة تربيعية بين 𝑥 وy، فإن نموذج الانحدار الخطي سيحاول ملاءمة خط مستقيم عبر النقاط، والذي قد لا يكون ملائمًا جيدًا للبيانات. في المقابل، يمكن لنموذج الانحدار متعدد الحدود من الدرجة الثانية (تربيعي) أن يلتقط بشكل أفضل الانحناء في البيانات ويوفر ملاءمة أفضل:

الخلاصة:

- الانحدار الخطي يفترض وجود علاقة خطية بين المتغيرات.

- الانحدار متعدد الحدود لا يتطلب علاقة خطية ويمكنه التكيف مع العلاقات غير الخطية، مما يجعله أكثر مرونة في وصف البيانات المعقدة.

- يُستخدم الانحدار متعدد الحدود عندما يكون الانحدار الخطي غير كافٍ لالتقاط الأنماط في البيانات، مما يوفر تفسيرًا أفضل ونتائج أكثر دقة في الحالات التي تكون فيها البيانات منحنية أو غير خطية.

 Cost Function في الانحدار متعدد الحدود ( Polynomial Regression):

دالة التكلفة المستخدمة في الانحدار متعدد الحدود هي عادةً متوسط مربع الخطأMSE، الذي يقيس متوسط مربعات الأخطاء بين القيم المتوقعة والقيم الفعلية:

MSE=n1​∑i=1n​(Yi​−Y^i​)2

Polynomial Regression مع التدرج التنازلي (Gradient Descent) 

التدرج التنازلي هو خوارزمية تحسين تُستخدم لتقليل دالة التكلفة. في الانحدار متعدد الحدود، يتم تحديث المعاملات بشكل متكرر لتقليل  MSE. قاعدة التحديث لكل معامل β jهي 

حيث: 

                                       βj​=βj​−α∂βj​∂MSE​

 

• α هو معدل التعلم
• $\frac{\mathrm{\partial }\text{MSE}}{\mathrm{\partial }{𝛽}_{𝑗}}$ هو الاشتقاق الجزئي لـ MSE بالنسبة لـ ${𝛽}_{𝑗}$

تُكرر خطوات التدرج التنازلي حتى تتقارب دالة التكلفة إلى ادنى قيمةمما يؤدي إلى مجموعة مثلى من المعاملات لمعادلة متعدد الحدود.

الملخص

يمتد الانحدار متعدد الحدود على الانحدار الخطي من خلال ملاءمة معادلة متعدد الحدود للبيانات، مما يلتقط العلاقات غير الخطية. يفترض عدة افتراضات، بما في ذلك الخطية في المعاملات، الاستقلالية، تجانس التباين، الطبيعة في التوزيع، وعدم التعدد الخطي العالي. اختيار الدرجة الصحيحة لمتعدد الحدود يتطلب موازنة بين تعقيد النموذج وأدائه. تُستخدم دالة التكلفة، عادةً MSE، لتقليل دالة التكلفة باستخدام التدرج التنازلي أو تقنيات تحسين أخرى للحصول على النموذج الأفضل ملاءمة للبيانات.