מבוא ללמידת מכונה

ברוכים הבאים ליחידה "מבוא לרשתות נוירונים ולמידה עמוקה", בה נצלול אל ליבת אחד התחומים המרתקים והמשפיעים ביותר בלמידת מכונה. יחידה זו תספק לכם את היסודות להבנת הארכיטקטורה והעקרונות המניעים רשתות נוירונים, מהמודל הבסיסי ועד למנגנוני הלמידה המורכבים.

הפרספטרון: אבן הבניין הראשונה

הפרספטרון הוא המודל הפשוט ביותר של נוירון מלאכותי, שפותח בשנות ה-50, ומהווה את הבסיס להבנת רשתות נוירונים מורכבות יותר.

פרספטרון (Perceptron): מודל חישובי המדמה נוירון ביולוגי, המקבל כניסות, מכפיל אותן במשקולות, מסכם ומעביר דרך פונקציית הפעלה (מדרגה) לקביעת הפלט. משמש לסיווג בינארי.

מבנה ועקרון פעולה:

הפרספטרון מקבל וקטור כניסות (x) ולו וקטור משקולות (w). מתבצע סיכום משוקלל: \(z = \sum_{i} w_i x_i + b\) (כאשר b הוא הטיה). התוצאה עוברת דרך פונקציית הפעלה (מדרגה) שמחליטה על הפלט (0 או 1).

מגבלות:

הפרספטרון מסוגל לסווג רק בעיות ניתנות להפרדה לינארית (Linearly Separable). הוא אינו יכול לפתור בעיות כמו בעיית ה-XOR, מה שהוביל לתקופה של קיפאון במחקר רשתות נוירונים.

רשתות נוירונים רב-שכבתיות (MLP): מעבר למגבלות

כדי להתגבר על מגבלות הפרספטרון, פותחו רשתות נוירונים רב-שכבתיות, המאפשרות למידה של יחסים לא לינאריים מורכבים.

רשת נוירונים רב-שכבתית (Multi-Layer Perceptron - MLP): רשת נוירונים המורכבת משכבת קלט, שכבת פלט ולפחות שכבה נסתרת אחת. כל שכבה מורכבת מנוירונים המחוברים לנוירונים בשכבות הסמוכות.

מבנה:

שכבת קלט (Input Layer): מקבלת את הנתונים הגולמיים.
שכבות נסתרות (Hidden Layers): שכבות הביניים שבהן מתבצע עיקר העיבוד והלמידה. כל נוירון בשכבה נסתרת מקבל קלט מכל הנוירונים בשכבה הקודמת.
שכבת פלט (Output Layer): מייצרת את התחזית הסופית של הרשת (למשל, סיווג, רגרסיה).

פונקציות הפעלה: הוספת אי-לינאריות

פונקציות הפעלה הן מרכיב קריטי ברשתות נוירונים, המאפשר להן ללמוד יחסים לא לינאריים.

פונקציית הפעלה (Activation Function): פונקציה לא לינארית המופעלת על הפלט המסוכם של נוירון. תפקידה להכניס אי-לינאריות למודל, ובכך לאפשר לרשת ללמוד ייצוגים מורכבים של הנתונים.

חשיבות האי-לינאריות:

ללא פונקציות הפעלה לא לינאריות, רשת נוירונים רב-שכבתית תהיה שקולה לפרספטרון יחיד, כלומר, היא תוכל ללמוד רק יחסים לינאריים. פונקציות אלו מאפשרות לרשת למפות קלטים למרחבי תכונות מורכבים יותר.

פונקציית סיגמואיד (Sigmoid)

ממפה קלטים לטווח (0,1). שימושית בשכבת פלט לסיווג בינארי. סובלת מבעיית גרדיאנט נעלם עבור קלטים קיצוניים.

פונקציית טאנגנס היפרבולי (Tanh)

ממפה קלטים לטווח (-1,1). ממוקדת סביב 0. גם היא סובלת מבעיית גרדיאנט נעלם.

פונקציית ReLU (Rectified Linear Unit)

מחזירה את הקלט אם חיובי, ואפס אחרת (\(f(x) = \max(0, x)\)). פופולרית בשכבות נסתרות בשל יעילותה ופתרון בעיית הגרדיאנט הנעלם, אך סובלת מ"נוירונים מתים".

התפשטות אחורית (Backpropagation): מנגנון הלמידה

התפשטות אחורית היא האלגוריתם המרכזי שבאמצעותו רשתות נוירונים לומדות להתאים את המשקולות שלהן כדי למזער את שגיאת החיזוי.

התפשטות אחורית (Backpropagation): אלגוריתם המשמש לאימון רשתות נוירונים על ידי חישוב הגרדיאנט של פונקציית ההפסד ביחס לכל המשקולות ברשת, והפצת גרדיאנטים אלו אחורנית דרך השכבות.

התפשטות אחורית: זהו לב ליבה של הלמידה ברשתות נוירונים. הבנה קונספטואלית של אלגוריתם זה חיונית, שכן הוא מאפשר לרשתות עמוקות ללמוד ייצוגים מורכבים ולהשיג ביצועים מרשימים במגוון רחב של משימות. בלעדיו, אימון רשתות עמוקות היה בלתי אפשרי.

עקרונות פעולה (קונספטואלי):

מעבר קדימה (Forward Pass): הרשת מחשבת תחזית עבור קלט נתון.
חישוב שגיאה (Error Calculation): מחושבת פונקציית הפסד המשקפת את ההבדל בין התחזית לפלט האמיתי.
מעבר אחורה (Backward Pass): השגיאה מופצת אחורנית. מחושב הגרדיאנט של פונקציית ההפסד ביחס לכל משקל באמצעות כלל השרשרת.
עדכון משקולות (Weight Update): המשקולות מעודכנות בכיוון המנוגד לגרדיאנט (עם קצב למידה) כדי להקטין את השגיאה. התהליך חוזר על עצמו.

שאלות לדיון

השוו בין פרספטרון לרשת נוירונים רב-שכבתית (MLP) בהיבטים של מבנה, יכולות ומגבלות.
הסבירו מדוע פונקציות הפעלה לא לינאריות הן קריטיות ליכולתן של רשתות נוירונים ללמוד ייצוגים מורכבים, ומה היה קורה בלעדיהן.
ת
Spotted an error or something missing?