יחידה 1: מבוא לכריית מידע

ברוכים הבאים ליחידת המבוא לקורס "כריית מידע" (20595). יחידה זו נועדה להכיר לכם את עולם כריית המידע, להבין את מטרותיו העיקריות ואת מגוון יישומיו בעולם האמיתי. נסקור את הרקע לצורך בכריית מידע, את השלבים המרכזיים בתהליך ואת המשימות והטכניקות הבסיסיות שבהן משתמשים כדי לחלץ תובנות מנתונים.

מהי כריית מידע ומדוע היא חשובה?

בעידן הדיגיטלי, ארגונים צוברים כמויות אדירות של נתונים בכל רגע נתון. נתונים אלו, כשלעצמם, אינם בעלי ערך רב. כריית מידע היא התהליך המאפשר להפוך את הנתונים הגולמיים לידע בעל ערך, תובנות ודפוסים שיכולים לסייע בקבלת החלטות עסקיות, מדעיות ואחרות.

הצורך בכריית מידע נובע מהאתגר של "הצפת מידע" – היכולת לאסוף נתונים עולה בהרבה על היכולת לנתח אותם ולהפיק מהם תועלת. כריית מידע מספקת את הכלים להתמודד עם אתגר זה, ומאפשרת לארגונים:

• לשפר את קבלת ההחלטות העסקיות (למשל, זיהוי לקוחות פוטנציאליים).
• לגלות ידע חדש ובלתי צפוי (למשל, קשרים בין מוצרים).
• לחזות מגמות עתידיות (למשל, תחזית מכירות).
• לזהות חריגים ופעילויות חשודות (למשל, הונאות).

שלבי תהליך כריית המידע

תהליך כריית המידע אינו פעולה חד-פעמית אלא תהליך איטרטיבי ומובנה, הכולל מספר שלבים מרכזיים. מודל CRISP-DM (Cross-Industry Standard Process for Data Mining) הוא אחד המודלים הנפוצים ביותר לתיאור שלבים אלו:

• הבנת העסק/הבעיה (Business Understanding)

  השלב הראשון והקריטי ביותר. יש להבין היטב את מטרות הפרויקט, את הבעיה העסקית שיש לפתור, ואת הקריטריונים להצלחה. מה רוצים ללמוד מהנתונים?

• הבנת הנתונים (Data Understanding)

  איסוף הנתונים הראשוני, חקירתם, זיהוי איכות הנתונים וגילוי תובנות ראשוניות. מהם הנתונים הזמינים? מה המשמעות שלהם?

• הכנת הנתונים (Data Preparation)

  זהו לרוב השלב הארוך והמאתגר ביותר. הוא כולל ניקוי נתונים (טיפול בערכים חסרים, רעש, חריגים), אינטגרציה (שילוב נתונים ממקורות שונים), טרנספורמציה (נרמול, אגרגציה, בניית מאפיינים חדשים) ובחירת נתונים רלוונטיים.

• כריית נתונים (Data Mining)

  יישום אלגוריתמי כריית מידע על הנתונים המוכנים. בשלב זה בוחרים את טכניקות הכרייה המתאימות (סיווג, אשכול, חוקי אסוציאציה וכו') ומריצים אותן.

• הערכה (Evaluation)

  בחינת המודלים שהתקבלו והערכתם ביחס למטרות העסקיות. האם המודל אמין? האם הוא עונה על הבעיה שהוגדרה? האם התובנות שהתקבלו חדשות ובעלות ערך?

• פריסה/הטמעה (Deployment)

  הטמעת המודל או התובנות שהתקבלו בסביבה התפעולית של הארגון. זה יכול להיות דו"ח, מערכת המלצות או מודל חיזוי שרץ באופן שוטף.

משימות וטכניקות מרכזיות בכריית מידע

כריית מידע כוללת מגוון רחב של משימות, הנחלקות באופן כללי לשתי קטגוריות עיקריות: למידה מונחית (Supervised Learning) ולמידה בלתי מונחית (Unsupervised Learning).

משימות נפוצות:

• סיווג (Classification)

  סיווג: משימה של למידה מונחית שמטרתה לחזות את הקטגוריה (מחלקה) שאליה שייכת דוגמה חדשה, על בסיס דוגמאות מסומנות קודמות. דוגמאות: זיהוי דואר זבל, אבחון מחלות, חיזוי נטישת לקוחות. אלגוריתמים נפוצים: עצי החלטה, מודלים בייסיאניים, מכונות וקטורים תומכים (SVM).

• רגרסיה (Regression)

  רגרסיה: משימה של למידה מונחית שמטרתה לחזות ערך מספרי רציף (ולא קטגוריה). דוגמאות: חיזוי מחירי בתים, חיזוי טמפרטורה, חיזוי מכירות.

• אשכול (Clustering)

  אשכול: משימה של למידה בלתי מונחית שמטרתה לקבץ אובייקטים דומים יחד לקבוצות (אשכולות), כך שאובייקטים באותו אשכול דומים יותר זה לזה מאשר לאובייקטים באשכולות אחרים. דוגמאות: פילוח לקוחות, זיהוי קהילות ברשתות חברתיות. אלגוריתמים נפוצים: K-Means, DBSCAN.

• חוקי אסוציאציה (Association Rules)

  חוקי אסוציאציה: משימה של למידה בלתי מונחית שמטרתה לגלות קשרים חזקים בין פריטים בסט נתונים גדול. דוגמאות: "לקוחות שקונים חיתולים וגם מגבונים, נוטים לקנות גם בירה" (ניתוח סל קניות). אלגוריתמים נפוצים: Apriori, FP-Growth.

יישומים ואתגרים

כריית מידע מיושמת במגוון רחב של תחומים:

• שיווק ומכירות: פילוח לקוחות, מערכות המלצה, זיהוי לקוחות בסיכון נטישה.
• פיננסים: זיהוי הונאות, הערכת סיכונים, מסחר אלגוריתמי.
• רפואה: אבחון מחלות, גילוי תרופות, התאמה אישית של טיפולים.
• חינוך: זיהוי תלמידים בסיכון, התאמת חומרי למידה.
• אבטחת סייבר: זיהוי אנומליות ותקיפות.

לצד היתרונות הרבים, כריית מידע מציבה גם אתגרים משמעותיים:

• פרטיות ואתיקה: שימוש בנתונים אישיים מעלה חששות לגבי פרטיות ושימוש לרעה.
• איכות נתונים: "זבל נכנס, זבל יוצא" – איכות הנתונים משפיעה ישירות על איכות התובנות.
• הטיה (Bias): מודלים יכולים לשקף ולהגביר הטיות הקיימות בנתוני האימון.
• הסברתיות (Explainability): לעיתים קשה להבין מדוע מודל מסוים הגיע למסקנה מסוימת ("קופסה שחורה").

שאלות לדיון

• הסבר את ההבדל בין כריית מידע לתהליך גילוי ידע במסדי נתונים (KDD). מדוע חשוב להבחין ביניהם?
• תיאר את השלבים המרכזיים בתהליך כריית המידע לפי מודל CRISP-DM. תן דוגמה קצרה לכל שלב בהקשר של פרויקט חיזוי נטישת לקוחות.
• השווה בין משימות הסיווג והאשכול בכריית מידע. ציין לפחות שני הבדלים מהותיים ושני יישומים אופייניים לכל אחת.
• באיזה אופן יכולה כריית מידע לתרום לארגון קמעונאי גדול? תן שלוש דוגמאות ספציפיות למשימות כריית מידע שניתן לבצע, וציין את הטכניקה המתאימה לכל משימה.

נקודות לתשובת מודל

• KDD מול כריית מידע: KDD הוא תהליך הוליסטי הכולל את כל השלבים מהנתונים הגולמיים ועד לידע המיושם; כריית מידע היא השלב הספציפי של הפעלת אלגוריתמים לגילוי דפוסים בנתונים מוכנים. ההבחנה חשובה להבנת ההקשר הרחב והדרישות המוקדמות לכרייה מוצלחת.
• שלבי CRISP-DM: יש לפרט את ששת השלבים (הבנת העסק, הבנת הנתונים, הכנת הנתונים, כרייה, הערכה, פריסה) ולתת דוגמה קונקרטית לכל שלב בהקשר של חיזוי נטישה (למשל, הבנת העסק: הפחתת נטישה ב-X%; הכנת נתונים: טיפול בערכים חסרים של גיל לקוח; כרייה: שימוש בעץ החלטה; הערכה: בדיקת דיוק המודל; פריסה: הטמעת המודל במערכת CRM).
• סיווג מול אשכול:
  • הבדל מהותי 1 (תוויות): סיווג - למידה מונחית, דורש תוויות אימון; אשכול - למידה בלתי מונחית, אינו דורש תוויות.
  • הבדל מהותי 2 (מטרה): סיווג - חיזוי קטגוריה ידועה מראש; אשכול - גילוי מבנים וקבוצות לא ידועות מראש.
  • יישומים לסיווג: זיהוי הונאות, אבחון רפואי.
  • יישומים לאשכול: פילוח לקוחות, זיהוי קהילות.
• כריית מידע בארגון קמעונאי:
  • משימה 1: חיזוי אילו לקוחות ינטשו (סיווג). טכניקה: עצי החלטה / רגרסיה לוגיסטית.
  • משימה 2: זיהוי קבוצות לקוחות בעלי מאפייני קנייה דומים (אשכול). טכניקה: K-Means.
  • משימה 3: גילוי קשרים בין מוצרים הנקנים יחד (חוקי אסוציאציה). טכניקה: Apriori.