סיכום הרצאה 1 • ד"ר איגור קליינר
בלשנות חישובית (NLP)
1. מה זה בכלל NLP? 🤔
עיבוד שפה טבעית (Natural Language Processing) הוא התחום שמלמד מחשבים להבין, לנתח ולייצר שפה אנושית.
המטרה: להפוך טקסט חופשי (ספרים, מיילים, ציוצים) לייצוג מתמטי שהמחשב יכול לעבוד איתו.
טקסט גולמי (Input)
←
אלגוריתם NLP (Process)
←
תובנה עסקית (Output)
2. עידן הדאטה (Zettabytes!)
אנחנו טובעים במידע. עד 2026 צפויים להיווצר מעל 175 Zettabytes של מידע.
אבל יש כאן "קאץ'" קטן:
Structured vs. Unstructured Data
Structured (מובנה): טבלאות אקסל, מסדי נתונים (SQL). קל לניתוח, אבל מהווה רק כ-15% מהמידע.
Unstructured (לא מובנה): טקסטים, תמונות, וידאו, מיילים. זהו 85% מהמידע בארגון, והוא "בלגן" אחד גדול.
בקיצור: רוב המידע בעולם הוא כמו החדר של מתבגר – מלא דברים חשובים, אבל שום דבר לא מסודר במקום.
⚠️ חוק הברזל: Garbage In, Garbage Out
לא משנה כמה המודל שלכם מתוחכם (אפילו אם זה המודל הכי חדש של גוגל) – אם הדאטה שלכם "מלוכלך" או לא איכותי, התוצאות יהיו חסרות ערך.
3. למה זה טוב? מקרי בוחן
IBM Watson & Jeopardy 🧠
ווטסון ניצח את אלופי הטריוויה לא בגלל שהוא "ידע" את התשובות, אלא בגלל יכולת NLP מתקדמת: הוא ניתח את השאלה (שהיא חידה לשונית), חיפש במאגר עצום, ונתן תשובה בהסתברות גבוהה.
eHarmony (שידוכים) ❤️
במקום חיפוש ידני, האלגוריתם מנתח שאלוני עומק (טקסט) ומבצע אופטימיזציה למציאת התאמה. זהו שימוש ב-Data Science כדי לחזות הצלחה במערכת יחסים.
4. ניתוח סנטימנט (רגשות)
אחת המשימות הנפוצות: האם הטקסט חיובי, שלילי או ניטרלי?
מקרה הבוחן של נוקיה
מתוך 1338 ציוצים על נוקיה:
🟢 29 חיוביים
🔴 4 שליליים
⚪ 1305 ניטרליים (97%)
הלקח: רוב המידע ברשת הוא "רעש" (ניטרלי). יש בעיה קשה של חוסר איזון (Class Imbalance). דיוק (Accuracy) הוא מדד משקר במקרים אלו.
הפרדוקס האירי 🇮🇪
בבחירות באירלנד, המועמד שהוזכר הכי הרבה בטוויטר (Enda Kenny) היה בעל סנטימנט שלילי מאוד. מסקנה: כמות אזכורים ≠ אהדה.
5. משימות מרכזיות ב-NLP
1. Named Entity Recognition (NER)
זיהוי וסיווג ישויות בתוך טקסט. הנה דוגמה איך המחשב "רואה" את הטקסט:
החברה Google הודיעה כי ב-2024 תפתח מרכז חדש ב-תל אביב.
2. Information Extraction (IE)
הפיכת טקסט לא מובנה לטבלה מסודרת. למשל: לקחת כתבה פיננסית ולהוציא ממנה: מי קנה את מי, בכמה כסף, ומתי.
3. Part-of-Speech (POS) Tagging
זיהוי התפקיד התחבירי של כל מילה: שם עצם, פועל, תואר. (חשוב כדי להבין מי עשה מה למי).
6. למה זה כל כך קשה? (Ambiguity)
שפה טבעית היא דו-משמעית ומלאת ניואנסים. המחשב מתקשה איפה שאנחנו מבינים אינטואיטיבית.
דו-משמעות לקסיקלית: המילה "בנק" (מוסד כספי או ספסל?).
דו-משמעות תחבירית: "ראיתי את האיש עם המשקפת". (האם המשקפת עלי, או עליו?).
סרקזם ואירוניה: המכשול הגדול ביותר של המכונה.
מרצה: "שתי שלילות יוצרות חיוב, אבל שני חיובים לא יוצרים שלילה". סטודנט מהסוף: "כן, בטח..."
7. מבט לעתיד: 2016 מול 2026
✅ פתור / חזק
זיהוי ספאם
POS Tagging
NER
תרגום מכונה
🚧 עדיין אתגר
הבנת הקשר עמוק
סרקזם מורכב
מניעת "הזיות"
הסקה לוגית
🔥 5 דברים שחייבים לזכור למבחן
Structured vs. Unstructured: רוב המידע בעולם (85%) הוא טקסט לא מובנה, והאתגר הוא להפוך אותו למובנה.
ניקוי דאטה הוא קריטי: Garbage In, Garbage Out. איכות הנתונים חשובה יותר מהמודל.
Ambiguity (עמימות): הבעיה המרכזית ב-NLP. מילים משנות משמעות לפי הקשר.
NER (זיהוי ישויות): הטכניקה שהופכת טקסט ל"דאטה" ע"י זיהוי שמות, מקומות וארגונים.
סנטימנט אינו מושלם: היזהרו מ-Class Imbalance ומחוסר היכולת לזהות סרקזם.
🧠 בחן את עצמך: האם אתה מוכן?
לחץ על התשובה הנכונה וקבל משוב מיידי
1. לפי ההרצאה, מהו אחוז המידע הלא-מובנה (Unstructured) הקיים בארגונים?
א. כ-15%
ב. כ-50%
ג. כ-85%
ד. כ-99%
תשובה נכונה: ג' (85%)
רוב המידע בארגונים הוא טקסט חופשי, תמונות ומיילים שאינם מסודרים בטבלאות. זהו האתגר הגדול של ה-Big Data.
2. מדוע המודל לניתוח סנטימנט בבחירות באירלנד טעה לגבי המועמד המוביל?
א. לא היו מספיק נתונים
ב. המודל לא ידע אנגלית
ג. כמות אזכורים גבוהה פורשה בטעות כאהדה חיובית
ד. הטוויטר קרס בזמן הבחירות
תשובה נכונה: ג'
היו המון אזכורים (Volume) אך הסנטימנט היה שלילי. המודל בלבל בין "רעש" (Buzz) לבין "תמיכה" אמיתית.
3. מהי המטרה העיקרית של NER (Named Entity Recognition)?
א. לתרגם טקסט לשפה אחרת
ב. לזהות ולסווג אובייקטים בעולם האמיתי (אנשים, ארגונים, תאריכים)
ג. לבדוק שגיאות כתיב
ד. לזהות את מבנה המשפט (נושא ונשוא)
תשובה נכונה: ב'
המטרה היא להוציא ישויות מוגדרות מתוך הטקסט ולהפוך אותן למידע מובנה (Structured Data).