איך מחשב לומד לנקד עברית?
שלוש אותיות, שלוש מילים שונות. מה מלמדים אותנו הנקודות והקווים הקטנים, ומה גילינו כשספרנו כל סימן ניקוד בתנ״ך: 304,094 מילים. מאמר למתחילים.
הנה שלוש אותיות: ספר. איך קוראים אותן? אפשר סֵפֶר (ספר לקריאה), אפשר סַפָּר (מי שמסתפר אצלו), ואפשר סִפֵּר (סיפר סיפור). אותן אותיות, שלוש מילים. ההבדל כולו בכמה נקודות וקווים קטנים: הניקוד. במאמר הזה נראה מה הם, אילו דפוסים מסתתרים בהם, ואיך אפשר ללמד מחשב לנקד בעצמו.
מה זה ניקוד?
האותיות העבריות הן ברובן עיצורים. את התנועות מסמנים בסימנים קטנים סביב האות, והם נקראים ניקוד. כך הם נראים על האות ב:
| סימן | שם | הצליל | דוגמה |
|---|---|---|---|
| בָ · בַ | קמץ · פתח | אַ | בָּרָא |
| בֵ · בֶ | צירה · סגול | אֶ | מֶלֶךְ |
| בִ | חיריק | אִ | בִּי |
| בֹ · בוֹ | חולם | אוֹ | שָׁלוֹם |
| בֻ · בוּ | קובוץ · שורוק | אוּ | בָּרוּךְ |
| בְ | שווא | אֶ קצרה מאוד, או שקט | בְּרֵאשִׁית |
שימו לב לשני דברים. לחלק מהצלילים יש שני סימנים, כמו קמץ ופתח: פעם נשמעו אחרת, והיום הם נשמעים כמעט אותו דבר. ולפעמים אות עוזרת, כמו הו׳ בשָׁלוֹם. יש עוד נקודה אחת, הדגש, נקודה בתוך האות: היא הופכת את ב׳ הרפה לב׳ דגושה (ב ← בּ).
ספרנו כל תנועה בתנ״ך
כדי ללמוד איך הניקוד מתנהג עשינו דבר פשוט אבל גדול: לקחנו את כל התנ״ך המנוקד, 304,094 מילים, וספרנו כל סימן וסימן.
המנצח הוא השווא, שתי הנקודות הקטנות שלפעמים בכלל לא נשמעות. מיד אחריו הקמץ. יחד עם הפתח, צלילי ה״אַ״ לבדם הם בערך שליש מכל התנועות: העברית אוהבת ״אַ״. והנדיר ביותר? החטף קמץ, פחות מתנועה אחת מכל אלף.
שבעה דפוסים שמצאנו
1. השכנים מסגירים את התנועה
מי שמנחש תנועה בלי שום רמז בוחר בערך מבין תשע אפשרויות. אבל אם יודעים מה האות, מה התנועה שלפניה ומה האות שאחריה, נשארות בערך שתיים או שלוש. התנועות אינן אקראיות: השכנים מסגירים אותן. זה הסוד שעליו בנוי מנקד ממוחשב.
2. תנועות אוהבות להתחרז
מילים רבות חוזרות על אותו צליל: מֶלֶךְ, אֶרֶץ. וכשתנועה קצרה באה לפני אותיות הגרון א ה ח ע, היא נוטה להתאים את עצמה לחטף שאחריה: סגול לפני חטף סגול נפוץ פי 13 ממה שהיה במקרה, כמו בנֶאֱמָן. הבלשנים קוראים לזה הרמוניה של תנועות.
3. הכתיב השתנה עם הדורות
את הצליל ״אוֹ״ אפשר לכתוב בנקודה בלבד (קֹל) או עם ו׳ (קוֹל). בחמשה חומשי תורה הו׳ מופיעה רק בערך בשליש מהמקרים. בספרים שנהוג לתארך מאוחר יותר, כמו אסתר ודניאל, היא מופיעה ביותר ממחצית.
בלי שאיש תכנן זאת, הכתיב מספר לנו משהו על ההיסטוריה של הספרים.
4. מילים משתנות בסוף פסוק
בסוף פסוק, במקום שבו הקורא עוצר (״הפסק״), בערך מילה אחת מכל ארבע (25%) משנה את הניקוד שלה. השינוי הנפוץ ביותר: פתח שהופך לקמץ. מַיִם בתוך הפסוק הופך למָיִם בסופו.
5. כללים קטנים שאפשר לספור
האותיות בגד כפת מקבלות דגש ב־84% מהפעמים בתחילת מילה, אבל רק ב־15% מהפעמים מיד אחרי תנועה. ובערך 2,599 מילים מסתיימות ב״פתח גנוב״, כמו רוּחַ: את ה״אַ״ אומרים לפני האות האחרונה.
6. האות הבאה משנה את ו׳ החיבור
ו׳ החיבור מנוקדת בדרך כלל בשווא: וְ. שני דברים הופכים אותה לשורוק, וּ: האות הבאה היא ב, מ או פ (וּבֵין, וּמִן, וּפַרְעֹה), או שהאות הבאה מנוקדת בשווא בעצמה (וּלְיָמִים). שני המקרים האלה מסבירים כל ו׳ בשורוק בתנ״ך: 5,535 לפני ב, מ, פ ועוד 2,966 לפני שווא הם 8,501 — ולא מצאנו אף מופע אחד מחוץ לשניהם.
בכיוון ההפוך הכלל פחות מסודר, וכאן בדיוק מחשב נכשל. לפני ב, מ, פ השורוק מופיע ב־5,535 מתוך 5,685 מופעים, כ־97.4%, לאחר שהוצאנו את השם הפרטי וׇפְסִי (במדבר י״ג:י״ד) שהו׳ שלו אינה ו׳ חיבור; ב־150 הנותרים מופיע קמץ, כשההטעמה נופלת מיד אחרי הו׳, כמו תֹהוּ וָבֹהוּ (בראשית א׳:ב׳) — ואף לא פעם אחת, ב־488 מקרים, כשהמילה של הו׳ קשורה לבאה במקף. גם שווא לבדו אינו מספיק, שהרי ו׳ ההיפוך של הסיפור עומדת אף היא לפני שווא, ובפתח: וַיְהִי. ולא רק וׇפְסִי: גם וָוֵי (הווים שבעמודים) פותחת בו׳ שהיא חלק מהמילה, וההבחנה בינה לבין ו׳ החיבור היא חלק מהעבודה.
7. הטעמים מכריעים חלק מהניקוד
טעמי המקרא — הסימנים הקטנים שמעל המילים ומתחתן, שנושאים את הנגינה ומראים לקורא היכן לעצור — נתפסים בדרך כלל כמוזיקה ופיסוק. הם גם מכריעים חלק מהניקוד. המקרה החד ביותר הוא הדגש — הנקודה שבתוך האות בתחילת מילה. הדגש אינו תנועה; הוא מקשה את העיצור, והופך ו׳ בחזרה לב׳. אבל הוא הדבר הברור ביותר לספירה. אחרי מילה שנגמרת בעיצור הוא פשוט תמיד שם: ספרנו 29,109 מקרים, 100% עם הנקודה. אחרי מילה שנגמרת בתנועה זה נראה כמו הטלת מטבע, 56.5% מתוך 19,201. אבל זו אינה הטלת מטבע כלל. אם למילה הקודמת יש טעם מפסיק, הנקודה מופיעה ב־98.8% מהמקרים; אם יש לה טעם מחבר, רק ב־9.1%; וכששתי המילים קשורות במקף, 7.8%. הידיעה מה הנגינה מעלה את הניחוש מ־56.5% ל־95.2%.
וזה נכון גם לתנועות עצמן, לא רק לאותה נקודה. לקחנו כל מילה בארבעה ספרים שהמחשב לא קרא מעולם שאותיותיה מאפשרות יותר מקריאה אחת, ומיינו אותן לפי מה שהקריאות באמת נחלקות עליו. במקום שבו הן נחלקות רק בתנועות, ידיעת הטעמים מעלה את התשובה מ־72.95% ל־76.42% — רווח גדול יותר מאשר בדגש, שם הוא מ־81.20% ל־82.95%. שינוי ההפסק שבדפוס 4, פתח שהופך לקמץ, הוא בדיוק זה: תנועה, שנקבעת לפי המקום שבו הנגינה נחה.
זה הממצא החד ביותר שמצאנו, והוא משנה את המשמעות של ״מה שמחשב אינו יכול לדעת״. כשנותנים לתוכנה אותיות בלבד, חלק מהניקוד באמת אינו ניתן לניחוש — לא מפני שהעברית אינה ניתנת להכרעה, אלא מפני שהתשובה נכתבה בערוץ שמחקנו. בעלי המסורה הניחו את הנגינה ואת הניקוד באותה מערכת, והשניים מחזיקים זה את זה.
מה שרש״י כבר ידע
אנחנו ספרנו במחשב. רש״י ספר בראשו, לפני תשע מאות שנה, ובכ־700 מפירושיו הוא מדבר על הניקוד עצמו — על שמות הסימנים, על הדגש, ועל המקום שבו נופלת ההטעמה.
אחת ההערות האלה יכולנו לבדוק בדיוק. על כִּי רָבָּה (בראשית י״ח:כ׳) הוא כותב שכל רבה שבמקרא הטעם שלו למטה בבי״ת — חוץ מזה, שטעמו למעלה ברי״ש, מפני שכאן אין פירושו ״גדולה״ אלא ״כבר גדלה״. אז ספרנו את כל 48 הפעמים שהמילה מופיעה בתנ״ך. ב־36 ההטעמה על הבי״ת. שמונה קשורות למילה הבאה במקף ואין להן טעם משלהן. שלוש על ההי״א. ובדיוק אחת מוטעמת על הרי״ש — בראשית י״ח:כ׳. הוא טען טענה על כל פסוקי התנ״ך, בלי קונקורדנציה, והיא נכונה.
שאר הערותיו הן מאותו סוג, ואף אחת מהן אינה באמת על אותיות. קַשָּׁת מדגישה את השי״ן מפני שהיא שייכת למשקל בעלי המלאכה, כמו חַמָּר, גַּמָּל וצַיָּד. מילה מנוקדת כך מפני שהיא שם עצם, ואחרת מפני שהיא פועל. דגש יכול לסמן אות שעומדת במקום שתיים.
זה ההבדל בינו לבין התוכנה שלנו. אנחנו יכולים לומר לכם כל כמה זמן תנועה הולכת אחרי האות שלידה. הוא יכול היה לומר למה. כשבדקנו את שבעת הדפוסים שלנו על ספרים שהמחשב לא קרא מעולם, אלה שעזרו היו של מיקום ושל שכנים; אלה שעסקו בכתיב לא הוסיפו דבר, כי האותיות כבר אמרו אותו. מה שחסר הוא בדיוק מה שהיה לרש״י: לדעת מהי המילה.
איך אדם עושה את זה
קורא מיומן מנקד משפט חדש הרבה יותר טוב מהתוכנה שלנו. כדאי לדייק במה שהוא עושה, כי זה אינו גרסה מהירה יותר של ספירת אותיות. מיינו כל כתיב בתנ״ך שמאפשר יותר מקריאה אחת, לפי מה שהקריאות שלו באמת נחלקות עליו. התשובה התחלקה לשלושה חלקים, והם שלוש שאלות שונות.
1. איזו מילה זו? — 72.5% מהמקרים הקשים
רוב הכתיבים הדו־משמעיים אינם מילה אחת בשני ניקודים. הם מילים שונות. אדם הוא אָדָם, אֱדֹם או אֹדֶם. קורה היא קורת עץ או הפועל ״קורה״. שום דבר באותיות אינו מכריע ביניהם. מכריעים לפי הידיעה על מה המשפט מדבר — ולכן זה החלק שתוכנה הבנויה על כתיב לעולם לא תגיע אליו.
2. ממה היא בנויה? — השורש והמשקל
וכאן ההפתעה. קורא אינו נזכר במילה דומה ומעתיק את הניקוד שלה. הוא יודע את השורש, מזהה את המשקל שאליו נוצק, ובונה את הניקוד משניהם. מדדנו כמה שונות הפעולות האלה: לקיחת צורה אחרת של אותו שורש והעתקת הניקוד שלה מצליחה בערך במילה אחת ממאה. שָׁמַר, שׁוֹמְרִים ויִשְׁמֹר חולקים שורש ואינם חולקים כמעט שום תנועה.
זה בדיוק מה שרש״י עושה. קַשָּׁת מדגישה את השי״ן מפני שהיא שייכת למשקל בעלי המלאכה — כמו חַמָּר, גַּמָּל, צַיָּד. הוא אינו נזכר במילה. הוא נוקב בשם המשקל ובונה.
3. היכן היא עומדת? — 8.7%
השאר הוא מיקום: בסוף פסוק התנועות מתארכות, מקף קושר שתי מילים לאחת, ותחילית משנה את מה שבא אחריה. זה החלק שהאותיות והטעמים באמת מספרים לכם, וזה החלק שהתוכנה שלנו מצליחה בו הכי טוב.
ולא, כל זה אינו מצטרף לשלמות — גם לא אצל בני אדם. במחקר מוקפד אחד התבקשו שני מומחים דוברי עברית למצוא טעויות ידועות בטקסט שכבר הוגה בידי מומחים. האחד מצא 62% מהן והשני 43%, והם נחלקו לא פעם על מה נחשב טעות. בטקסט המוגה עצמו עדיין היו שגיאות. גם מסורות הקריאה נבדלות זו מזו. המיומנות אינה ״לא לטעות לעולם״, אלא לדעת באיזו משלוש השאלות אתם נמצאים, ולהרגיש מתי אינכם בטוחים.
איך מחשב לומד לנקד
מנקד הוא כלי שמוסיף ניקוד לטקסט עברי. המחשב אינו מבין עברית, אבל הוא יכול ללמוד מדפוסים, בדיוק אלה שמצאנו. המנקד הניסיוני שבנינו מנסה ארבעה צעדים, לפי הסדר:
- האם ראיתי את המילה הזאת ליד המילים האלה? האותיות ספר יכולות להיות ספר, ספר או סיפר, אבל אחרי ״לבית״ זה כמעט תמיד לְבֵית הַסֵּפֶר.
- האם ראיתי את המילה בכלל? אם כן, לוקחים את הקריאה הנפוצה שלה.
- האם זו מילה מוכרת עם תחילית? בעברית מדביקים מילים קטנות לתחילת המילה: ו, ה, ב, כ, ל, מ, ש. מורידים אותן, מנקדים את המילה ומחזירים אותן.
- מילה שלא ראינו מעולם? בעברית שורש ניצק לתוך משקל, ולכן מילה שלא פגשנו היא בדרך כלל משקל של מילה מוכרת עם אותיות שורש אחרות. מחפשים את המילה המוכרת באותו אורך שמתאימה בככל המקומות, מעתיקים ממנה את הניקוד, ומתקנים את הסוף לפי הסיומות שאנחנו כן מכירים. זה העלה את המילים הנכונות מ־3.8% ל־13.4% — מה שעדיין אומר שהוא שגוי הרבה יותר משהוא נכון, ולכן מילה מנוחשת לעולם אינה תשובה.
בנינו אחד, כניסוי. שני מספרים חשובים כאן, והם שונים מאוד זה מזה. בספר מקראי שלם שהוסתר ממנו בזמן הלמידה — זאת אומרת טקסט חדש לגמרי — הוא מנקד נכון לגמרי 66%–77% מהמילים ו־83%–89% מסימני הניקוד. זה המספר שחשוב. בטקסט תנ״ך ורש״י שכבר נמצא באתר הוא מגיע ל־99.97%, אבל זה זיכרון ולא ידיעה: שם הוא מצטט ממקור מנוקד שהוא כבר מכיר. הכלים הטובים ביותר כיום, הבנויים על מודלים גדולים של בינה מלאכותית, מגיעים לבערך 19 מילים מתוך 20.
המנקד אינו מפורסם באתר כרגע. הוא טוב בתנ״ך וחלש בכל השאר, ושתי הפסקאות הבאות מסבירות למה — וזה נראה לנו שווה כתיבה גם כשהכלי עצמו אינו מוכן.
אף מנקד אינו מושלם, גם לא הטובים ביותר — וגם בטקסטים שלפיהם בודקים אותם יש טעויות, כך שטענה של 100% בכלל לא הייתה ניתנת לבדיקה. לכן מנקד טוב מאפשר ללחוץ על כל מילה ולבחור קריאה אחרת: המחשב עושה את העבודה המשעממת, ואתם נשארים המורים.
שתי מגבלות ראוי לומר בפירוש, כי מדדנו את שתיהן. ראשית, הדפוסים שלמעלה מתארים את הניקוד היטב אבל ברובם אינם מנבאים אותו. בדקנו את כל שבעתם על ספרים שהתוכנה לא קראה מעולם: אלה שעוסקים במיקום ובשכנים עזרו מעט, ואלה שעוסקים בכתיב לא הוסיפו דבר, מפני שהאותיות כבר נשאו את המידע הזה. צירוף כל השבעה יחד היה גרוע יותר משימוש בטוב שבהם לבדו. שנית, כשהתוכנה פוגשת מילה שלא ראתה מעולם, התבנית הנכונה כבר נמצאת במילון שלה תחת מילה אחרת — ב־73.5% מהמקרים — והיא פשוט בוחרת את הלא נכונה. זה כל הפער, וכדי לסגור אותו צריך את מה שהיה לרש״י: לדעת את השורש ואת הצורה, לא לספור עוד אותיות.
והיא מכירה רק את עברית התנ״ך. תנו לה משפט מודרני והיא תענה בעברית מקראית, שלעיתים קרובות אינה התשובה הנכונה: קורה יוצא אצלה קוֹרָה, קורת עץ, בעוד שבעברית מודרנית הכוונה קוֹרֶה; לנחש יוצא לְנָחָשׁ במקום ״לנחש״. אלה אינם ניחושים גרועים — זו עברית מקראית נכונה במאה הלא נכונה. לעברית מודרנית עדיף המנקד של דיקטה.
סיכום וחידון קצר
הניקוד הוא הסימנים הקטנים שאומרים לנו איך לקרוא את האותיות. הנפוצים ביותר הם השווא והקמץ. והניקוד עוקב אחרי דפוסים, חזקים מספיק כדי שמחשב ינחש אותו נכון בערך 7 פעמים מתוך 10 בספר שלא ראה מעולם. נסו לענות לפני שאתם פותחים:
כמה מילים יכולות להיות האותיות ספר?
לפחות שלוש: סֵפֶר, סַפָּר, סִפֵּר.
איזו תנועה הכי נפוצה בתנ״ך?
השווא, 18.5% מכל סימני התנועה.
למה אותה מילה נראית אחרת בסוף פסוק?
כי היא ״בהפסק״, והתנועה שלה מתארכת: מַיִם ← מָיִם.
רוצים לחפש דפוסים בעצמכם? בחיפוש בתנ״ך אפשר לחפש גימטריה, דילוגי אותיות וראשי תיבות בכל ספרי התנ״ך.
מקורות
- הספירה: נוסח המסורה המנוקד (MAM) דרך ספריא, 304,094 מילים, ופירוש רש״י המנוקד (190,008 מילים).
- הדיוק של המנקד שלנו: נמדד על ספרים שלמים שהוצאו מהמילון (איוב, אסתר, רות, הושע), מבחן קשה והגון יותר מהסתרת פסוקים מפוזרים.
- הכלל שבדפוס 6, והקמץ לפני ההטעמה: דקדוק גזניוס, §104.
- הדיוק של הכלים המתקדמים: Nakdimon (Gershuni & Pinter) ו־Dicta Nakdan (Shmidman et al.).