חלוקת קול למילים לתוכנה פראת

החוקר, סבסטיאן, עורך מחקר בתחום לקויות למידה.
מטרתו של המחקר היא לאבחן ולבדוק את ההבדלים בין אנשים בעלי לקויות למידה , לאלו שאין להם כל לקות למידה.

ההבדלים שנמדדים הם הבדלים בקריאה, בכדי לעמוד על ההבדלים הללו נערך ניסוי-  הניסוי בודק את הפרשי הזמן בין הקריאה השקטה (קריאה עם העיניים) לבין הקריאה בקול רם.
הניסוי נערך באופן הבא – הנבדקים קוראים בקול רם משפטים וישנו מכשיר הרושם את תנועות העיניים של הנבדקים בזמן הקריאה. כך ניתן לדעת על מה הסתכל הנבדק באותו זמן שקרא בקול רם מילה מסויימת.
המנחה, מקבל מהניסוי את קבצי הקול של המשפטים הנאמרים ע”י הנבדקים ואת רישומי תנועות העיניים שלהם. בכדי להגיע למסקנות כלשהן המנחה צריך לדעת היכן בקובץ הקול נאמרה איזו מילה.   בכדי לדעת היכן בקול נאמרה מילה, על המנחה לשבת ולחלק את קבצי הקול- לשים חוצצים בין המילים בכדי לדעת היכן מתחילה מילה והיכן מסתיימת.
החלוקה הידנית הזו גוזלת זמן רב ויקר, כל משפט צריך לשמוע מספר פעמים על מנת לשים את החוצץ בדיוק המירבי.

הפרוייקט שלנו בא להקל על המנחה ולחסוך לו זמן יקר, אנו נבנה  ונממש אפליקציה שתחלק את המשפטים במקומו בצורה אוטומטית.
המשפטים שאיתם המנחה עובד הינם קבועים, ישנם כ-140 משפטים. את המפשטים הללו מקריאים הנבדקים, אנחנו יודעים לאילו משפטים עלינו לצפות.

Voice sample
Voice sample

קיים מסד נתונים מסויים המכיל את קבצי הקול המחולקים של מספר מצומצם של נבדקים שחולקו בצורה ידנית. קיימת תכנת עזר שיכולה לפרק את הקול למרכיביו ולתת לנו ערכים של המאפיינים הללו.

הפתרון:

בעזרת רשת נוירונים BackPropegation שמקבלת מאפינים על הקובץ קול מהתוכנה Praat וכן כמה דוגמאות מהחוקר, התוכנה יכולה ללמוד מאפיינים סטיסטים שאפשרו לה לבצע את החלוקה למילים בקבצי קול חדשים שניתן לה.

סטודנטים:
1.מיכאל קליינזיט  –  [email protected]
2.מריה אורצקי – [email protected]

Documentation (Hebrew)           Presentation A        Presentation B           Source Code            Praat

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Hananel Hazan , חננאל חזן , Activities, Academic Publications , Open Source Programs

Verified by MonsterInsights