Lesson 2 Flashcards
The neuronal code
קוד
פעילות שניתן לתאר בצורה בינארית. נגדיר את יחידת המידע
הזו, את ההחלטה שיקבל האדם כביט.
מרחב מסרים
מורכב ממספר מסרים - רצף ספציפי של תשובות כן/לא או מסלול מסוים בעץ ההחלטות. ככל שיש במרחב יותר סיגנלים, כך השפה תהיה עשירה יותר. הדבר יתבטא ביותר ענפים בעץ. מרחב המסרים יכול להוות עץ החלטות קומבינטורי. מספר השלבים תלוי באן ואס קובע את מספר השלבים בכל רמה. מסר הוא מסלול אחד לאורך העץ הזה.
n
מספר השאלות של כן/לא ברצף. מספר השלבים. למשל, בעץ עם שישה ענפים: 2^6 = 64
טלגפים חשמליים
תוצאה של מרחב מסרים. המסר מתורגם לשינוי מתח חשמלי למשל, קוד מורס.
s
מספר הענפים בכל רמה. האופציות האפשריות בכל החלטה.
מסר
מסלול אחד לאורך העץ הקומבינטורי במרחב המסרים.
Bit
ספרה בינארית (0/1), הוא כמות המידע הנדרש כדי לתת תשובה לשאלת כן או לא בודדת. אנו מודדים ומכמתים מידע על ידי ממוצע מספרי של ביטים במסר.
capacity
מאפיין של ערוץ תקשורת שישפיע על יעילות העברת המידע. ככל שהקפסיטי עולה, כך יש יכולות להעביר יותר מסרים בזמן קצר.
אנטרופיה לפי שאנון
אנטרופיה מקסימלית תתקבל כשהתוצאה של כל פריט היא שווה.
Pi
ההסתברות לקבל מסר מסוים. למשל סיכוי של חצי לקבל עץ, וסיכוי של חצי לקבל פאלי בהטלת מטבע הוגן.
H
בנוסחה עושים ממוצע משוקלל של כל האותיות (סיגנלים) באותה השפה. כך ניתן לדעת מה הקפסיטי של אותה שפה.
Predictability
מייצגת את האובדן של חוסר ודאות, כלומר אנטרופיה נמוכה יותר. אירועים נדירים (כאלה שההסתברות לקבל אותם נמוכה יותר) מספקים הכי הרבה מידע. באופן הפוך, נוירון שיורה תמיד, לא יספק לנו מידע חדש.
מערכות תקשורת כלליות
מתקבל גירוי חיצוני שצריך לעבור (מסר) לטרנסמיטר ומשם לרסיבר. אבל הרסיבר לא יקבל בדיוק את מה שיצא מהטרנסמיטר, בגלל רעש. בכל אירוע פיזיקלי יש רעש, ויש שונות בין הרעשים כתוצאה מגירויים שונים במערכות שונות. מהרסיבר, המסר יגיע ליעד.
מידע הדדי
כמה מידע עבר דרך המערכת: כמה התגובה מעידה על הגירוי.
I
מה הסיכוי שאס יקרה בהינתן אר, לעומת ההסתברות של אס לבד וגם של אר לבד. סוכמים את כל המצבים האפשריים של אס ושל אר.
P(s,r)
ההסתברות המשותפת של צפייה בתגובה אר יחד עם גירוי אס.
P(s), P(r)
ההסתברויות השוליות להתרחשות גירוי או תגובה בלבד.
joined probability
הסיכוי לתגובות מותנות שונה בחלק מהמקרים. מספק לנו יותר
אינפורמציה לגבי המתרחש בעולם האמיתי.