Category: deafness

Speech to Text in Hebrew

Yesterday evening I experimented with two STT (speech to text) services – Live Transcribe and WebCaptioner.

I operated both of them in a meeting whose language was Hebrew. The meeting included a lecture in a hall and remote connection via Zoom. I elected to connect via Zoom.
Live Transcribe was operated on a tablet, which evasdropped on my laptop via speakers+microphone, and WebCaptioner was operated on a browser running on my laptop. Zoom ran on my laptop as an application. Both STT services were setup to recognize Hebrew speech.

My finding was that most of the time, the services did not deliver the goods. They emitted Hebrew words without grammar and out of the meeting’s context. However, there were moments in which they worked correctly.
I also noticed that when the services did not work correctly, each of them had different output. When they worked correctly, the texts they produced were similar to each other.

During the meeting, the lecturers did not use a wireless microphone located near their mouths. They stood at different distances from the microphone. When they stood near the microphone, the services worked better than when the lecturers stood far away from the microphone.
In “worked better”, I mean that the services continuously emitted text, rather than long periods of no activity with interspersed short text segments.

The above confirms what I found long time ago – STT services need to receive the same treatment as the HOH (hard of hearing people). Just as environmental noises interfere with HOH ability to understand speech, they interfere also with STT services.

המרת דיבור לטקסט בעברית

אתמול בערב עשיתי ניסוי ב-Live Transcribe וב-WebCaptioner.

הפעלתי את שתיהן במפגש שהתקיים בעברית. המפגש כלל הרצאה באולם + אפשרות להתחבר דרך זום. בחרתי להתחבר דרך זום.
ה-Live Transcribe הופעל על טאבלט שצותת ללאפטופ באמצעות רמקולים+מיקרופון, ואילו WebCaptioner הופעל בדפדפן על אותו הלאפטופ שעליו זום רץ כאפליקציה. שתי התוכנות כוונו לזהות דיבור בעברית.

הממצא שלי היה שרוב הזמן שתי התוכנות לא סיפקו את הסחורה. הן פלטו מילים עבריות ללא תחביר וללא קשר עם נושא המפגש. עם זאת היו רגעים שבהם הן עבדו נכון.
שמתי לב גם שכשהתוכנות לא עובדות נכון, כל אחת מוציאה פלט אחר. כשהן עובדות נכון, הטקסטים שהן מוציאות דומים זה לזה.

במפגש, המרצים לא השתמשו במיקרופון אלחוטי שנמצא קרוב מאוד לפה שלהם, אלא היו עומדים במרחקים משתנים מהמיקרופון. כשעמדו קרוב למיקרופון, התוצאות היו יותר טובות מאשר כשהם עמדו רחוק ממנו.
ב-“יותר טובות” אני מתכוון לכך שהתוכנות פלטו כל הזמן טקסט, במקום שתיקות ארוכות עם קטעי טקסט קצרים מפעם לפעם.

זה מאשר את הממצא שעליתי עליו לפני הרבה זמן – צריך להתייחס לתוכנות לזיהוי דיבור ממוחשב כמו אל כבדי שמיעה. כמו שרעשי סביבה מפריעים להם מאוד להבין דיבור, גם לתוכנות רעשי סביבה מפריעים מאוד.

Caption, for the deaf and HoH, a webinar streamed from Zoom to YouTube

Are you organizing a Zoom webinar and you need to both stream it to YouTube and provide real time closed captions for making it accessible to the deaf and Hard of Hearing?
Have you found, to your horror, that you do not know where to start?

Well, the following links will help you.

Additional links about making Zoom meetings and webinars accessible.

I feel psychologically unsafe when working in big corporations

Three times during my career, I worked in big corporations.

1. Intel – Haifa, Israel

First time, I worked in the Intel design center in Haifa, Israel. At the time, unlike today, the operations in Haifa were small.

I left work to pursue my M.Sc. after five and half years, during which time the operations in Haifa grew to employ hundreds of people.

With hindsight, it turned out that there was also a manager who wanted me out of Intel due to his own reasons.

2. SanDisk – Kfar Sava, Israel

Second time, I worked in SanDisk, Kfar Sava, Israel.

I noticed that I feel anxious all the time while I was working there. I left the job after half a year.

Among other things, I got into a serious disagreement with a manager in another unit about a problem, whose solution was critical to the success of an assignment that I got.

Reflections

Before accepting the job offer from Google Ireland (see below), I reviewed my experiences in Intel and SanDisk and made a list of recommendations how to improve my chances to be successful in Google.

One of the recommendations was to identify a high ranking manager, who is interested at helping smart deaf people succeed in their jobs in Hi-Tech companies, and who can advocate for me in case of misunderstandings among me and managers in remote units.

3. Google – Dublin, Ireland

Third time, I worked in Google Ireland. No high ranking manager was available to advocate for me as needed. I again was anxious all the time. I left the job after three and half months.

I chose to leave the job in lieu of accepting a demand that I apologize for a harsh but non-personal expression, which I said during a discussion about an accessibility problem in an American bank, which worked with Google.

I knew, without using the term psychological safety, that if I apologize I would not be able to feel psychologically safe if I ever have to point out problems with proposed plans or designs.

Background anxiety

The unending anxiety that I felt while working in SanDisk and Google was about fear of offending managers in remote units, whom I did not know personally, but with whom I had to interact to fulfill my work duties. I could not be confident that I would have the support of my own bosses if there is any problem with remote managers.

Now there is a research pointing out what I was missing during my work in SanDisk and Google. Ironically, the research was performed in Google about a year after I left the company.

High-Performing Teams Need Psychological Safety. Here’s How to Create It

The five keys to a successful Google team

An earlier version of this article was published in LinkedIn as: Psychological Safety – the reason why I did not survive in big corporations

Information on notetaking in events

The following are links to documents about notetaking in events in Israel. The documents are in Hebrew.

דלעיל מופיעים קישורים למסמכים על תמלול באירועים בישראל. המסמכים כתובים בעברית.

Update from May 10, 2022: the notetaker Tal Hyam has a blog about notetaking and transcribing (first link below). The blog is written in Hebrew. I highly recommend that you read the article about notetaking in events (second link below):

עדכון מ-10 במאי 2022: המתמלל טל חי-עם פתח בלוג על תמלול (קישור ראשון דלעיל). הבלוג כתוב בעברית. מומלץ שתקראו את המאמר על תמלול באירועים (קישור שני דלעיל).

How to manage money before registration of the Hamakor nonprofit

Hamakor – an Israeli nonprofit for Free Software and Open Code was founded at 2003 and one of its goals is to help deal with money when organizing various activities around Free Software.

Before founding Hamakor, people resorted to other solutions. In one exhibition, we wanted to distribute Linux installation CD-ROMs to the crowd. However, we wanted those CD-ROMs to reach only people who have a serious intent to install Linux. A way to ensure it was to require them to donate money in exchange for their CD-ROM. However, if we collect money, we must issue receipts and do bookkeeping.

Truly Yours had the brilliant idea of inviting other nonprofits to send a representative to collect the donations and issue receipts. It was a win-win-win solution. We get someone to issue receipts and sweat over the bookkeeping. The nonprofits get money for their operations. The people, who paid for their CD-ROMs, treat them seriously.

One of the nonprofits was the Association of the Deaf in Israel.

Thank you letter from the Association of the Deaf in Israel
Thank you from the Association of the Deaf in Israel

Are saccades (rapid eye movements) synchronized to speech during lipreading?

Now I am reading the book “Visual Thinking for Design” by Colin Ware (ISBN 978-0-12-370896-0).  The book starts by describing the way the brain processes visual information.  Essentially, the brain processes it chunk by chunk, where the chunks are separated by saccades (rapid eye movements).

Since my V2V project requires finding a way to translate auditory information into visual information for processing by the brain, I’m looking also for the corresponding information about the way a brain processes auditory information.

One question, which arose in my mind, as I am reading the aforementioned book is as follows.

Assume a hearing (or hard of hearing) lipreader, who follows a speech by listening and uses lipreading as an auxiliary aid to filter out environmental noises and other speakers.  Given that the lipreader’s eyes perform saccades as usual, are the saccades synchronized to times at which the speaker produces vowels rather than consonants?

And would the saccades still by synchronized to vowel production periods also for a deaf lipreader?

What to do if the notetaker’s mom passes on few minutes before the meeting is due to start?

Or: How not to shame the company?

Or: My first firsthand experience with remote notetaking.

Last Thursday I was in a meeting of a technological consulting workshop.  In this workshop, technical people advise people with disabilities, who need technological solutions to overcome or workaround their disabilities.  A notetaker was summoned to notetake the meeting in my behalf.

Few minutes before the meeting was due to start, the notetaker notified Efrat, the meeting organizer, that she has to cancel because her mom has passed on a moment ago.  Another notetaker has to be summoned.  However, Dina, the nearest available notetaker is about 40Km away and won’t be able to arrive at the meeting on time.

What to do?

I have two alternatives.  One is to give up participation in the meeting and go back home.  The other is to participate even if I lose almost all information conveyed during the meeting.  This time I chose the second alternative.  It is like lifting a wheelchair-bound person upstairs because the accessible ramp is temporarily blocked.

Since I’ll live with partial information loss, Dina suggested to look into remote notetaking.  At this method, one puts a microphone in the meeting room and the notetaker hears the discussions through it.  She takes notes at home and the notes go to a laptop in the meeting room through the Internet.  However we were not technologically organized to have remote notetaking.  We did not expect to need it.

There was a suggestion that the notetaker take notes and send them by E-mail to me after the meeting.  I disliked the suggestion.

Another solution was to use an Instant Messaging (IM) application.  The IM application that I use at home is Pidgin, which runs under Linux.  In this application, one can change preferences so that it’ll save chats in log files.  Can chats be saved also in Dina’s or Efrat’s computers?  I did not check it but it is not that important for me.  What’s sure is that on my smartphone I have only WhatsApp.  Dina has no Skype.  Turned out that she has Google Talk, and so does Efrat.  Thus, Efrat contributed her laptop to the cause of remote notetaking.  The microphone problem was solved by using an Android cellphone, which is connected cellularly to Dina’s cellphone.

I did not expect my first firsthand experience with remote notetaking to happen under such circumstances.

In summary, we escaped the shame of technology consultants, who fail to solve a technological problem needed to make a meeting accessible.  The setup worked better than I expected.  Of course, there was a problem that the notetaker did not hear people who sat far away from the Android, but Efrat summarized what they said.  Overall I felt I am on top of things almost all the meeting.

מה עושים כשאמא של המתמללת הולכת לעולמה כמה דקות לפני תחילת המפגש?

או: איך לא לבייש את הפירמה

או: התנסות הבכורה שלי בתמלול מרחוק

ביום חמישי האחרון הייתי במפגש של סדנת יעוץ עמיתים וטכנולוגיה. בסדנה זו נותנים ייעוץ לאנשים עם מוגבלויות שצריכים פתרונות טכנולוגיים כדי להתגבר או לעקוף את מוגבלויותיהם. למפגש הוזמנה עבורי מתמללת.

כמה דקות לפני תחילת המפגש, המתמללת הודיעה לאפרת, מזמנת המפגש, על ביטול כי אמא שלה הלכה לעולמה לפני רגע. צריך להזמין מתמללת אחרת.  אבל דינה, המתמללת הפנויה הקרובה ביותר, נמצאת במרחק 40 ק”מ ולא תספיק להגיע למפגש בזמן.

מה עושים?

יש לי שתי חלופות. אחת היא לוותר על ההשתתפות במפגש ולחזור הביתה. השניה היא להשתתף במפגש אפילו אם אפסיד כמעט כל המידע שיועבר בו. הפעם בחרתי בחלופה השניה. זה כמו להעביר נכה, שמרותק לכסא גלגלים, במדרגות מפני שהשיפוע הנגיש לו חסום זמנית.

מכיוון שאחיה עם זה שאפסיד חלק מהמידע, דינה הציעה לבדוק אפשרות לתמלול מרחוק. בשיטה זו מציבים מיקרופון בחדר הישיבות והמתמללת שומעת את הנאמר באמצעותו. היא מתמללת בביתה והתמלול עובר ללאפטופ דרך האינטרנט. אבל אנו לא היינו מאורגנים טכנולוגית לבצע תמלול מרחוק. לא ציפינו לכך שיהיה צורך בכך.

היתה הצעה, שהמתמללת תתמלל ותעביר אלי את התמלול בדואר אלקטרוני אחרי המפגש. לא אהבתי את הרעיון.

פתרון אחר היה להשתמש בתוכנת מסרים מיידיים. התוכנה שאני משתמש בה בביתי למסרים מיידיים היא פידג’ין שרצה בסביבת לינוקס. בתוכנה זו יש אפשרות לשנות הגדרות כך שהיא תשמור את הצ’אטים בקובץ לוג. האם אפשר לבצע שמירה גם במחשבים של דינה או של אפרת? לא בדקתי אבל זה לא כל כך חשוב לי. מה שכן, יש לי רק וואטסאפ על הסמארטפון שלי. למתמללת אין סקייפ. התברר שיש לה גוגל טוק, וגם לאפרת. אפרת נידבה את הלאפטופ שלה למטרה זו. בעיית המיקרופון נפתרה על ידי שימוש באנדרואיד בשיחה סלולרית עם הפלאפון של דינה המתמללת.

לא פיללתי, שהתנסות הבכורה שלי בתמלול מרחוק תהיה בנסיבות כאלה.

לסיכום, ניצלנו מהבושה של יועצי טכנולוגיה שלא מצליחים לפתור בעיה טכנולוגית, שפתרונה דרוש כדי להנגיש מפגש. העסק עבד יותר טוב ממה שציפיתי. כמובן שהיתה מגבלה שהמתמללת לא שמעה אנשים שישבו רחוק מהאנדרואיד, אבל אפרת סיכמה לי בקצרה את דבריהם. בסך הכל הרגשתי שאני בעניינים כמעט כל המפגש.

Feedback From a Mainstreamed Deaf Student’s Classmate – For the First Time! (Hebrew)

לראשונה – משוב מחברה לכיתה של חרש שלמד בשילוב אינדיבידואלי

הקדמה

המאמר הבא הינו מיוחד מאוד. אינני זוכר שראיתי אי פעם, בפורום כלשהו הדן בחינוך חרשים, משוב מחבריו לכיתה השומעים של חרש ששולב שילוב אינדיבידואלי בכיתה בבית ספר רגיל.

קרן היתה אחת מחברותי לכיתה בתיכון (והתיכון שלנו מתגאה בכך ששני חתני פרס נובל ואחד מנשיאי ישראל נמנים על בוגריו), וכעת היא גרה ועובדת בנורבגיה. אני חייב לה טובה תמורת התצפיות להלן.

נקודות הראות של קרן

קודם קצת רקע למה אני תומכת בהוראת שפת סימנים לילדים חרשים.

נקודת הראות שלי היא שיש לשפה מטרה עיקרית אחת, והיא תקשורת. אילוץ ילדים חרשים ללמוד שפה ראשונה בתהליך שהם עלולים לא להצליח בו, ישאיר אותם מתוסכלים וללא תקשורת. לימוד שפת סימנים הינו המפתח לתקשורת וללימוד שפה מדוברת. נקודת הראות השניה שלי היא שכולנו צריכים יותר מערוץ תקשורת אחד, והגבלת ילדים חרשים לשפת סימנים או לשפה מדוברת אינה יותר טובה מלומר שילדים בנורבגיה צריכים ללמוד רק נורבגית, אינך יכול להרחיק לכת בעולם בצורה זו.

הרקע של קרן

ועכשיו – לסיבות שהביאוני למחשבות האלה – אחותה של סבתי היתה חרשת, ולא היא ולא בני משפחתה למדו שפת סימנים. היא חיה כל חייה עם אחותה (סבתי) ונאלצה להיות תלויה בקרובי המשפחה שלה לכל דבר. היא לא היתה אידיוטית ולא היתה מוגבלת אבל אף אחד לא הכין אותה כך שתוכל להתמודד בעצמה עם הקהילה. זה עצוב וזה כזה בזבוז. היא היתה מוכשרת מאוד במלאכת יד וסריגה, ועבודותיה הופצו בקרב המשפחה המורחבת. יש לי עדיין שתי שמיכות מעשה ידיה. אם היו נותנים לה את הכלים הנכונים, היא היתה יכולה להצליח בעסק למכירת עבודות מלאכת יד, אבל מעולם לא ניתנה לה הזדמנות כזו.

תצפיותיה של קרן

ועכשיו, אליך בתור חבר לכיתה. אני חושבת, שכל חברינו לכיתה התרשמו מאוד משילובך ומיכולתך לתקשר, ועם זאת, אין ספק שהתנסיתי בכך שהיית מתוסכל ותוקפני כשראית “קבוצות” של חברים לכיתה שמשוחחים ביחד, כמעט כאילו חשבת שאם אנו לא מדברים אליך, אנו אומרים משהו עליך. היית נוהג להתפרץ לתוך “מעגל”, לטפוח לנו על הכתף ולשאל “מה אמרתם? מה אמרתם?” במבט לאחור אני חושבת שלמעשה היה זה חבל שאף אחד לא דרש מאיתנו, חבריך לכיתה, ללמוד גם שפת סימנים, כך שהאחריות והנסיונות לתקשורת יהיו דו-סיטריים. אינני יודעת אם זה נכון, אבל הרגשתי שלעתים קרובות היית מתוסכל מאוד ובודד בכיתה. אינני בטוחה אם אפשר להתייחס לזה כאל נסיון חיובי או שלילי למען או נגד שילוב, ולא ידעתי אפילו אם הבנת שפת סימנים מכיוון שהבנתי ששולבת בכיתות רגילות בכל השנים שהיית בבית ספר.

Feedback From a Mainstreamed Deaf Student’s Classmate – For the First Time!

Introduction

The following article is very special.  I do not remember ever seeing, in any forum discussing deaf education, feedback from classmates of a mainstreamed deaf student.

Keren was one of my classmates at high school (and our high school boasts two Nobel Prize winners and a President of Israel among its graduates), and now she lives and works in Norway. She obliged me by providing the following observations.

Keren’s points of view

First a little background for why I support teaching deaf children sign language.

My point of view is that language has one major goal, which is communication. Forcing deaf children into a first language learning process that they may not succeed in, will leave them frustrated and without communication. Learning sign language is their key to communication and learning audio-verbal language. My other point of view is that we all need more than one channel of communication, and limiting deaf children to either sign language or aural-verbal language is no better than saying that children in Norway only need to learn Norwegian, you don’t get very far with that in the world today.

Keren’s background

And to the background for my thoughts – my great aunt (my grandmother’s sister) was deaf, and neither she nor her nearest family learned sign language. She lived her whole life together with her sister (my grandma) and had to rely on her relatives for everything. She was not an idiot, she was not an invalid, but nobody prepared her to be able to manage on her own in society. That is sad, and such a waste. She was very accomplished in handiwork, knitting and crochet, and her work was widely distributed in the extended family. I still have two blankets that she produced. If she had been given the right tools she could have run a successsful handiwork business, but she was never given that opportunity.

Keren’s observations

Then to you as a classmate. I think everybody in our class was very impressed by your integration and ability to communicate, and yet, I certainly experienced that you were frustrated and aggressive when you saw “groups” of classmates speaking together, nearly as if you thought that if we were not speaking to you, then we were saying something about you. You would break into a “circle” tap us on the shoulder and say “what did you say, what did you say?”. In hindsight I think it was actually a pity that one didn’t require that we classmates must also learn sign language, so that it could be a two-way responsibility to try to communicate. I do not know if it is true, but I felt that you were often very frustrated and alone in the class. I am a bit unsure if this can be seen as a postive or negative experience for or against integration, and I did not even know then if you understood sign language because I understood that you had been mainstreamed during all of your school years.

Ramon Breakthrough 2012

קרן רמון הכריזה על תחרות בין הצעות לפרויקטים פורצי דרך, שישפיעו תוך 5 שנים על חייהם של לפחות 5 מיליון ישראלים.

עולים בדעתי ארבעה רעיונות כאלה, שחלקם דורשים כיפוף חוקים כדי להכנס למסגרת התחרות.

  • תצוגה חזותית של אותות דיבור – ישפיע על חייהם של כ-7000 ישראלים חרשים, כיפוף הכללים הדרוש הוא לקבל פרויקט שישפיע על לפחות מיליון חרשים מכל העולם.
  • חפירת מנהרות עמוק באדמה וחיים בהן, כדי לפנות מקום לחיות בר וצמחיה על פני כדור הארץ. יאפשר לישראל לקלוט עוד מיליון יהודים ויותר בלי שתהיה צפיפות בלתי נסבלת. הפרויקט ידרוש יותר מ-5 שנים כדי לגרום לשינוי משמעותי.
  • שינוי חברתי כך שיהיה מעמד חברתי גבוה יותר למי שיש לו יותר מיומנויות שעוזרות לשרוד ולהתאושש מאסון טבע או מעשה ידי אדם, במקום למי שמפגין יותר צריכה ראוותנית. קורסי הכשרה לכל הציבור ימומנו על ידי חברות הביטוח שמוכרות ביטוחים נגד האסונות למיניהם. ישפיע על כלל האוכלוסיה.
  • בתי מחסה לחתולי רחוב – לא רעיון שלי. ישפיע על כל מי שיש חתולי רחוב באזור מגוריו וזה כמעט כולנו.

הפרס הוא קורס באוניברסיטת הסינגולריטי.

אני מתלבט. האם להגיש הצעה אחת? האם להגיש את כל ההצעות שהן רעיונות שלי? האם בכלל להגיש הצעה? האם לא תהיה בעיית נגישות בקורס או בביצוע הפרויקט הזוכה לאחר מכן?

The Ramon Foundation announced a contest among proposals for breakthrough projects, which will affect the lives of at least million Israelis within 5 years.
I have in mind four such ideas, part of which require some rules to be bent in order to be admissible to the competition.

  • Visual representation of speech signals – will affect the lives of about 7000 Israeli Deaf persons, the needed rule bending will be to accept a project which will affect the lives of at least million Deaf persons from all over the world.
  • Digging tunnels deep in Earth and living in them, to free room for wild animals and vegetations on Earth surface. Will enable Israel to absorb another million Jews and more without incurring unbearable congestion. The project will need more than 5 years to cause a meaningful change.
  • Social change so that high social status will be granted to whomever has more survival and disaster recovery after natural disaster or human-made disaster, instead to whomever demonstrating conspicuous consumption. Training courses for the entire populace will be financed by insurance companies which sell insurances against the various disasters. Will affect the entire population.
  • Hostels for feral cats – not my idea. Will affect anyone whose neighborhood has feral cats and this is almost all of us.

The prize is a course in the Singularity University.

I am agonizing over it. To submit one proposal? To submit proposals for all my ideas? To submit a proposal at all? Won’t there be an accessibility problem in the course or in subsequent execution of the winning project?