Syrena karetki, alarm przeciwpożarowy, klakson, szczekanie psa albo wołanie o pomoc mogą przesądzać o bezpieczeństwie na ulicy, w domu czy za kierownicą. Na Politechnice Lubelskiej powstaje system AI EAR SUPPORT, który ma rozpoznawać takie dźwięki i natychmiast ostrzegać osoby głuche oraz słabosłyszące.

Projekt rozwijany jest w ramach doktoratu wdrożeniowego. Jego autor, Jakub Krzysiak z Politechniki Lubelskiej, pracuje nad rozwiązaniem, które wykorzysta sztuczną inteligencję do rozpoznawania dźwięków związanych z zagrożeniem. Informacja o nich ma trafiać do użytkownika przez aplikację, na przykład w formie wibracji albo sygnałów świetlnych.

Telefon ma wychwycić dźwięk zagrożenia

System ma działać na bazie mikrofonu w telefonie. W przyszłości źródłem dźwięku mogą być także smartwatche albo słuchawki. Aplikacja będzie analizować otoczenie i rozpoznawać sygnały, które mogą wymagać szybkiej reakcji.

Wśród dźwięków, które ma identyfikować AI EAR SUPPORT, są między innymi syrena karetki, alarm przeciwpożarowy, klakson samochodu, szczekanie psa i wołanie o pomoc.

Po wykryciu takiego sygnału system ma przekazać ostrzeżenie użytkownikowi. Forma powiadomienia będzie zależała od jego potrzeb. Chodzi o to, aby osoba głucha albo słabosłysząca mogła szybciej zorientować się, że w jej otoczeniu dzieje się coś wymagającego uwagi.

To właśnie ta skala sprawiła, że zacząłem zadawać sobie pytanie, czy współczesna sztuczna inteligencja może stać się czymś więcej niż tylko narzędziem do generowania tekstów, obrazków czy zabawnych piosenek? Czy może zwiększyć bezpieczeństwo ludzi? I właśnie tak narodził się projekt AI EAR SUPPORT – mówi Jakub Krzysiak z Politechniki Lubelskiej.

Wibracje, światło i ustawienia pod użytkownika

Twórcy projektu zakładają, że aplikacja ma być możliwie elastyczna. Użytkownik wybierze, czy chce otrzymywać ostrzeżenia przez wibracje, sygnały świetlne typu flashing lights, czy inne formy komunikatu. Będzie mógł też ustawić czułość systemu i intensywność powiadomień.

Najważniejszy pozostaje czas reakcji. Przy dźwiękach ostrzegawczych liczą się sekundy, zwłaszcza podczas przechodzenia przez ulicę, jazdy samochodem albo przebywania w miejscu, w którym pojawia się alarm.

To użytkownik zadecyduje, czy chce być powiadamiany o niebezpiecznych dźwiękach przy pomocy wibracji, sygnałów świetlnych, czyli sygnałów flashing lights. Użytkownik może również dostosować czułość działania systemu oraz intensywność powiadomień do własnych potrzeb. Najważniejszym parametrem pozostaje jednak czas reakcji – tłumaczy Krzysiak. – W sytuacjach zagrożenia każda sekunda może mieć znaczenie.

Testy pokazały, jak ważne są sekundy

W badaniu nad projektem wzięło udział kilkadziesiąt osób, w tym pracownicy firmy Intrograf. Wyniki pokazały, że osoby słabosłyszące reagują na dźwięki ostrzegawcze znacznie wolniej. Średni czas reakcji wynosił niemal 3 sekundy, a w wielu sytuacjach reakcja w ogóle się nie pojawiała.

To właśnie ten moment między dźwiękiem a reakcją ma skrócić aplikacja rozwijana na Politechnice Lubelskiej. W codziennych sytuacjach taka różnica może mieć znaczenie dla bezpieczeństwa użytkownika.

Okazało się, że osoby słabosłyszące reagują na dźwięki ostrzegawcze znacznie wolniej, średnio po niemal 3 sekundach, a w wielu sytuacjach nie reagują w ogóle. To pokazuje, jak duże znaczenie ma szybkie wsparcie technologiczne. Każda zaoszczędzona sekunda może przełożyć się na większe bezpieczeństwo użytkowników – podkreśla doktorant.

AI z Lublina ma działać szybko i precyzyjnie

Projekt odpowiada na problem, który dotyczy ogromnej grupy ludzi. Według Światowej Organizacji Zdrowia ponad 1,5 miliarda osób, czyli blisko 20 proc. światowej populacji, żyje z pewnym stopniem ubytku słuchu. Około 430 milionów wymaga specjalistycznego wsparcia z powodu znacznego ubytku słuchu. Prognozy WHO wskazują, że do 2050 roku ta liczba wzrośnie do ponad 700 milionów.

Przed zespołem stoi teraz zadanie dopracowania systemu tak, aby rozpoznawał konkretne sygnały także w trudnych warunkach akustycznych. Aplikacja musi odróżniać ważne dźwięki od tła, działać szybko i zużywać możliwie mało energii.

Z naukowego punktu widzenia największym wyzwaniem, z którym chcemy się zmierzyć jest osiągnięcie wysokiej skuteczności przy zachowaniu odpowiedniego krótkiego czasu reakcji i odpowiedzi, żeby powiadomić osobę niedosłyszącą albo osobę niesłyszącą – opowiada promotor pracy prof. Michał Wydra z Katedry Informatyki Stosowanej Politechniki Lubelskiej. – Dlatego poszukujemy idealnego środka pomiędzy trzema podstawowymi parametrami: dokładnością klasyfikacji, szybkością działania i efektywnością energetyczną.

Kolejne testy z udziałem użytkowników

Naukowcy pracują nad tym, aby system jeszcze dokładniej rozpoznawał sygnały związane z zagrożeniem. Kolejne etapy obejmą testy z udziałem użytkowników oraz optymalizację aplikacji.

Docelowo AI EAR SUPPORT ma wspierać osoby głuche i słabosłyszące w codziennych sytuacjach. Chodzi między innymi o poruszanie się po ulicy czy prowadzenie samochodu. Projekt z Lublina pokazuje, że sztuczna inteligencja może wyjść poza ekran i stać się narzędziem, które szybciej przekazuje człowiekowi informację o tym, co dzieje się obok niego.