Młodzi inżynierowie z Politechniki Krakowskiej autorami rewolucyjnego tłumacza książek dla niewidomych. Przekłada obraz na alfabet Braille'a

Jak przekazuje Politechnika Krakowska, tani prototyp tego urządzenia jest już rozwijany, tak by mógł trafić do szerszego grona użytkowników.

Uczelnia zwraca uwagę, że problem z dostępem do dzieł literackich i podręczników dotyczy ogromnej rzeszy osób z niepełnosprawnością wzroku. Szacuje się, że tylko 1 proc. książek na świecie został przetłumaczony na język Braille’a.

- Wraz z naszym promotorem, doktorem Tomaszem Makowskim, chcieliśmy się zająć w pracach inżynierskich interdyscyplinarnym projektem, który rozwiąże rzeczywiste ludzkie problemy albo będzie wstępem do dalszego rozwoju badań nad ważnym społecznie tematem. Postanowiliśmy skupić się na potrzebach osób niewidomych. Nasz projekt może ułatwić im codzienne życie, a także pomóc w nauce, studiowaniu i intelektualnym rozwoju - mówi Hubert Orlicki, współautor opracowanego rozwiązania.

Według badań WHO z 2019 roku co najmniej 2,2 mld ludzi ma stwierdzone dysfunkcje wzroku, w tym 39 mln stanowią osoby, które całkowicie utraciły wzrok w wyniku chorób lub obrażeń. Polskie dane (Głównego Urzędu Statystycznego) mówią o 1,8 mln osób ze stwierdzonym upośledzeniem wzroku, z czego około 100 tys. to osoby całkowicie niewidome. Polskie Ministerstwo Kultury i Dziedzictwa Narodowego szacuje, że nawet 300 tys. osób nie ma możliwości czytania książek wydrukowanych w formie czarnego druku.

- Już to podstawowe rozeznanie potrzeb przekonało nas, że podejmujemy niezwykle ważny temat - podkreśla w odniesieniu do tych statystyk Bartłomiej Szostak.

Studenci Wydziału Inżynierii Elektrycznej i Komputerowej PK - a obecnie już inżynierowie - skupili się w swoich pracach dyplomowych na stworzeniu urządzenia przetwarzającego tekst na alfabet Braille'a z możliwością wykorzystania detekcji obrazu i funkcjonalnością nauczania alfabetu. Ich prace merytorycznie wsparł promotor dr inż. Tomasz Makowski, a organizacyjnie i finansowo również FutureLab PK - specjalna jednostka uczelni służącą studenckim innowatorom wszechstronnym wsparciem.

Zaprojektowany przez studentów z PK wyświetlacz zawiera kamerę, która gromadzi w czasie rzeczywistym obraz tekstu do przetłumaczenia. Przy wsparciu algorytmów m.in. sztucznej inteligencji (AI) wyświetla następnie układ wypustek tłumaczących obraz na alfabet Braille'a. Przetłumaczony tekst jest wyświetlany od lewej do prawej strony na wyświetlaczu brajlowskim z uwzględnieniem odpowiednich zasad.

Niewielka skrzyneczka wyświetlacza kryje w sobie liczne moduły, połączone w sprawne działający mechanizm. Sercem urządzenia jest mikrokomputer Raspberry Pi.

- Do mikrokomputera podłączona jest kamera oraz sterownik PCA, który umożliwia podłączenie serwonapędów niezbędnych do wprawiania w ruch pasków przesuwnych. Paski ustawiają piny w odpowiedniej kolejności, którą osoba niewidoma odczytuje dotykiem. W systemie OCR ("optical character recognition"), czyli optycznego rozpoznawania znaków wykorzystywana jest sztuczna inteligencja. System rozpoznawania tekstu jest stworzony w oparciu o silnik Tesseract OCR. Program urządzenia został napisany w języku Python wersji 3.X, z wykorzystaniem bibliotek pomocniczych OpenCV, Adafruit, PySimpleGUI - wymienia Hubert Orlicki.

Reszta urządzenia to m.in. koła magazynujące linkę, pręty naprowadzające, slidery, linki i napinacze, czyli mechanizmy wykorzystywane w celu precyzyjnego ustawiania przepustek. Zostały zaprojektowane w Fusion 360 i wydrukowane z wykorzystaniem druku 3D.

Studencki projekt kosztował zaledwie tysiąc złotych, a jest już się na 6. poziomie gotowości technologicznej (TRL). Twórcy chcą dalej rozwijać prototyp, tak by stał się tanim urządzeniem do samodzielnego użytku osób niewidomych, najpierw z przeznaczeniem na polski rynek.

- Do stworzenia niskobudżetowego prototypu i przetestowania koncepcji użyliśmy tylko czterech znaków. Teraz już wiemy, że nasz pomysł się sprawdza. Docelowo chcemy rozwinąć klawiaturę do większej liczby np. 12-16 znaków. Chcemy też przenieść wszystkie funkcje - w prototypie obsługiwane przez zewnętrzną klawiaturę - do wnętrza urządzenia, tak aby osoba niewidoma czy słabowidząca mogła z niego komfortowo korzystać samodzielnie - wyjaśnia Bartłomiej Szostak.

Jak dodaje Hubert Orlicki, szersze wykorzystanie algorytmów AI mogłoby rozwiązać kwestię dokładności geometrii obrazu. - Tak aby silnik do rozpoznawania tekstu (OCR) był w stanie sobie poradzić z różną geometrią i kształtem obiektów, np. produktów spożywczych, z których odczytywany jest obraz - mówi.

Niektóre pomysły na modyfikacje zrodziły się dzięki konsultacjom autorów rozwiązania z ekspertami Polskiego Związku Niewidomych. Młodzi konstruktorzy chcieliby np. ulepszyć design i ergonomię urządzenia, rozszerzyć jego możliwości tak, żeby umiało odczytać formaty PDF czy skanować etykiety produktów spożywczych. Inżynierowie z PK analizują także możliwości tłumaczenia stron internetowych w formie wyświetlania głównej treści w sposób zbliżony do czytania gazet. Po odpowiednim ulepszeniu wyświetlacz znalazłby zastosowanie nie tylko w codziennych sytuacjach - mógłby być także na wyposażeniu bibliotek, szkół i przedszkoli, we wszystkich miejscach, w których uczy się czytania liter brajlowskich. W tego typu placówkach przydatna byłaby np. funkcja wyświetlania dowolnego wyrazu lub litery na urządzeniu.

Twórcy innowacyjnego rozwiązania szacują, że na polski rynek wyświetlacz mógłby wejść zapewne w perspektywie dwóch lat. W przyszłości z urządzenia, wymyślonego przez studentów Politechniki Krakowskiej, mogliby korzystać ludzie z całego świata - wystarczyłoby tylko odpowiednie skonfigurowanie i wyposażenie wyświetlacza w dodatkowe znaki brajlowskie.

Nowatorskie podejście studentów PK i ich wrażliwość na potrzeby innych zostały ostatnio docenione podczas konferencji Student Cyber(netics) Symposium SCS'2023, na której Hubert Orlicki i Bartłomiej Szostak ze swoim wyświetlaczem wygrali sesję studenckich prezentacji.

Zapisy na darmowe szczepienie przeciwko wirusowi HPV