|
Виж темите без отговор | Виж активните теми
Дата и час: Пон Юли 27, 2026 9:19 pm
Софтуер за гласово разпознаване в помощ на инвалидите
| Автор |
Съобщение |
|
altium
Ранг: Минаващ
Регистриран на: Чет Авг 02, 2007 7:34 pm Мнения: 92
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Ще разгледам идеите за микропроцесорни решения като Ардуино, Распбери и др. В началото даже мислех да почна проект точно с тях, но в крайна сметка слабото място тук е именно гласовото разпознаване. Инвалидите най-често имат компютър с Windows, който някой им е подарил. При най-тежките случаи като споменатите в първия пост, интернетът се поема безплатно от местните доставчици, сметките за ток са им облекчени. И трудно биха отделили дори 20 долара за някой кит. Засега енжина на Nuance уж го водят за най-добрият и днес като говорихме по скайп с инвалида, ми шерна екрана и гледах как успява да се оправи с Драгона. Освен това му разпознава всички команди бързо и почти на 100%. След инсталация трябва да се обучи, тоест четеш текст на английски няколко пъти, докато си изработи статистика точно за твоя глас и тембър, след което няма пропуск. Вижте този клип при Драгона как действа метода за позициониране на мишката с командата "MouseGrid": https://www.youtube.com/watch?v=69i80WCErTMТук има още един подобен с мрежа: https://youtu.be/_mJP0YINLX4?t=120Иначе пробвах няколко freeware програми за управление с очи и камера, но методът е неточен и много трудно позиционира мишката. А и като са легнали, мониторите им обикновено за далеч, не като при нас да сме седнали на 80 см от монитора. А има и метод с надуване и засмукване на тръбичка, да - може да се пробва поне да вдига и сваля леглото, защото е просто и няма нужда от PC. Кракнати версии всъщност има из нета, за там въпросите отпадат. По-интересното е "Nuance имат алгоритми за разпознаване, които предлагат в SDK". Може ли малко повече инфо по въпроса? Не съм им писал официален мейл все още, но скоро мисля да им пратя запитване и се чудя как точно да го формулирам. Така че, ако успеем да намерим начин да пишем плъгини за Драгон - според мен това ще е най-разумното и евтино решение. Тоест идеята е да се избегне чрез мишката да отвориш програмата Leglo.exe и да почнеш да кликаш по бутоните й. По-добре ще е директно команда в Драгон като "Легло нагоре" и той да потвърди + да генерира команда $10 към COМ порта. Вече процесора, закачен на COM порта въобще няма значение какъв ще е и дали въобще ще е схемата, която качих в първия пост или някой друг с 30 изхода примерно, на мен просто ми трябва плъгин за Драгона. Dragon SDK: http://www.nuance.com/for-developers/dragon/index.htm - тук вече сте вие, аз не съм компетентен в тази област.
|
| Нед Фев 07, 2016 2:10 am |
|
 |
|
TheWizard
Ранг: Форумен бог
Регистриран на: Сря Апр 27, 2005 12:48 pm Мнения: 6094
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
почти всички опер системи вече имат гласово + SDK ---> Android, Win 10.... etc
_________________ main[-1u]={1};
|
| Нед Фев 07, 2016 11:09 am |
|
 |
|
radolin
Ранг: Форумен бог
Регистриран на: Пон Дек 19, 2005 12:21 pm Мнения: 1037
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Направих бърза справка и ако е само за управлението на леглото изглежда има доста варианти под Линукс. Особено в случай, че трябва да се разпознват само няколко предварително записани/тренирани думи и попада в графата "Simple Voice Control/Commands". Ако трябва да се диктува и разпознава текст вариантите са по-малко. На Гугъл АПИ-то изглежда, че може да се ползва и от PC и поддържа и български език, но има два недостатъка - 1. винаги трябва да имаш интернет 2. иска ключ, за начало може и да се мине евентуално с някакъв developer key, но за по-сериозна употреба не знам как стоят нещата. Разгледай тези линкове: http://julius.osdn.jp/en_index.phphttp://cmusphinx.sourceforge.net/2010/0 ... 6-release/Това изглежда доста добре и има възможността за цъкане с мишката в grid, ползва някои от горните енджини: http://www.simon-listens.org
|
| Нед Фев 07, 2016 12:07 pm |
|
 |
|
4040
Ранг: Почетен член
Регистриран на: Сря Фев 04, 2015 8:11 pm Мнения: 610
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Според мен, в случая ,гласовото разпознаване е доста несигурен и трънлив път. По принцип гласът не е много добър интерфейс, дори и за здрави хора. Ако има движение на главата бих заложил на някакви механични джойстици. Ето няколко идеи: 1. Лостче което се движи с уста. 2. Лазерна показалка закрепена за главата. Бутони които се задействат със захапка, брадичка, мигане и т.н. 3. Сензори закрепени за главата (акселерометър, жироскоп и др.) . Така движението на врата директно се преобразува в позиция. 4. Мисловна "каска" - има такива опити но едва ли е лесно. Това ако липсва всякакво движение. Макар ,че клепачите май винаги работят? Някакъв морзов код с клепач?
Проблема с "далечния" монитор се оправя с няколко тръби - справка пултовете на ЦНЦ машините.
|
| Нед Фев 07, 2016 4:28 pm |
|
 |
|
altium
Ранг: Минаващ
Регистриран на: Чет Авг 02, 2007 7:34 pm Мнения: 92
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Ок, ще разгледам. Опън сорс е винаги за предпочитане, особено пък ако и енжина е добър. Все пак Драгон са най-известната фирма в света, с огромен опит и практически видях как работи реално. Разбира 99% от командите и реално според самият инвалид, само с него успява да си командва компютъра по-човешки - да си отваря сайтове, да набира познати в Скайп и т.н. - тоест да води що-годе по-нормален живот и да общува. Софтуерът е така проектиран, че докато не те разбере, не прави нищо. Така практически няма грешки, освен ако не забие компа нещо. Но не трябва да е през Интернет, ако му спре нета и всичко заминава, а поне токът на компютъра спира много рядко. Тук вече предимството на разни малки девайси е че могат да се захранват и от акумулатор и пак ще успява да движи леглото (то е на 36 волта). А относно лостове и особено тръбичка, която теглиш и надуваш - е ОК, даже мисля да пробвам метода с тръбичка съвсем скоро - за легло нагоре и надолу. А вече в 4 посоки като джойстик ще е малко по-трудно. Лазерът ще е неудобен, защото ще свети постоянно и няма да може да го контролира правилно, особено при голяма дистанция. А сензорите наистина не са лошо решение, мислих по въпроса, но нямам никаква практическа идея. Там вече си е сложна история... А метод за следене на очите с микрокамера вече е много по-реален. Аз пробвах няколко софтуера за тракинг през обикновената WEB камера, но тя е поне на 80 см, ако е до лицето вече ще е много по-точна. Доколкото знам, има свободни библиотеки за eye tracking, но някой програмист трябва да се занимава специално с това. Най-известният инвалид в света е Стивън Хокинг - талантлив английски физик, разболял се в средна възраст от амиотрофична латерлна склероза (ALS), заради която на 70 години в момента може да си движи само очите и бузите. За него специално Интел са разработили система, която му сканира лицето и разпознава командите. Обикновено Интел всяка година му подаряват по-нова система, а даже виждам, че са публикували и разработката. Статиите: http://www.idg.bg/technologii/317607/in ... van-hoking - Intel създаде нова комуникационна платформа за Стивън Хокинг http://dariknews.bg/view_article.php?article_id=1487063 - Публикуваха софтуера, който помага на Стивън Хокинг да говори |  |  |  | Цитат: Изходният код на софтуера, наречен Assistive Context-Aware Toolkit (ACAT), е публикуван на уебсайта за споделяне на програмен код GitHub, който се използва от разработчици за споделяне и писане на софтуер. Intel се надява, че компютърните специалисти ще експериментират с различни сензори, за да приспособят софтуера за нуждите на хора с АЛС с различни степени на мобилност.
Гласовият компютър на проф. Хокинг му показва букви на екран, а ученият посочва чрез движение на брадичката си кои от тях иска да използва. Движението на мускулите на брадичката се засича от инфрачервен сензор. Чрез система за предсказване, каквато имат клавиатурите на смартфоните, Хокинг избира думи и фрази, което прави процеса много по-бърз, отколкото ако пише всяка дума поотделно. |  |  |  |  |
Бихте ли погледнали къде са го публикували и какво всъщност представлява този софтуер? А можете ли да погледнете SDK на Nuance (разработчиците на Драгона) от линка в предния ми пост и да разкажете накратко какво точно представлява тази платформа?
|
| Пон Фев 08, 2016 7:48 pm |
|
 |
|
altium
Ранг: Минаващ
Регистриран на: Чет Авг 02, 2007 7:34 pm Мнения: 92
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Намерих линковете за софтуера на Хокинг: http://www.theverge.com/2015/8/18/91730 ... h-software - Stephen Hawking's speech software is now available for free https://github.com/01org/acat/releases - ACAT Release v0.98 https://github.com/01org/acat - Assistive Context-Aware Toolkit
|
| Пон Фев 08, 2016 11:07 pm |
|
 |
|
ike
Ранг: Форумен бог
Регистриран на: Пет Фев 04, 2005 9:59 pm Мнения: 6019 Местоположение: София
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
1. поздравление за темата. На малко хора им пука за инвалидите, и наистина сега с напредването на новите технологии можем да им направим живота малко по-лек. 2. Хората в този форум си изкарват прехната с писане на софтуер/фирмуер и да ги питаш, как да хакнеш програмата е все едно да отидеш в гората при мечките и да ги попиташ, коя пушка е най-добра за да застреляш мечка. Нали не очакваш да ти помогнат? За това са и всички глупости които са изписани по темата. Освен това и модератора и администратора са видяли темата и не са намерили нищо излишно в нея и за това и нищо не са трили. Аз също съм съгласен с мнението им, че в тази тема няма нищо за триене. Усилията ти трябва да са насочени как да намериш финансиране да се закупи легално софтуера Драгон. Можеш да потърсиш някоя европрограма или да търсиш финансиране от фирми и организиации, които искат да си направят евтин ПР, чрез закупуване на компютри, уиндоус и Драгон за инвалидите. Тук мога да ти помогна, като ти кажа коя е най-евтината конфигурация, която ще свърши работа(най-евтините компютри не са най-хубави като цена/производителност). 3. До колкото разбирам, SDK-то на Драгон, ще ти свърши работа защото то е точно да интегрираш гласово разпознаване в софтуер, например този за управление на леглото, но не си мисли че модула ще е безплатен. Всъщност може направо да се свържеш с тях и да им обясниш за какво ти трябва http://www.nuance.com/dragon/contact-sd ... /index.htm и да им поискаш фактура. 4. Може да се мине и без гласово разпознаване, ако се ползва сламка или инфрачервен светодиод прикрепен към бузата, като на Стивън Хокинг. Телеграфистите с едно копче могат да предават знаци и символи по-бързо от колкото човек изговаря думите или пише бързо на клавиатура. 5. До колкото разбирам ти не можеш да програмираш, което е хубаво защото това ще ти даде свободата да намериш финансиране за проекта и да издириш всички инвалиди в цяла българия, които не могат да си движат тялото. Защото когато се свърши основната работа по проекта, е много лесно и евтино да се направи същото решение за всички нуждаещи. 6. Мога за 1 ден да напиша на Делфи програма подобна на Test Leglo, както и да направя програма за ардуино чрез усб или блутут, които да управляват леглото. Това което не мога да направя е да тествам програмата и да отида при леглото за да инсталирам системата. Някой който разбира от електроника трябва да го направи. 7. Я дайте идеи, как е по-добре да се направи. През блутут - така има изолация на леглото от компютъра или през УСБ. На УСБ предимството е, че осигурява захранване за електрониката и връзката е сигурна. А с блутут ме претеснява да не се прекъсне връзката и така да се налага човек да ходи на настройва уиндоуса.
_________________ Warriors of the Night, ASSEMBLER!!!
|
| Вто Фев 09, 2016 12:49 am |
|
 |
|
altium
Ранг: Минаващ
Регистриран на: Чет Авг 02, 2007 7:34 pm Мнения: 92
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Всичко е направено и работи още от преди година: релетата, които са включени паралелно на бутоните на оригиналната жична клавиатура за леглото, процесорната платка, софтуера Leglo.exe, с натискане на който се управлява директно леглото през COM порта. Също Драгона е инсталиран и работи с гласови команди и позиционира мишката успешно.
Да поясня, че леглото е фабрично, специализирано за хора с увреждания - с фабрични захранване, мотори, управление на моторите и клавиатура с 4 бутона. Но инвалида не може да си движи ръцете - тоест не може да натиска по тази клавиатура - това го бях написал още в първия пост. А в следващ пост бях написал, че не ме интересува кракване на софтуер (отдавна е инсталиран и работи)!
Единственият проблем e, че за да натиснеш бутоните на Leglo.exe, трябва чрез Драгона да позиционираш мишката върху тези бутони, за което ти трябват поне 5-6 команди. Идеята e да се накара Драгона чрез някакъв плъгин директно да клика по бутоните на Leglo.exe без участието на мишката, например "Драгон легло нагоре" и той да натисне конкретния бутон.
Такава опция видях по клиповете на Янчев с неговата Мелиса (писах за него в първия пост), например с командата "Мелиса включи лампата" софтуера му директно разпознава гласа и включва лампата. "Мелиса изключи лампата" пък я изключва. Тук въобще не ми е проблем хардуерната част, професията ми е проектант на електроника.
Последна промяна altium на Вто Фев 09, 2016 2:17 am, променена общо 5 пъти
|
| Вто Фев 09, 2016 1:57 am |
|
 |
|
timt
Ранг: Форумен бог
Регистриран на: Вто Ное 27, 2012 9:27 pm Мнения: 2011
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Да се намеся  Това ми беше и идеята да се ползва морз-а т.е. една таблица в чипа и при свирване един , два три и т.н да се подават командите. Нищо сложно на този етап но понеже съм лежал на легло и това легло в този вариант няма да стане. Идеята да се сложи мотор от сателит и тъпата програма направена( на горе, на долу ) е най голямата глупост която съм виждал. Сега хлапето ще каже че се заяждам но не е така. Не е трудно да се направи програма чрез говор да се изпълняват команди, аз също съм делфист (за инфо) Просто не трябва да се използва компютър(ПЦ) за тази задача. Трябва автономност при работа и ред други джаджи. @ike, да си мерим ...... тази програма ако изобщо е програма се прави за не повече от 30 минути.
|
| Вто Фев 09, 2016 2:05 am |
|
 |
|
altium
Ранг: Минаващ
Регистриран на: Чет Авг 02, 2007 7:34 pm Мнения: 92
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Малко ми стана смешно - хем го мързи да чете, хем продължава да коментира.
Леглата на хората с увреждания са моторизирани, но явно не си запознат. Направени са във фабрика. Странно е да наричаш глупост фабрично изделие. Хората с увреждания имат нужда да стоят в изправено и в легнало положение и периодично това състояние да се сменя. Затова са им проектирали моторизирани легла.
Според теб програма какво е? Понеже онова дето "ако изобщо е програма" работи от година в качеството си точно на такава.
Ок, чакам да напишеш софтуер за гласово разпознаване, който реално работи. За какви хлапета става дума, не успях да разбера... да не говориш за някой твой племенник?
Последна промяна altium на Вто Фев 09, 2016 2:35 am, променена общо 1 път
|
| Вто Фев 09, 2016 2:26 am |
|
 |
|
timt
Ранг: Форумен бог
Регистриран на: Вто Ное 27, 2012 9:27 pm Мнения: 2011
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Пич, куха лейка си не ми се занимава с теб! Спри да ми пращаш лични съобщения, няма смисъл. Ике ако иска да се занимава с теб.
|
| Вто Фев 09, 2016 2:33 am |
|
 |
|
ike
Ранг: Форумен бог
Регистриран на: Пет Фев 04, 2005 9:59 pm Мнения: 6019 Местоположение: София
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
@timt Прав си че се прави за 30 минути, но ти трябва 1 ден за да си сигурен, че няма да си прпуснал нещо, което в един момент да накара лампата да мига като полудяла, или звънеца да звъни постояно или примерно да подава постоянно команда за качване на леглото.
_________________ Warriors of the Night, ASSEMBLER!!!
|
| Вто Фев 09, 2016 2:34 am |
|
 |
|
altium
Ранг: Минаващ
Регистриран на: Чет Авг 02, 2007 7:34 pm Мнения: 92
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
Ти ми цапаш темата, спри да коментираш, защото нито един от постовете ти не е в час. Като те мързи да четеш, просто НЕ ЦАПАЙ ТЕМАТА. То бива нагли тъпаци ама чак толкова...!!!
|
| Вто Фев 09, 2016 2:39 am |
|
 |
|
timt
Ранг: Форумен бог
Регистриран на: Вто Ное 27, 2012 9:27 pm Мнения: 2011
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
примерно да подава постоянно команда за качване на леглото.Така де  на мен една ми отне 8 месеца докато я изчистя. Представи си натискаш копче "На Горе" и кихнеш 
|
| Вто Фев 09, 2016 2:40 am |
|
 |
|
timt
Ранг: Форумен бог
Регистриран на: Вто Ное 27, 2012 9:27 pm Мнения: 2011
|
 Re: Софтуер за гласово разпознаване в помощ на инвалидите
@altium, ти сам си я уакал темата а и програмата ти "Test Легло" направо изби рибата.
|
| Вто Фев 09, 2016 2:43 am |
|
|
Кой е на линия |
Потребители разглеждащи този форум: Google [Bot] и 3 госта |
|
Вие не можете да пускате нови теми Вие не можете да отговаряте на теми Вие не можете да променяте собственото си мнение Вие не можете да изтривате собствените си мнения Вие не можете да прикачвате файл
|
|