프로젝트 배경
팀원중한분의지인이뇌질환을앓았는데병원에서재활을위해인쇄된그림을사용해서재활치료를한다는것을알게되었습니다.
AI기술을접목하여이문제를해결해보고싶었고,프로젝트를시작하게되었습니다.
발음 연습 페이지
대화 시뮬레이션 페이지
통계 페이지
회원 정보 수정 페이지
담당 역할
Frontend
메인 페이지, 발음 연습 페이지, 대화 시뮬레이션 페이지, 스피드 퀴즈 페이지, 드라마 플레이 페이지, 주간 테스트 페이지 개발
Redux persist storage 구현 및 session storage 연동하여 전역 저장소 구현
web speech api를 활용하여 음성 처리 관련 부분 구현
Backend
Pytorch와 Fast API로 STT 서버 구현
AI
음성 인식 모델 비교 및 선정
Ai Hub의 데이터를 활용하여 데이터 전처리 및 whisper 모델 fine tuning 진행
성과 및 배운 점
UI/UX에 대한 이해를 높일 수 있었습니다.
기획을 위해 논문 등을 조사하며 실어증 환자들 중에는 인지 능력의 저하를 수반하는 경우가 있다는 것을 배웠습니다.
또한 인지 능력이 부족한 사용자들은 다채로운 색상과 화려한 디자인, 분산되어 있는 구조에 혼란을 느낄 수 있다는 점을 배웠습니다.
이러한 불리한 위치에 있는 사용자들을 위한 UI/UX에 대해 고민하는 계기가 되었습니다다.
생각을 정리하고, 공유하는 습관을 가지게 되었습니다.
기능에 대해 서로 이해하는 바가 달라 문제가 발생했고, 개발 단계를 일시중지하고 기획 단계부터 다시 수정한 경험이 있습니다.
서로 생각하는 유저 시나리오에 대해 정리하고, 이를 문서화하여 같은 문제를 겪지 않을 수 있었습니다.
무엇이든 해낼 수 있다는 자신감을 얻었습니다.
한국어 발음 인식을 위해 직접 fine tuning을 진행해야 했습니다.
다양한 모델의 성능을 비교하고, 적절한 모델을 선택 후, ai hub의 한국어 음성 데이터를 한국어 발음으로 변경하여 fine tuning에 활용했습니다.
결과적으로 한국어 발음에 대해 wer 0.3의 결과를 얻을 수 있었습니다.
모르는 부분이라도 일단 시도하며, 단계적으로 접근해 나간다면 어떻게든 해낼 수 있다는 자신감을 얻었습니다.