청각장애인을 위한 UNet-LSTM 기반의 자동 음성-수어 번역 모델

김윤기; 지영채; 하정우; Yoongi Kim; Youngchae Chee; Jung-Woo Ha

EIRIC MENU

전자정보연구정보센터

로그인

닫기

한글제목(Korean Title)	청각장애인을 위한 UNet-LSTM 기반의 자동 음성-수어 번역 모델
영문제목(English Title)	UNet-LSTM-based Speech-to-Sign Language Translation for Hearing-Impaired People
저자(Author)	김윤기 지영채 하정우 Yoongi Kim Youngchae Chee Jung-Woo Ha
원문수록처(Citation)	VOL 46 NO. 01 PP. 0709 ~ 0711 (2019. 06)
한글내용 (Korean Abstract)	수어 방송은 청각장애인들에게 정보공유 및 전달의 중요한 매체이다. 그러나 수어 방송제작을 위해서는 추가적인 비용이 필요하며, 특히 공중파 방송뿐 아니라 유투브 등 정보 전달 매체의 다양화로 인해 방송을 수어로 자동 번역하는 기술의 중요성은 더욱 증대되고 있다. 본 연구에서는 딥러닝을 이용하여 뉴스방송의 음성을 수어로 자동으로 번역하는 모델을 제안한다. 제안하는 모델은 스펙트로그램 형태로 변환된 방송의 음성을 입력으로 하여 UNet 구조를 통해 추상화된 인자를 생성 후 이를 LSTM의 입력으로 한다. LSTM의 출력값은 수어 표현을 위한 124개의 2차원 좌표로 표현되는 포즈 키포인트의 연속 프레임을 생성한다. 실험을 위해 약 5시간의 수어영상이 포함된 공개 뉴스 영상을 활용하였으며 다양한 실험을 통해 제안하는 모델이 음성으로부터 유의미한 수어 생성이 가능함을 확인할 수 있다.
영문내용 (English Abstract)
키워드(Keyword)
원문	PDF 다운로드