닫기
Loading..

전자정보연구정보센터 ICT 융합 전문연구정보의 집대성

학술대회 프로시딩

홈 홈 > 연구문헌 > 학술대회 프로시딩 > 한국정보과학회 학술대회 > KCC 2019

KCC 2019

Current Result Document : 248 / 738 이전건 이전건   다음건 다음건

한글제목(Korean Title) 청각장애인을 위한 UNet-LSTM 기반의 자동 음성-수어 번역 모델
영문제목(English Title) UNet-LSTM-based Speech-to-Sign Language Translation for Hearing-Impaired People
저자(Author) 김윤기   지영채   하정우   Yoongi Kim   Youngchae Chee   Jung-Woo Ha  
원문수록처(Citation) VOL 46 NO. 01 PP. 0709 ~ 0711 (2019. 06)
한글내용
(Korean Abstract)
수어 방송은 청각장애인들에게 정보공유 및 전달의 중요한 매체이다. 그러나 수어 방송제작을 위해서는 추가적인 비용이 필요하며, 특히 공중파 방송뿐 아니라 유투브 등 정보 전달 매체의 다양화로 인해 방송을 수어로 자동 번역하는 기술의 중요성은 더욱 증대되고 있다. 본 연구에서는 딥러닝을 이용하여 뉴스방송의 음성을 수어로 자동으로 번역하는 모델을 제안한다. 제안하는 모델은 스펙트로그램 형태로 변환된 방송의 음성을 입력으로 하여 UNet 구조를 통해 추상화된 인자를 생성 후 이를 LSTM의 입력으로 한다. LSTM의 출력값은 수어 표현을 위한 124개의 2차원 좌표로 표현되는 포즈 키포인트의 연속 프레임을 생성한다. 실험을 위해 약 5시간의 수어영상이 포함된 공개 뉴스 영상을 활용하였으며 다양한 실험을 통해 제안하는 모델이 음성으로부터 유의미한 수어 생성이 가능함을 확인할 수 있다.
영문내용
(English Abstract)
키워드(Keyword)   
원문 PDF 다운로드