닫기
Loading..

전자정보연구정보센터 ICT 융합 전문연구정보의 집대성

학술대회 프로시딩

홈 홈 > 연구문헌 > 학술대회 프로시딩 > 한국정보과학회 학술대회 > KCC 2021

KCC 2021

Current Result Document : 1 / 12   다음건 다음건

한글제목(Korean Title) SpanBERT를 이용한한국어 자연어처리: 기계 독해, 개체 연결, 의존 파싱
영문제목(English Title) SpanBERT for Korean Natural Language Processing: Machine Reading Comprehension, Entity Linking, Dependency Parsing
저자(Author) 박은환   나승훈   김태형   최윤수   장두성   Eunhwan Park   Seung-Hoon Na   Tae-Hyeong Kim   Yun-Su Choi   Du-Seong Chang  
원문수록처(Citation) VOL 48 NO. 01 PP. 0460 ~ 0462 (2021. 06)
한글내용
(Korean Abstract)
최근 자연어 처리 연구에서 대용량 말뭉치와 양방향 트랜스포머 기반 맥락을 고려한 BERT 와 같은 언어 모델을 사전 학습하고, 응용 태스크에 미세 조정하여 높은 성능을 달성하였다. 본 연구에서는 개별 토큰이 아닌 연속적인 범위(Span)의 토큰을 마스킹(Masking)한다. 그리고 개별 토큰 표현에 의존하지 않고 범위 경계(Span Boundary) 표상을 학습하여 마스킹된 범위의 전체 내용을 예측함으로서 기존의 한국어 RoBERTa[1] 모델을 확장한다. 이를 바탕으로 기계 독해, 개체 연결, 의존 파싱과 같은 응용 태스크 일부에서 기존 언어 모델보다 향상된 성능을 거두었다.
영문내용
(English Abstract)
키워드(Keyword)
원문 PDF 다운로드