닫기
Loading..

Please wait....

국내 논문지

홈 홈 > 연구문헌 > 국내 논문지 > 전자공학회 논문지 (Journal of The Institute of Electronics and Information Engineers)

전자공학회 논문지 (Journal of The Institute of Electronics and Information Engineers)

Current Result Document : 6 / 17 이전건 이전건   다음건 다음건

한글제목(Korean Title) 뉴로모픽 시스템을 위한 인수분해-프루닝 결합 기반 컨볼루셔널 레이어 압축 기법
영문제목(English Title) A Convolutional Layer Compression Method Combining Factorization and Pruning for Neuromorphic Systems
저자(Author) 정필영   정재용   Pilyeong Jeong   Jaeyong Chung  
원문수록처(Citation) VOL 56 NO. 03 PP. 0042 ~ 0051 (2019. 03)
한글내용
(Korean Abstract)
학습 데이터가 충분하다면 딥 러닝(Deep learning)은 일반적으로 모델의 크기가 증가함에 따라 예측 성능이 향상되기 때문에 모델 크기가 계속해서 증가하는 추세이다. 연산 시간, 메모리 사용량, 스토리지 크기 등의 측면에서 대규모 모델의 효율성을 향상시키기 위해 모델 압축 방법을 적용할 수 있다. 이러한 모델 압축 방법은 일반적으로 GPU 및 CPU와 같은 프로세서에서 연구되어왔다. 본 논문에서는 뉴로모픽 컴퓨팅 시스템(Neuromorphic Computing System)을 위한 모델 압축 방법을 제안한다. 제안하는 방법은 컨볼루셔널 레이어(Convoltional layer)에 적용되며, 기존에 모델압축을 위해 사용되었던 프루닝(Pruning) 및 인수분해(Factorization)를 결합한 새로운 방법이다. 알렉스넷(AlexNet)에서 제안하는 방법을 이용한 실험결과는 컨볼루셔널 레이어의 압축에 따른 성능 저하를 최소화하며 파라미터 수를 10배까지 감소시킬 수 있음을 보여준다.
영문내용
(English Abstract)
The size of deep learning models continues to increase because the predictive performance of deep learning usually scales well with the model size if enough training data is provided. In order to improve the efficiency of the large models in terms of computational time, memory footprint, storage size, etc, model compression techniques can be applied. Most existing techniques are usually developed in the context of traditional processors such as GPUs and CPUs. This paper proposes a model compression technique for neuromorphic computing systems. The proposed method targets at convolutional layers and combine the two well-known methods, low-rank approximation and pruning, taking advantages of both. Our experimental results show that the proposed method can reduce the number of parameters in AlexNet up to 10X without significant loss of accuracy.
키워드(Keyword) Deep Learning   Deep Neural Networks   Neuromorphic Computing   Sparse Networks   Compressing Parameters  
파일첨부 PDF 다운로드