Recurrent Convolutional Neural Networks for Text Classification

Recurrent Convolutional Neural Networks for Text Classification

(ALai, Siwei, et al. "Recurrent Convolutional Neural Networks for Text Classification." AAAI. Vol. 333. 2015.)

 

[Abstract]

- Recurrent convolutional neural network를 이용하여 Text classification 을 처리

문맥의 정보를 이용한 처리(RNN)로 noise를 줄이고, MAX pooling을 이용하여 문맥에서 분류에 핵심적인 역할을 하는 words를 판단, ML은 Data sparsity problem이 있어 NN의 적용을 주장

분석을 위해 Text를 Skip-Gram algorithm을 이용하여 word2vec으로 word embedding 실시(ENG, CHN)

4가지 데이터셋(20News, Fudan, ACL, SST)으로 실험한 결과, F1 Score가 타 모델에 비해 높게 나타남(20News : 96.49%)

---

1. Main Idea

Word Representation Learning

> RNN을 이용하여 단어의 의미를 명확화(예: ‘한화 손해 보험’ vs ‘큰 손해를 보았다’)

-> 분석 단어(wi )를 기준으로 왼쪽(cl(wi )), 오른쪽 문맥(cr(wi ))을 통해 단어의 vector 수정

-> 활성화 함수 : 하이퍼볼릭 탄젠트 함수를 통해 아웃풋 도출

- Text Representation Learning

> CNN을 이용하여 Text내 Classification에 사용되는 핵심 words를 추출

-> 앞 단계에서 계산된 semantic vector 중 핵심 feature를 추출(max pooling) >> fixed length로 변환

- Training

> parameter update는 SGD optimizer를 이용하여 학습

- Word Embedding

> Skip-Gram algorithm을 이용해 word2vec으로 word embedding!

 

2. Conclusion and Discussion

RNN과 CNN을 결합한 Text Classification의 아이디어는 직관적으로 이해하기에 설득적임

RNN을 통해 단어의 문맥상 의미를 도cnf하고, CNN을 통해 분류를 위한 핵심 Text를 추출함

실제 Toy data set을 통해 다양한 모형1)과 비교한 결과, 본 연구의 모형은 높은 성능을 나타냄

---

고객 불만 콜 프로젝트에서 한글은 문맥에 따라 의미가 다른 경우가 많기 때문에 본 연구의 모형을 적용하면 단어의 문맥상 의미를 정확히 파악하고, 문서의 불만 콜 예측 핵심 단어를 추출 가능할 것으로 보임

문서마다 추출되는 단어의 weight를 부여하기 위해 TF-IDF를 이용하여 단어별 weight를 적용해 줄 수 있는 코드를 구현하면 본 연구보다 높은 성능의 모형 구현이 가능할 것으로 사료됨

 

Recurrent Convolutional Neural Networks for Text Classification
(ALai, Siwei, et al. "Recurrent Convolutional Neural Networks for Text Classification." AAAI. Vol. 333. 2015.)