728x90 Robotics & AI/Paper review29 [논문 리뷰] Long Short-Term Memory Long Short-Term Memory Article in Neural Computation · December 1997 Sepp Hochreiter 논문 원본 Introduction LSTM은 NLP와 같은 분야에서도 쓰이지만 time-series data 특히 stock price prediction과 같은 금융 분야에서도 쓰일 수 있는 굉장히 성능이 좋은 architecture라는 것을 알게되어 해당 논문을 읽어보기로 하였다. 논문을 통해 LSTM이 deep한 모델을 학습하는 다양한 방법론들에 대한 기본적인 방향성을 제시했음을 알게 되었고 그만큼 LSTM이 반드시 완벽히 이해하고 있어야하는 중요한 모델임을 느꼈다. Background Knowledge Time-Series Data란 일정 시간 동.. 2023. 3. 12. [논문 리뷰] Deep Sparse Rectifier Neural Networks Deep Sparse Rectifier Neural Networks by Xavier Glorot et al. (2011) https://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf -요약- 이 논문은 깊은 희소 Rectifier 신경망 구조를 소개하고 검증한다. 그 결과, Sparse rectifier neural network는 기존의 깊은 신경망보다 더 높은 성능을 보여주고, 제안된 구조의 효과가 입증되었다는 것을 보여준다. 논문의 핵심은 Rectifier 활성화 함수와 희소 정규화를 결합함으로써, 기존의 Deep neural network보다 더 높은 성능과 이해하기 쉬운 구조를 제공하는 것이다. Sigmoid neuron이 hyperbolic tang.. 2023. 2. 5. 이전 1 2 3 4 다음 728x90
