1. 들어가며 다양한 딥러닝 네트워크에서 1×1 convolution 연산을 사용하는 모습을 자주 볼 수 있습니다. 대표적인 초창기 네트워크로 GoogleNet (Inception), ResNet을 들 수 있습니다. GoogleNet에서는 1×1 convolution을 사용하여 연산량은 줄이면서도 성능은 향상할 수 있었죠. Convolution 연산은 넓은 window에서의 정보를 추출하는 연산인데요. 이러한 관점에서 생각했을 때 1×1 convolution 연산은 어떠한 장점이 있는지 쉽게 떠오르지 않습니다. 1×1 convolution은 …
1. 들어가며 지난 글에서는 Translation Invariant 네트워크를 만드는 과정을 살펴봤습니다. Fully Connected Network(FCN)로 강아지와 고양이 이미지를 구분하는 과정을 따라가 보았죠. 이 과정에서 FCN에서는 필연적으로 데이터의 위치 의존성을 가질 수밖에 없음을 알 수 있었습니다. 이를 해결하기 위해 다양한 방법을 살펴봤는데요. 대표적으로 Convolution과 Pooling 연산을 도입하였습니다. 이렇게 Convolution과 Pooling 연산을 조합하여 구성한 네트워크가 Convolutional Neural Network (CNN) 임을 …
1. 들어가며 Convolutional Neural Network(CNN)는 가장 유명한 딥러닝 네트워크 중 하나입니다. 이미지뿐만 아니라 시계열 데이터를 다루는 데에도 강력한 성능을 보이죠. 딥러닝의 부활은 2012년 발표된 AlexNet으로 시작되었습니다. 이 AlexNet의 성공은 CNN의 사용 덕분이라고 해도 과언이 아닙니다. Convolutional Neural Network 는 기존 Fully Connected Network(FCN)과는 차별화되는 결정적인 장점이 있습니다. 바로 위치가 다른 물체도 동일한 물체로 인식할 수 …
1. 들어가며 Backpropagation(역전파)는 딥러닝을 이루는 핵심 알고리즘들 중 하나입니다. 따라서 반드시 직접 네트워크를 미분해 보며 그 의미를 느껴봐야 합니다. 딥러닝 모델을 연구, 개발할 때 대부분은 PyTorch, TensorFlow 등의 딥러닝 프레임워크를 사용하는데요. 이러한 프레임워크들은 대부분 Backpropagation을 위한 자동 미분 메서드를 제공합니다. 따라서 특별한 경우를 제외하면 Backpropagation을 위한 코드를 직접 짜는 경우는 잘 없습니다. 그런데 왜 굳이 …
1. 들어가며 지금까지 컴퓨터에게 강아지와 고양이 이미지를 가르쳐주기 위한 다양한 방법을 살펴봤습니다.아주 다양하고 중요한 용어들이 나왔었는데요. 인공지능, 전문가 시스템, 머신러닝, 인공신경망, 딥러닝 등등 많이 들어봤지만 헷갈리는 용어들이 많았습니다. 더 나아가기 전에 이번 글에서는 지금까지 나온 개념들의 용어 정리를 하겠습니다. 2. 인공지능 (Artificial Intelligence) 먼저 인공지능에 대해 정리해 보겠습니다. 지금까지 컴퓨터에게 강아지와 고양이를 가르쳐주기 위한 이야기를 …
1. 들어가며 지난 글에서는 딥러닝에 대해 살펴봤습니다. 딥러닝은 머신러닝의 다양한 방법 중 하나입니다. 그 많은 방법 중 인공신경망에 해당하는 방법론이죠. 인공신경망과 딥러닝은 사실상 같은 개념입니다. 재야에 묻혀 있던 인공신경망이 득도하여 세상으로 나오면서 새롭게 브랜딩 한 이름이 딥러닝입니다. 이러한 딥러닝의 굵직한 개념들에 대해 살펴봤었는데요. 먼저 기존 머신러닝 방법들과 차별화되는 딥러닝의 철학을 살펴봤습니다. 인공신경망은 쉽게 말해 데이터셋을 …
6.딥러닝이 학습하는 방법 : 역전파(Backpropagation), 경사하강법(Gradient Descent) 더 보기
1. 들어가며 지난 글에서는 머신러닝에 대해 살펴봤습니다.머신러닝은 이전 AI 방법인 전문가 시스템과는 반대되는 철학을 갖고 있는 방법론이었죠. 전문가 시스템은 문제를 해결하기 위한 모든 규칙을 사람이 직접 찾아 컴퓨터에게 가르쳐주는 방법이었습니다. 반면 머신러닝은 다량의 데이터 속에서 컴퓨터가 문제를 해결하기 위한 규칙을 직접 찾는 방식이었죠. 머신러닝에는 다양한 방법이 있습니다.대표적으로 k-NN, kernel SVM, 인공신경망, 딥러닝 방법을 살펴봤습니다. 각각의 …
머신러닝이란 무엇인지 알아봅니다. 이 과정에서 머신러닝에는 어떠한 방법들이 있는지 살펴봅니다. 1. 들어가며 지난 글에서는 컴퓨터가 이미지를 인식하는 방법을 살펴봤습니다.컴퓨터에게 하나의 이미지는 그저 수백만 개의 픽셀값을 가진 ‘숫자들’에 불과했죠. 이는 각각의 이미지는 수백만 차원 공간에 분포하는 점임을 의미합니다. 우리는 이런 고차원 공간을 상상할 수가 없죠.그래서 고차원의 점들을 우리가 볼 수 있는 저차원의 점들로 가져오는 방법을 살펴봤습니다. 이런 …
사람과 컴퓨터의 이미지 인식 방법 차이를 살펴봅니다. 1. 들어가며 지난 글에서는 컴퓨터에게 강아지랑 고양이를 알려주려 시도해 봤습니다.유치원생 조카에게 사용했던 방법을 그대로 사용해 봤는데요. 강아지와 고양이 사진을 보여주면서 각각의 조건들을 알려주는 방법이었죠. 유치원생 조카는 몇 장의 사진만 보고서도 금방 강아지와 고양이의 차이를 인식했습니다. 이후에는 사진에 없던 강아지 품종까지도 강아지로 인식하며 응용 범위를 자동으로 넓혀갔죠. 하지만 컴퓨터는 달랐습니다.강아지의 조건을 …
컴퓨터에게 강아지와 고양이를 가르쳐주며 전문가 시스템에 대해 이해해봅니다. 1. 들어가며 이번글에서는 본격적으로 컴퓨터에게 강아지와 고양이를 가르쳐보겠습니다. 유치원생 조카에게 했던 것처럼 동일하게 하면 되지 않을까요? 강아지와 고양이 사진을 가져와서 각각의 특징을 가르쳐주면 될 것 같습니다. ‘이렇게 생기면 강아지고, 저렇게 생기면 고양이야’라고 가르쳐주는 거죠. 컴퓨터가 유치원생 조카 수준의 지능만 된다면 쉽게 성공할 것 같네요. 2. 해결 방법 …
