XOR문제는 어떻게 풀것인가. ?
exclusive. 값이 다르면 1이고 같으면 0. 단순한 로직인데 이걸가지고 linear문제를 풀수가없다.
backpropagation
결과를 보고 에러면 다시 w(weight)를 조정하는 알고리즘.
CNN(convolutionalNeural Networks)
그림을 자르고 레이어로보내고, 또자르고 레이어로 보내고..부분부분 자르고 나중에 합치는 방법. (알파고도 이런방법) 글자인식, 이미지 인식등을 이방식으로 90%이상 성공확률 쾌거.
터미네이터 2에서도 내 CPU는 뉴럴넷이라고함.
하지만 큰 문제 봉착.
BackPropagation 알고리즘이 몇 개에선 동작하는데, 10여개 이상되는 레이어를 학습시킬수있어야하는데, 앞에있는 에러를 뒤로보내야하는데 의미가 뒤쪽레이어로 갈수록 약해짐
에러가 전달되지않고 학습을 시킬수가없게됨. 성능이 떨어짐.이런문제로 다시 침체기를 맞게됨. 한마디로 몇 개안되는 레이어에서는 학습이잘되는데 레이어가 많아지면 학습이 안된다.
CIFAR에서 돈이 안되는 연구도 지원하게됨. 덕분에 머신러닝이 많이 부흥이됨.
그래서 현재 딥러닝의 발견으니 CIFAR의 기여가 컸다.
Breakthrough를 발표하게된다. (hinton, bengio CIFAR)
주요 요지는 초기값이 중요하다. 초기값을 잘주는게 중요하다.
한걸음 더깊게 들어가서는 굉장히 깊은 레이어도 초기값만 잘주면 해결가능하다.
이름을 뉴럴네트워크에서 탈피해서 deep nets,deep learning으로 바꾸자
이때부터 다시 관심을 갖게됨.
이미지넷에서 그림을 주고 맞춰봐 라고 컴퓨터에게 시킴
2010년도에는 30%에 가까운 에러율이었음.
하지만 2012년 힌튼교수의 알렉스라는 학생이 발표한 논문에서 15%로 에러율 떨어뜨림
그후 2015년 딥러닝에서는 3%대의 에러로 떨어지게되었다.(대박)
딥러닝을 이용해서 자연어 처리 시스템을 만들었더니 20%대에서 60%로 비약적인 발전.
알파고도 딥러닝 일부 사용해서 개발됨
페이스북도 관심이 갈만한 피드들만 학습해서 보여준다.
서치엔진도 머신러닝이용해서 사용자 맞춤형 서비스를 보여주면 점점 따라잡기가 힘들어진다.
딥러닝..지금 시작해도 전문가가 될수있다. 그리 복잡하지않고 수학적으로 복잡하지않다.
실용적으로 쓰겠다고생각해도 90%이상의 정확도를 가져오므로 여러분의 매출을 올려주고 삶을 도와주는 수준이 되었다. (대박이다.)
모든걸 다 제쳐두고, 재밌다!!
덧글