이번 강사님의 오티를 듣는데 체계적이고 실습도 많을 것 같아서 재밌어보인다는 생각이 들었다 기대가 되는구만 그리고 어제부터 조대협의 대항로 1기를 5주간 진행하게 되었는데 다들 15년차 급의 시니어들에다가 사업하시는 분들도 있고... 20대에 신입은 나 밖에 없는 것 같다;; 팀을 구성해서 프로젝트를 진행해야 하는데 조금 부담쓰~ 근데 머 일단 해보자. 설마 죽기야 하겄어? 1. 군집 알고리즘의 개념 및 활용 군집 알고리즘이란 주어진 데이터에서 구조와 패턴을 찾아서 유사한 개체를 그룹화하는 군집 분석에 쓰이는 알고리즘이다 그럼 군집 알고리즘을 통해서 무엇을 할 수 있을까? 이전에 했었던 분류랑 다르게 군집 분석은 비지도 학습이다. 군집 분석을 활용하면 기존에 알고 있던 기준이 아니라 새로운 관점에서 그 ..

안돼~ 혁펜하임님 파트가 끝났다ㅜㅜ 아숩~ 패캠 강의가 끝나고 나서는 혁펜하임님 커리큘럼이랑 논문 리뷰를 쭈욱 진행해봐야겠다 1. 연속적인 데이터와 RNN (Recurrent Neural Network) RNN은 이름 그대로 반복되는 인공 신경망이다 이전의 값들을 반복적으로 사용한다? 뭘 할 수 있을까? 댓글을 읽고 상대의 기분이 어떤지 예측? 주식 차트 예상? 번역? 1-1. RNN의 동작 방식 이전에 나왔던 출력값을 다시 사용하는 것이다 이때 레이어는 같은 것을 사용한다 수식으로 표현하면 다음과 같다 tanh( )는 하이퍼볼릭 탄젠트라는 액티베이션이다 시그모이드의 단점을 좀 보완한 형태이다 이런 식으로 이전의 값들을 계속 사용하기 때문에 RNN은 이전 정보를 계속 담고 있다고 볼 수 있다 2. RNN..

오늘은 삼일절이라 출근을 안했습니다ㅎㅎ 그리고 제 생일입니다~ 그리고 오랜만에 집에 내려와서 노트북으로 쓰느라 그림판이 더 엉망이네요 ㅜㅜ (아침부터 바빴네유) 1. 컬러 사진에 대한 컨볼루션 그러면 컬러 사진에 대해서는 컨볼루션을 어떻게 적용할 수 있을까? 일단 컬러니까 RGB로 3개 채널일 것이다 입력값이 3개의 채널을 가지고 있으므로 3x3 필터또한 각각의 채널에 스캔을 해야하므로 3개의 채널을 가지고 있어야 한다 그렇다면 필터를 꼭 하나만 써야할까? 고양이의 코, 고양이의 다리, 고양이의 귀 이런식으로 여러가지 필터를 적용해볼 수 있을 것이다. 그렇다면 어떻게 될까? 이렇게 입력 데이터의 채널과 동일한 채널을 가지는 필터를 그만큼 여러개로 늘리면 그만이다 그러면 이 필터를 거치면 어떤 출력값이 나..

강의를 들으면서 모르는 용어나 헷갈리는 용어가 나오면 구글링을 하고 있는데 게시된 날짜를 보면 막 2017년에 올라왔던 글이고 그렇다 근데 7년이 지난 지금 공부하는 입장으로서 뒤처지고 있는건 아닐까? 라는 막연한 두려움이 생긴다 그래도 해야지 머 ㅇㅉ은 맞긴한데 내가 어떻게 저 사람들을 따라잡고 뛰어넘을건지는 앞으로 계속 고민을 해봐야겠다 1. Overfitting 방지 트레이닝 때는 잘하는데 테스트 때는 잘 못하는 것이 오버피팅이다 너무 오버피팅이 되어 버리면 위 그림처럼 덜 오버피팅된 것이 미확인 데이터와 로스가 더 적어질 수도 있는 상황이 연출된다 1-1. 모델을 좀 더 단순하게 그럼 너무 깊은 인공 신경망을 써서 생기는 문제이니, 신경망을 단순하게 하면 되지 않냐!! 생각이 많으면 오히려 일을 ..

어제 좀 달렸더니 아침에 못 일어났다...ㅎ 휴우... 겨우 시간 안에 작성했다;; 1. Univeral Approximation Theorem 지금까지 여러가지 액티베이션을 보면서 AI가 어떻게 학습하는지에 대해서 공부를 해보았다 근데 이렇게 만든 모델이 우리가 원하는 답을 잘 알려줄 수 있을까? 뭘 믿고? 무슨 근거로? 실컷 학습시켰더니 완전 이상하게 되어버릴 수도 있지 않은가 Univeral Approximation Theorem 이라는 증명이 이런 의심을 잠재워 줄 것이다 Univeral Approximation Theorem은 히든 레이어가 딱 한층만 있더라도 어떤 데이터든 Loss가 0인 연속 함수로 나타낼 수 있다라는 것을 보여준다 이렇게 히든 레이어 한 층만으로도 순차적으로 Loss 0인 ..

혁펜하임 선생님의 강의의 가장 좋은 점은 생각할 수 있는 방법을 기르게 한다는 점이다 이거 듣고 혁펜하임 커리큘럼에 맞게 수업들어야 겠다 지갑 열어 왜 이런식으로 나오고 어떻게 생각했는지가 중요하다 누구나 알고 있지만 가장 어려운 것...ㅎ 1. MSE vs Log-Likelihood 로스 함수 중에 MSE와 Log-Likelihood가 있다 MSE는 선형회귀, Log-Likelihood는 이진 분류에 많이 사용한다 Likelihood는 관측된 사건이 고정된 상태에서, 확률 분포가 변화될 때(=확률 분포를 모를 때 = 가정할 때), 확률을 표현하는 단어이다 2. 로스 함수를 결정하는 방법 : 해석의 차이 그럼 로스 함수는 어떤걸 기준으로 정하면 될까? 그냥 선형회귀에는 MSE를 사용하고, 이진 분류에는 ..

다양한 해석이 가능하다는 것을 보여주기 위해서 여러가지를 보여주시는데 어렵네요 해석이 가능할려면 일단 이해를 하고 있어야 하는데, 하나 하나 이해하기가 벅차군... 이진 분류, 베르누이 분포, 시그모이드, 로짓 어쩌구~ 흐흐흐 점심 나가서 먹을 것 같아 1. 비선형 액티베이션 (Non-Linear Activation)이 중요한 이유 지난번에 인공신경망을 수식으로 표현해보았다 그렇다면 더 깊은 더더 깊은 인경 신공망도 표현할 수 있을까? 할 수 있다! 단, 비선형 액티베이션일 때만! 왜 선형 액티베이션에서는 안되는걸까? 선형 액티베이션에서는 인공 신경망이 아무리 깊어져도 의미가 없어진다 인공 신경망이 아무리 깊어진다고 할 지라도 선형 액티베이션이라면 히든 레이어가 다 의미가 없어짐 따라서, non-line..

앞부분 강의는 들으면서 나중에 이해될거야! 하면서 일단 받아들이는 느낌으로 갔었는데 혁펜하임 성님 강의는 기초부터 찬찬히 설명해주셔서 이해가 쏙쏙되니까 들을 맛이 난다!!! (물론 이해 안되는 부분도 있긴 함ㅎ) 언젠가 인공지능 박사까지 취득하는 그 날을 상상하며 오늘도 달려보자~! 0. Optimizer Optimizer는 딥러닝에서 Network가 빠르고 정확하게 학습하는 것을 목표로 한다 밑에 그림들은 포스팅 전체를 읽고 다시 훑어보면 좋을 것 같다 1. Momentum vs RMSProp (Root Mean Square Propagation) 1-1. Momentum 모멘텀이랑 관성, 탄성, 가속도를 의미하는 단어이다 즉, SGD처럼 휙휙 꺾이지 말고 이전의 그라디언트를 계속 고려해주며 마치 관성..