반응형
- [ 인공지능/프레임워크 or 라이브러리 ]대량의 데이터 다루기, 누락된 데이터 처리, 클래스 활용2024-02-20 06:55:12어제 같이 국비지원 학원을 다녔던 친구를 만나서 가볍게 한잔하고 왔더니 한시간 더 자버렸다ㅋ 그래도 적당히 마셔서 다행이다 휘유~ 그리고 돈 좀 아껴쓰자!!! 1. 자료구조를 이용해 수만 개의 데이터 처리하기 어떤 자료 구조를 이용해야 수만 개의 데이터를 빠르게 다룰 수 있을까? 파이썬으로 대량의 데이터를 만들어보고 직접해보자 성(last name)과 이름(first name)을 30개씩 준비한다 가능한 조합은 30 * 30 = 900개이다 import random import numpy as np import pandas as pd import heapq import time last_names = [ "Smith", "Johnson", "Williams", "Jones", "Brown", "Davis..
- [ 인공지능/확률과 통계 ]샘플링, 추세선 그리기, 통계 실습2024-02-19 05:32:22실습 위주로 ㄱㄱ 1. 다양한 분포에서 샘플링(Sampling) 해보기 샘플링이란 어떤 자료에서 일부 값을 추출하는 것을 의미한다 파이썬의 numpy를 사용하면 간단하게 정규 분포, 베타 분포 등에서 샘플링을 진행할 수 있다 import numpy as np import matplotlib.pyplot as plt 1-1. NumPy 균등 분포(Uniform Distribution) 구간 내 모든 데이터에 대하여 추출 확률이 동일한 분포이다 sampled = np.random.uniform(low=0.0, high=1.0, size=(2, 4)) print(sampled) 이런 식으로 균등 분포를 가지는 데이터를 가져올 수 있다 추출한 데이터는 히스토그램(histogram)을 그려 확률 분포를 시각화할 ..
- [ 인공지능/기초 수학 ]확률 변수, 확률 분포, 평균, 분산, 균등 분포, 정규 분포2024-02-18 20:47:53확률과 통계에서 다뤘던 내용인데 다른 선생님께서 기초 수학 파트로 설명을 해주신다 그래서 나도 헷갈리지 않게 확률과 통계 섹션에 안 넣고 기초 수학 섹션에 넣었다 사실 지금 확률과 통계 들어가기 전에 두개 강의가 더 있긴 한데 정리를 안했다... 아니 못했다 뭔 소린지 모르겠어서;; 이게 패캠의 가장 큰 단점인 것 같다. 깊이가 너무 얕다. 그래서 새로운 지식을 습득하고자 할 때는 패캠은 비추합니다... 어느 정도 알고 있는 분야에서 더욱 나아고자 할 때, 여러가지 오픈 소스들을 활용해보고 싶을 때 이럴 때는 추천합니다 1. 확률 변수와 확률 분포 동전을 던져서 앞면, 뒷면을 맞추는 게임을 한다고 했을 때, 이거를 우리가 어떻게 수식으로 표현할 수 있을까? 수식으로 표현하기 위해서 동전의 앞면을 1, 뒷..
- [ 인공지능/기초 수학 ]미분, 도함수, 연쇄 법칙, 편미분, 테일러 급수2024-02-17 23:08:27오늘은 머리도 자르고 세미나도 듣고 하다보니 저녁부터 글을 쓰고 있는데 하필 내용도 좀 어렵네요;;; 테일러 급수 보면서 참 재미난 발상이라는 생각이 듭니다 오늘도 열심히 달려봅시다~ 1. 미분과 도함수 미분이란 특정 값에서의 순간 변화율을 의미한다 → 그래프상에서의 순간 기울기 $y = x$와 같은 일차함수에서는 순간 기울기가 의미가 없지만 $y = x^{2}$과 같은 이차함수 이상에서는 그래프가 곡선의 형태를 보여주기 때문에 순간 기울기가 진가를 발휘한다 순간 기울기를 구하기 위해서는 $\frac{y의 변화량}{x의 변화량}$으로 구해야 하는데 매번 직접 구하기에는 귀찮다 그렇기 때문에 값들을 변수로 표현하여 순간 기울기를 구하는 공식에 대입하여 정리하면 도함수를 도출하여 사용할 수 있다. 즉, 도함..
- [ 인공지능/기초 수학 ]함수, 로그함수, 벡터와 행렬, 극한, 입실론-델타 논법2024-02-16 21:18:58오우쉣~ 고딩 때 하던 수학 그대로이다 강의를 보니 요즘은 벡터랑 행렬을 안 배운다던데...? 이거 실화임? 벡터와 행렬 그리고 딥러닝, 누가 생각한건지 모르겠는데 참 대단한 것 같다 어제 친구 게임 인프라를 테라폼으로 구현 좀 하느라고 12시 넘어서 잤더니 조금 늦게 일어났다... 그래서 퇴근하고 마저 작성한 후에 올립니다ㅜ 1. 함수 함수란 무엇일까? 함수란 두 변수 x,y에 대하여 x가 정해지면 그에 따라 y의 값이 하나만 결정될 때, y를 x의 함수라고 한다 $y=f(x)$ y가 여러개 정해질 수 있다면 그것은 함수가 아니다 함수는 좌표에 그래프로 표현할 수 있다 무수히 많은 x 값에 대응하는 y의 값을 좌표에 하나씩 표현을 하다보면 결국 그것이 이어진 것처럼 보이게 되고 그래프로 표현이 된다 그..
- [ 인공지능/프레임워크 or 라이브러리 ]의사 결정 트리, 랜덤 포레스트, SVM, 선형 회귀2024-02-15 05:13:39여기까지 딥러닝과 관련된 파이썬의 라이브러리 또는 프레임워크들을 알아보았고 내일부터는 기초 수학들을 좀 다룰 예정이다 ex) 함수, 로그, 미분... 고등학교 시절 추억이 새록새록 날 것 같다ㅎㅎ 친구들이랑 야자 도망가면서 많이 맞았었는데...ㅋ 사실 지금까지 정리한 것들을 다 이해했다고 말하기 힘들다. 아니 절반도 이해 못했다. 하지만 시작이 중요한거니까... 끝까지 가면 내가 다 이겨 1. 의사 결정 트리 (Decision Tree) 이진 트리 구조로 예/아니오로 답할 수 있는 질문을 반복하여 분류를 수행하며 판별을 한다 붓꽃 데이터 세트로 실습해보자 컬럼명 의미 데이터 타입 Species 붓꽃의 종 : setosa, versicolor, virginica Factor Sepal.Width 꽃받침의 ..
- [ 인공지능/프레임워크 or 라이브러리 ]사이킷런 개요, 가상 데이터, 데이터 분할, ROC 커브2024-02-14 06:25:01어제 천재 혁명가 곽상빈이라는 유튜브에서 나만의 부적만들기라는 컨텐츠를 보고 따라해보려고 하는 중이다 10년 후의 나의 모습, 5년 후, 3년 후를 생각해서 작성하려다 보니 쉽지 않다 항상 계획을 짜야지 짜야지 생각은 했었는데 막상 해보려고 하니 어렵다 매달, 매주, 매일 계획을 짜고 하나씩 달성해보자 1. 사이킷런(Scikit-Learn) 개요 사이킷런(scikit-learn)은 기계 학습을 위한 다양한 기능을 제공하는 파이썬 라이브러리다 가상 데이터(분류 등) 생성 기능을 제공한다 기계 학습을 위해 다양한 기본적인 데이터 세트를 제공한다 다양한 기계 학습 모델(SVM, 랜덤 포레스트 등)을 제공한다 1-1. 사이킷런에서 제공하는 데이터 세트 예시 - 붓꽃(iris) 품종 예측 데이터 세트 붓꽃에 대한..
- [ 인공지능/프레임워크 or 라이브러리 ]텐서플로우 자동미분, 모델 생성 후 테스트2024-02-13 05:51:02연휴 끝! 1. 텐서플로우의 자동 미분과 기울기(Gradient) TensorFlow에서는 Gradient Tape 기능을 제공한다 중간의 관련 연산들을 테이프에 기록하고, 역전파(backward)를 수행했을 때 기울기가 계산된다 import tensorflow as tf x = tf.Variable([3.0, 4.0]) y = tf.Variable([1.0, 2.0]) # 진행되는 모든 연산들을 기록 with tf.GradientTape() as tape: z = x + y loss = tf.math.reduce_mean(z) dx = tape.gradient(loss, x) # loss가 scalar이므로 계산 가능 print(dx) TensorFlow에서는 변수가 아닌 상수라면 기본적으로 기울기를 ..
반응형