이전에 계속 배웠던 것들을 실제로 코드로 구현해보는데 (물론 프레임워크 쓰는거지만ㅋ) 기존에는 이해가 안되었던 것들이 왜 하는건지 어떤걸 하려는건지 보이니까 신기했다 역시 처음에는 이해가 안될지라도 꾸준히 계속 하는 것이 중요한 것 같다 그리고 내일 약속이 잡혀있는데 설렘반 기대반 1. TensorDataset과 DataLoader 입력 데이터를 쉽게 처리하고, 배치 단위로 잘러서 학습할 수 있게 도와주는 모듈 Dataset : 학습시 사용하는 feature와 target의 pair로 이루어짐. 아래에서 코드에서는 TensorDataset을 사용하여 Dataset 인스턴스를 생성했지만, 이미지의 사례와 같이 Dataset 클래스를 상속받아서 커스텀 인스턴스를 생성하는 형태로 많이 사용 DataLoader..

가보자 가보자~ 1. 자전거 대여량 예측 - 선형회귀 다음과 같은 항목들로 이루어져 있는 데이터를 사용해볼 것이다 시간 - 시간별 타임 스탬프 계절 - 1 = 봄, 2 = 여름, 3 = 가을, 4 = 겨울 휴일 - whether the day is considered a holiday 주간 - whether the day is neither a weekend nor holiday 날씨 - 1: 맑음, Few clouds, Partly cloudy, Partly cloudy 2: 안개낌 + Cloudy, Mist + Broken clouds, Mist + Few clouds, Mist 3: 약간 눈내림, 약간 비 + 천둥번개 + Scattered 구름, 약간의 비 + Scattered 구름 4: 소나기 +..

실습 위주라 블로그에 정리하기가 애매하군 제조 데이터의 분류기 실습 1. 데이터 로드 numpy와 pandas는 데이터를 로드하고 형식에 맞게 변형 matplotlib.pyplot과 seaborn은 데이터 시각화를 위해 사용 # 라이브러리 & 데이터 로드 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns df = pd.read_csv('exercise1.csv') df.head() df.shape로 데이터 프레임의 형태를 파악할 수 있다 총 1000개의 행과 7개의 열로 이루어져있다는 것을 확인할 수 있다 df.shape # (1000, 7) target은 0과 1로 구분되어있게 구성했다...

어제 GPT API로 비트코인 자동매매를 만들어보려고 했는데, 생각보다 GPT API 비용이 만만치 않다는 것을 깨달았다 1분마다 보내면 대충 한달에 43만원? 어제 나도 모르게 급발진해서 바로 11달라 충전하고 10마넌 넣고 그랬는데, 지금 생각해보면 너무 대책 없었던 것 같다 이런 것도 다 경험이니까... Gemini 오픈 소스를 써볼까 1. Autoencoder 입력(𝑥)과 출력(𝑦)이 동일한 차원을 갖는 신경망 $(x, 𝑦) ∈ ℝ^{d}$ Encoder의 출력 $𝑧 = ℎ(𝑥) = 𝑤_{𝑒}𝑥 + 𝑏_{𝑒}$ Decoder의 출력 $𝑦 = 𝑔(𝑧) = 𝑔(ℎ(𝑥)) = 𝑤_{𝑑}𝑧 + 𝑏_{𝑑}$ Loss $𝐿(𝑥, 𝑦) = 𝐿(𝑥, 𝑔 (ℎ (𝑥))) = \lVert 𝑥 − 𝑦 \rVert^{..

1. REST 개요 REST 구성 REST 기본 REST의 특성 REST는 캐싱이 가능하다, 위의 예시처럼 Last-Modified에 따라 캐싱할 수 있음 / 그래서 CDN 활용 가능 REST 단점 REST 안티 패턴 동일한 URL 패턴 안에 서로 다른 기능을 하는 함수를 정의하는 것 → 가독성이 엄청 떨어짐 2. 설계 패턴 error body에 콜스택을 넣는 것은 보안에 취약해짐 error code는 넣어주어야 함. 왜냐하면 고객이 에러 코드를 가지고 검색할 수 있게 하기 위해서 error code 정할 때 서비스 별로 range를 나누어서 정리하고 초기에는 1000, 1001, 1002 이런 것보단 1000, 1010, 1020 이런식으로 정하는 것이 좋다. 왜냐하면 나중에 하나의 에러에 비슷한 에러..

아키텍쳐의 정의 아키텍쳐란 비즈니스 문제를 기술로 풀어내는 것을 말한다 즉, 비즈니스 자체를 이해해야 아키텍쳐를 구성할 수 있다는 의미이다 이 시스템을 왜 만드는 건지, 이 시스템에서 목표로 하는 것은 무엇인지를 이해할 줄 알아야 좋은 아키텍쳐를 구성할 수 있다 팀을 이해하고 수익 구조를 이해하고 비즈니스의 목표를 이해하고 디자인해야 함 아키텍쳐 엔지니어가 가지고 있어야할 능력 소통능력 : 아무리 아키텍쳐를 잘 구성했더라고 할 지라도 개발자들이 말을 안들으면 소용이 없음 추상화 능력 : 개념을 요약(추상화)해서 글로 이해가 쉽도록 표현할 수 있는 능력 비즈니스에 대한 이해 문제 정의 능력 플래닝 능력 기술에 대한 깊은 이해 코딩 능력 : 기본적으로 코드 구조, 쓰레드 구조를 이해할 수 있는 정도는 되어야..

이전에 리눅스 성능 분석을 포스팅하면서 나왔던 eBPF에 대해서 정리하려고 한다 https://jaehyeong.tistory.com/entry/%EB%A6%AC%EB%88%85%EC%8A%A4-%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%84%B1%EB%8A%A5-%EB%B6%84%EC%84%9D/ 리눅스 시스템 성능 분석 쿠버네티스 환경을 운영하거나 서버를 운영할 때, 가장 많이 사용하는 운영체제가 리눅스이기 때문에 성능을 분석할 줄 알고 문제가 발생했을 때 빠르게 대처하는 것이 중요하다고 생각합니다. jaehyeong.tistory.com 1. eBPF란? BPF란 The BSD Packet Filter: A New Architecture for User-level Packet Capt..

쿠버네티스 환경을 운영하거나 서버를 운영할 때, 가장 많이 사용하는 운영체제가 리눅스이기 때문에 성능을 분석할 줄 알고 문제가 발생했을 때 빠르게 대처하는 것이 중요하다고 생각합니다. 그리고 클라우드를 사용한다고 하더라도 호스트 환경의 장애나 노이지 네이버 등의 이슈들로 여전히 하드웨어 자원에 대한 분석이 필요합니다. 그래서 이번에는 리눅스 성능을 분석하고 최적화하는 방법에 대해서 정리를 해보겠습니다. https://jaehyeong.tistory.com/entry/BPF-%EA%B8%B0%EB%B0%98-%EB%A6%AC%EB%88%85%EC%8A%A4-%EC%84%B1%EB%8A%A5-%EB%B6%84%EC%84%9D BPF 기반 리눅스 성능 분석 이전에 리눅스 성능 분석을 포스팅하면서 나왔던 eBP..