LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..

머신 러닝 시스템을 설계할 때 가장 중요한 것이 무엇일까? 언제나 그렇듯 비즈니스 목적이 가장 중요하다. 머신 러닝의 성공 요소는 돈이 되는 비즈니스 문제의 정의와 현업에 적용할 수 있는 협업 환경이다. AI 모델?은 요즘 Auto ML이라는 기술이 있기 때문에 정확한 비즈니스 목적(돈이 되는)과 커뮤니케이션이 가능한 환경이 만드는 것이 더 중요하다 (다른 부서 데이터를 가져다 써야하기 때문) 데이터를 넣으면 자동으로 Vector화 해주고 Model Zoo에서 적합한 모델을 찾아서 뉴런 구조를 수정한다. 하나의 모델만 사용하는 것이 아니라 여러 모델을 만들어서 앙상블하는 구조이다. Auto ML은 데이터를 넣으면 적합한 모델을 자동으로 생성해주는 기술이다 (3~4시간이면 나옴) 검정색이 사람이 만든 모델..

데이터 분석을 해서 insight를 얻으려는 이유? → 돈을 벌기 위해서 Data Analytics Model - Funnel Chart Acquisition: 사람들을 끌어모으는 것, 최종적으로 install하게 하는 것이 목표 ex) Temu에서 룰렛 돌려서 무료 쿠폰 주고 해서 유입시키게 함 ex) Mobile: Download, New User, Demographic info(나이,성별,디바이스 타입), install tracking(어느 광고를 보고 다운로드를 하게 되었는지, 페북 광고? 유튜브 광고? 그래야 비용 효율적인 마케팅 전략이 세워짐) Retention: 계속 들어오게 만드는 것 ex) 게임에서 신규 가입하면 30일 동안 매일 출석 시 아이템 주고 30일 다 채우면 엄청 좋은 아이템 ..

Application servers Application servers spring Apache tomcat Jboss : 빵빵한 기술 지원. 근데 요즘 필요할까??? Pythom Django, Flask Single Threaded Application Server (Optimized to C10K) node.js verte.x Reverse proxy Reverse proxy only : HAProxy Webserver + reverse proxy 캐싱, 압축, SSL 등 다양한 기능 추가 가능 nginx : single thread and more faster Apache httpd Message Queue RabbitMQ AMQP 기반, MQTT 지원 다양한 기능과 다양한 메세징 토폴로지 지원 A..

CDN (Contents Delivery Network) 글로벌 서비스를 제공할 때 일반적인 api 콜은 조금 느리더라도 패킷 자체의 사이즈가 작기 때문에 크게 문제가 되진 않지만, 이미지 또는 바이너리 파일 같은 경우에는 사이즈가 크기 때문에 전세계에 엣지 서버를 두고 콘텐츠를 캐싱하여 제공하는 것이 CDN이다 CDN에서 가장 신경써야할 부분은 비용이다. 굉장히 비싼 서비스이기 때문... CDN 마켓 Big3 Akami CD Networks AWS CDN CDN은 Discount Rate가 굉장히 큰 편이다. 그래서 하나의 제품만 생각하지 말고 최소 2개 이상의 제품을 알아봐야 한다. Discount Rate가 큰 이유는 한번 쓰게되면 의존성 때문에 다시 못 나갈 것이라고 생각하기 때문...ㅋ 그렇기 ..

Identity Management (IDM) - 계정 관리 시스템 구글 아이디 혹은 카카오톡 아이디로 여러 계정에 sso 로그인하는 것을 IDM 시스템 그리고 구글 account 또는 페이스북 account가 IDP(Identity Provider)이다 그리고 로그인할 때 구글 아이디를 사용하게 하는 서비스가 SP(Service provider)이다 IDM은 internal과 external로 나누어진다 internal은 사내에서 사용, 예를 들어 Active Directory랑 통합하던가 그런거 external은 외부에 서비스 제공할 때, 우리가 많이 쓰는 그런거 초반에 IDM 시스템을 잘 구축해야 거버넌스에 맞게 운영할 수 있다 IDM은 Authentication할 때 쓰기 좋다 Authorizat..

1. API Server API Server는 보통 세션 정보나 API 키는 중간에 Redis에 넣기 때문에 Stateless 하다. 그래서 api 서버가 restart된다고 큰 문제가 발생하지 않는다 그래서 AWS 클라우드 환경에서 API 서버를 2:8의 비율로 standard와 spot 인스턴스를 조합해서 구성하면 비용을 크게 절감할 수 있다 Multi Threaded Model은 쓰레드 수만큼 처리를 할 수 있다. 자바는 Multi Thread이다 그래서 C10K (Concurrent 10K users,동시 사용자 만명)를 하려면 자바에서는 보통 쓰레드 수를 100개 많으면 500개 두기 때문에 서버 수가 100개가 있어야 한다 → 너무 리소스가 많이 든다 그래서 나온 것이 Non-blocking ..

1. REST 개요 REST 구성 REST 기본 REST의 특성 REST는 캐싱이 가능하다, 위의 예시처럼 Last-Modified에 따라 캐싱할 수 있음 / 그래서 CDN 활용 가능 REST 단점 REST 안티 패턴 동일한 URL 패턴 안에 서로 다른 기능을 하는 함수를 정의하는 것 → 가독성이 엄청 떨어짐 2. 설계 패턴 error body에 콜스택을 넣는 것은 보안에 취약해짐 error code는 넣어주어야 함. 왜냐하면 고객이 에러 코드를 가지고 검색할 수 있게 하기 위해서 error code 정할 때 서비스 별로 range를 나누어서 정리하고 초기에는 1000, 1001, 1002 이런 것보단 1000, 1010, 1020 이런식으로 정하는 것이 좋다. 왜냐하면 나중에 하나의 에러에 비슷한 에러..