LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..

머신 러닝 시스템을 설계할 때 가장 중요한 것이 무엇일까? 언제나 그렇듯 비즈니스 목적이 가장 중요하다. 머신 러닝의 성공 요소는 돈이 되는 비즈니스 문제의 정의와 현업에 적용할 수 있는 협업 환경이다. AI 모델?은 요즘 Auto ML이라는 기술이 있기 때문에 정확한 비즈니스 목적(돈이 되는)과 커뮤니케이션이 가능한 환경이 만드는 것이 더 중요하다 (다른 부서 데이터를 가져다 써야하기 때문) 데이터를 넣으면 자동으로 Vector화 해주고 Model Zoo에서 적합한 모델을 찾아서 뉴런 구조를 수정한다. 하나의 모델만 사용하는 것이 아니라 여러 모델을 만들어서 앙상블하는 구조이다. Auto ML은 데이터를 넣으면 적합한 모델을 자동으로 생성해주는 기술이다 (3~4시간이면 나옴) 검정색이 사람이 만든 모델..

데이터 분석을 해서 insight를 얻으려는 이유? → 돈을 벌기 위해서 Data Analytics Model - Funnel Chart Acquisition: 사람들을 끌어모으는 것, 최종적으로 install하게 하는 것이 목표 ex) Temu에서 룰렛 돌려서 무료 쿠폰 주고 해서 유입시키게 함 ex) Mobile: Download, New User, Demographic info(나이,성별,디바이스 타입), install tracking(어느 광고를 보고 다운로드를 하게 되었는지, 페북 광고? 유튜브 광고? 그래야 비용 효율적인 마케팅 전략이 세워짐) Retention: 계속 들어오게 만드는 것 ex) 게임에서 신규 가입하면 30일 동안 매일 출석 시 아이템 주고 30일 다 채우면 엄청 좋은 아이템 ..

Application servers Application servers spring Apache tomcat Jboss : 빵빵한 기술 지원. 근데 요즘 필요할까??? Pythom Django, Flask Single Threaded Application Server (Optimized to C10K) node.js verte.x Reverse proxy Reverse proxy only : HAProxy Webserver + reverse proxy 캐싱, 압축, SSL 등 다양한 기능 추가 가능 nginx : single thread and more faster Apache httpd Message Queue RabbitMQ AMQP 기반, MQTT 지원 다양한 기능과 다양한 메세징 토폴로지 지원 A..

1. API Server API Server는 보통 세션 정보나 API 키는 중간에 Redis에 넣기 때문에 Stateless 하다. 그래서 api 서버가 restart된다고 큰 문제가 발생하지 않는다 그래서 AWS 클라우드 환경에서 API 서버를 2:8의 비율로 standard와 spot 인스턴스를 조합해서 구성하면 비용을 크게 절감할 수 있다 Multi Threaded Model은 쓰레드 수만큼 처리를 할 수 있다. 자바는 Multi Thread이다 그래서 C10K (Concurrent 10K users,동시 사용자 만명)를 하려면 자바에서는 보통 쓰레드 수를 100개 많으면 500개 두기 때문에 서버 수가 100개가 있어야 한다 → 너무 리소스가 많이 든다 그래서 나온 것이 Non-blocking ..