LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..

데이터 분석을 해서 insight를 얻으려는 이유? → 돈을 벌기 위해서 Data Analytics Model - Funnel Chart Acquisition: 사람들을 끌어모으는 것, 최종적으로 install하게 하는 것이 목표 ex) Temu에서 룰렛 돌려서 무료 쿠폰 주고 해서 유입시키게 함 ex) Mobile: Download, New User, Demographic info(나이,성별,디바이스 타입), install tracking(어느 광고를 보고 다운로드를 하게 되었는지, 페북 광고? 유튜브 광고? 그래야 비용 효율적인 마케팅 전략이 세워짐) Retention: 계속 들어오게 만드는 것 ex) 게임에서 신규 가입하면 30일 동안 매일 출석 시 아이템 주고 30일 다 채우면 엄청 좋은 아이템 ..

CDN (Contents Delivery Network) 글로벌 서비스를 제공할 때 일반적인 api 콜은 조금 느리더라도 패킷 자체의 사이즈가 작기 때문에 크게 문제가 되진 않지만, 이미지 또는 바이너리 파일 같은 경우에는 사이즈가 크기 때문에 전세계에 엣지 서버를 두고 콘텐츠를 캐싱하여 제공하는 것이 CDN이다 CDN에서 가장 신경써야할 부분은 비용이다. 굉장히 비싼 서비스이기 때문... CDN 마켓 Big3 Akami CD Networks AWS CDN CDN은 Discount Rate가 굉장히 큰 편이다. 그래서 하나의 제품만 생각하지 말고 최소 2개 이상의 제품을 알아봐야 한다. Discount Rate가 큰 이유는 한번 쓰게되면 의존성 때문에 다시 못 나갈 것이라고 생각하기 때문...ㅋ 그렇기 ..

1. API Server API Server는 보통 세션 정보나 API 키는 중간에 Redis에 넣기 때문에 Stateless 하다. 그래서 api 서버가 restart된다고 큰 문제가 발생하지 않는다 그래서 AWS 클라우드 환경에서 API 서버를 2:8의 비율로 standard와 spot 인스턴스를 조합해서 구성하면 비용을 크게 절감할 수 있다 Multi Threaded Model은 쓰레드 수만큼 처리를 할 수 있다. 자바는 Multi Thread이다 그래서 C10K (Concurrent 10K users,동시 사용자 만명)를 하려면 자바에서는 보통 쓰레드 수를 100개 많으면 500개 두기 때문에 서버 수가 100개가 있어야 한다 → 너무 리소스가 많이 든다 그래서 나온 것이 Non-blocking ..

레퍼런스 아키텍쳐 중 Common Architecture라고 할 수 있는 SOA 아키텍쳐에 대해서 정리 1. 서비스 지향 아키텍쳐 aka.SOA MSA의 원조격이라고 볼 수 있는 아키텍쳐이다 Rest API 이전에 사용했으며 SOAP이라는 프로토콜을 사용했었다 (SOA는 아키텍쳐, Rest API는 통신 프로토콜) SOA는 2000년대 초반에 많이 유행했던 아키텍쳐이다 기본적으로 MSA와 비슷하게 Rest API로 나눠진 서비스 분산 시스템이다 SOA의 등장 배경은 Business Agility이다. 즉, 비즈니스의 기동성을 높이기 위해 백엔드 단의 시스템을 변경이 용이하고 재사용이 쉬운 구조로 만들기 위해 등장 2. 서비스란? 서비스란 기본적으로 플랫폼에 종속되지 않는 표준 인터페이스(ex. Rest ..

아키텍쳐의 정의 아키텍쳐란 비즈니스 문제를 기술로 풀어내는 것을 말한다 즉, 비즈니스 자체를 이해해야 아키텍쳐를 구성할 수 있다는 의미이다 이 시스템을 왜 만드는 건지, 이 시스템에서 목표로 하는 것은 무엇인지를 이해할 줄 알아야 좋은 아키텍쳐를 구성할 수 있다 팀을 이해하고 수익 구조를 이해하고 비즈니스의 목표를 이해하고 디자인해야 함 아키텍쳐 엔지니어가 가지고 있어야할 능력 소통능력 : 아무리 아키텍쳐를 잘 구성했더라고 할 지라도 개발자들이 말을 안들으면 소용이 없음 추상화 능력 : 개념을 요약(추상화)해서 글로 이해가 쉽도록 표현할 수 있는 능력 비즈니스에 대한 이해 문제 정의 능력 플래닝 능력 기술에 대한 깊은 이해 코딩 능력 : 기본적으로 코드 구조, 쓰레드 구조를 이해할 수 있는 정도는 되어야..

이번에 솔데스크 AWS 클라우드 교육 과정을 진행하면서 해당 자격증에 흥미가 생겨서 취득을 하게 되었다 SAA 자격증은 AWS 사에서 주최하는 시험으로 AWS 서비스를 이용하여 아키텍처를 상황에 맞게 설계할 수 있는지 검증하는 시험이라고 볼 수 있다 최근에 많은 기업들이 클라우드를 사용하고 있고 AWS 사가 업계 1위를 차지하고 있기 때문에 더욱 흥미가 생겼다 해당 자격증을 취득하면 요런 귀여운 뱃지도 선물로 준다ㅎㅎ (RPG 게임 칭호 업적 수집하는 기분이 들어서 재밌었다, 추후에 다른 자격증들도 준비할 예정이다) 참고로 AWS 클라우드 관련 자격증은 난이도와 종류별로 엄청나게 다양하다 공부 방법 사실 공부 방법이랄게 별로 없는게 본인은 기본적으로 학원을 다니면서 해당 서비스들을 실습해보고 있었기 때문..