LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..

머신 러닝 시스템을 설계할 때 가장 중요한 것이 무엇일까? 언제나 그렇듯 비즈니스 목적이 가장 중요하다. 머신 러닝의 성공 요소는 돈이 되는 비즈니스 문제의 정의와 현업에 적용할 수 있는 협업 환경이다. AI 모델?은 요즘 Auto ML이라는 기술이 있기 때문에 정확한 비즈니스 목적(돈이 되는)과 커뮤니케이션이 가능한 환경이 만드는 것이 더 중요하다 (다른 부서 데이터를 가져다 써야하기 때문) 데이터를 넣으면 자동으로 Vector화 해주고 Model Zoo에서 적합한 모델을 찾아서 뉴런 구조를 수정한다. 하나의 모델만 사용하는 것이 아니라 여러 모델을 만들어서 앙상블하는 구조이다. Auto ML은 데이터를 넣으면 적합한 모델을 자동으로 생성해주는 기술이다 (3~4시간이면 나옴) 검정색이 사람이 만든 모델..

Application servers Application servers spring Apache tomcat Jboss : 빵빵한 기술 지원. 근데 요즘 필요할까??? Pythom Django, Flask Single Threaded Application Server (Optimized to C10K) node.js verte.x Reverse proxy Reverse proxy only : HAProxy Webserver + reverse proxy 캐싱, 압축, SSL 등 다양한 기능 추가 가능 nginx : single thread and more faster Apache httpd Message Queue RabbitMQ AMQP 기반, MQTT 지원 다양한 기능과 다양한 메세징 토폴로지 지원 A..

1. REST 개요 REST 구성 REST 기본 REST의 특성 REST는 캐싱이 가능하다, 위의 예시처럼 Last-Modified에 따라 캐싱할 수 있음 / 그래서 CDN 활용 가능 REST 단점 REST 안티 패턴 동일한 URL 패턴 안에 서로 다른 기능을 하는 함수를 정의하는 것 → 가독성이 엄청 떨어짐 2. 설계 패턴 error body에 콜스택을 넣는 것은 보안에 취약해짐 error code는 넣어주어야 함. 왜냐하면 고객이 에러 코드를 가지고 검색할 수 있게 하기 위해서 error code 정할 때 서비스 별로 range를 나누어서 정리하고 초기에는 1000, 1001, 1002 이런 것보단 1000, 1010, 1020 이런식으로 정하는 것이 좋다. 왜냐하면 나중에 하나의 에러에 비슷한 에러..

현재 우리는 앱스토어가 나오면서 1인~5인 이하와 같이 소규모로 사업이 가능해지고, 클라우드의 도입을 통해 누구나 백엔드를 만들고 아무나 운영할 수 있는 시대를 직면하게 되었다. 이러한 시대에 가장 중요한 것은 무엇일까? 비즈니스의 Agility가 매우 중요해졌다. 그에 따라 많은 아키텍쳐들이 변화하고 있다. 그렇게 등장한 것이 마이크로 서비스 아키텍쳐이다 1. Microservice Architecture SOA 아키텍쳐에서도 비즈니스 민첩성을 위해 intermediary 서비스와 bpm을 통해서... 하지만 먹히지 않았다. 왜냐하면 너무 기술적인 부분에만 치중이 되었기 때문이다. 사실 개발이 진행되면서 시간이 가장 오래걸리는 부분은 사람들간의 의사소통이다 (기능 하나 바꿀려면...어쩌구...저쩌구....

레퍼런스 아키텍쳐 중 Common Architecture라고 할 수 있는 SOA 아키텍쳐에 대해서 정리 1. 서비스 지향 아키텍쳐 aka.SOA MSA의 원조격이라고 볼 수 있는 아키텍쳐이다 Rest API 이전에 사용했으며 SOAP이라는 프로토콜을 사용했었다 (SOA는 아키텍쳐, Rest API는 통신 프로토콜) SOA는 2000년대 초반에 많이 유행했던 아키텍쳐이다 기본적으로 MSA와 비슷하게 Rest API로 나눠진 서비스 분산 시스템이다 SOA의 등장 배경은 Business Agility이다. 즉, 비즈니스의 기동성을 높이기 위해 백엔드 단의 시스템을 변경이 용이하고 재사용이 쉬운 구조로 만들기 위해 등장 2. 서비스란? 서비스란 기본적으로 플랫폼에 종속되지 않는 표준 인터페이스(ex. Rest ..

이번에 종로에 있는 솔데스크 국비지원 교육을 수료하고 후기를 작성해보려고 합니다. 클라우드 국비지원 학원 다니게된 계기 대학교를 다니면서 교수님과 진로상담을 진행했었던 적이 있었습니다. 그 때, 교수님께서 요즘 클라우드가 전망이 매우 밝고 수요가 많으니 배울 기회가 있다면 꼭 배워보라고 하셨었습니다. 그 기억을 바탕으로 졸업 후 클라우드 국비지원 교육을 신청하게 되었습니다. 교육과정 및 학원 제가 수강했던 교육은 AWS 클라우드 인프라를 구축해보고 운영 및 관리, CI/CD를 구축해보는 과정이었습니다. 수업은 자율적으로 대면과 비대면으로 진행이 되었습니다. 아무래도 코로나 시기이기 때문에 그런 것 같은데, 교육 과정에 팀프로젝트도 있다보니 대면이 많이 유리하다고 느껴졌습니다. 미리 팀원들도 구하고 친해질..

이번에 솔데스크 AWS 클라우드 교육 과정을 진행하면서 해당 자격증에 흥미가 생겨서 취득을 하게 되었다 SAA 자격증은 AWS 사에서 주최하는 시험으로 AWS 서비스를 이용하여 아키텍처를 상황에 맞게 설계할 수 있는지 검증하는 시험이라고 볼 수 있다 최근에 많은 기업들이 클라우드를 사용하고 있고 AWS 사가 업계 1위를 차지하고 있기 때문에 더욱 흥미가 생겼다 해당 자격증을 취득하면 요런 귀여운 뱃지도 선물로 준다ㅎㅎ (RPG 게임 칭호 업적 수집하는 기분이 들어서 재밌었다, 추후에 다른 자격증들도 준비할 예정이다) 참고로 AWS 클라우드 관련 자격증은 난이도와 종류별로 엄청나게 다양하다 공부 방법 사실 공부 방법이랄게 별로 없는게 본인은 기본적으로 학원을 다니면서 해당 서비스들을 실습해보고 있었기 때문..