반응형
- [ 아키텍쳐/레퍼런스 아키텍쳐 - Common ]LLM 시스템 아키텍쳐 설계2024-04-13 16:09:58LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..
- [ 아키텍쳐/레퍼런스 아키텍쳐 - Common ]머신 러닝 시스템 아키텍쳐 설계2024-04-08 06:05:13머신 러닝 시스템을 설계할 때 가장 중요한 것이 무엇일까? 언제나 그렇듯 비즈니스 목적이 가장 중요하다. 머신 러닝의 성공 요소는 돈이 되는 비즈니스 문제의 정의와 현업에 적용할 수 있는 협업 환경이다. AI 모델?은 요즘 Auto ML이라는 기술이 있기 때문에 정확한 비즈니스 목적(돈이 되는)과 커뮤니케이션이 가능한 환경이 만드는 것이 더 중요하다 (다른 부서 데이터를 가져다 써야하기 때문) 데이터를 넣으면 자동으로 Vector화 해주고 Model Zoo에서 적합한 모델을 찾아서 뉴런 구조를 수정한다. 하나의 모델만 사용하는 것이 아니라 여러 모델을 만들어서 앙상블하는 구조이다. Auto ML은 데이터를 넣으면 적합한 모델을 자동으로 생성해주는 기술이다 (3~4시간이면 나옴) 검정색이 사람이 만든 모델..
- [ 아키텍쳐/레퍼런스 아키텍쳐 - Common ]백엔드 솔루션들2024-03-24 08:19:59Application servers Application servers spring Apache tomcat Jboss : 빵빵한 기술 지원. 근데 요즘 필요할까??? Pythom Django, Flask Single Threaded Application Server (Optimized to C10K) node.js verte.x Reverse proxy Reverse proxy only : HAProxy Webserver + reverse proxy 캐싱, 압축, SSL 등 다양한 기능 추가 가능 nginx : single thread and more faster Apache httpd Message Queue RabbitMQ AMQP 기반, MQTT 지원 다양한 기능과 다양한 메세징 토폴로지 지원 A..
- [ 아키텍쳐/아키텍쳐 설계 방법론 ]REST API 디자인 설계2024-03-10 17:38:401. REST 개요 REST 구성 REST 기본 REST의 특성 REST는 캐싱이 가능하다, 위의 예시처럼 Last-Modified에 따라 캐싱할 수 있음 / 그래서 CDN 활용 가능 REST 단점 REST 안티 패턴 동일한 URL 패턴 안에 서로 다른 기능을 하는 함수를 정의하는 것 → 가독성이 엄청 떨어짐 2. 설계 패턴 error body에 콜스택을 넣는 것은 보안에 취약해짐 error code는 넣어주어야 함. 왜냐하면 고객이 에러 코드를 가지고 검색할 수 있게 하기 위해서 error code 정할 때 서비스 별로 range를 나누어서 정리하고 초기에는 1000, 1001, 1002 이런 것보단 1000, 1010, 1020 이런식으로 정하는 것이 좋다. 왜냐하면 나중에 하나의 에러에 비슷한 에러..
반응형