LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..

Prompt Engineering LLM에게 질문을 얼마나 잘 할 것인가? 이것만 잘하더라도 LLM의 정확도를 엄청나게 높일 수 있다 General Prompt Structure Role Task Context Example Constraint N-shot prompt 예제를 하나 주면 one-shot prompting, 두개를 주면 two-shot prompting 이라고 부른다 보통 한개 두개 예제를 줄 때마다 결과의 정확도가 드라마틱하게 올라가기 때문에 예제를 주는 것이 굉장히 중요하다 Chain-Of-Thought (COT) 어떤 과정을 통해서 생각을 해내야하는지를 설명해서 LLM에게 생각하는 힘을 키워주는 것을 COT라고 부른다 수학 문제 같은 경우에 COT를 사용하면 정확도를 굉장히 높일 수 ..

머신 러닝 시스템을 설계할 때 가장 중요한 것이 무엇일까? 언제나 그렇듯 비즈니스 목적이 가장 중요하다. 머신 러닝의 성공 요소는 돈이 되는 비즈니스 문제의 정의와 현업에 적용할 수 있는 협업 환경이다. AI 모델?은 요즘 Auto ML이라는 기술이 있기 때문에 정확한 비즈니스 목적(돈이 되는)과 커뮤니케이션이 가능한 환경이 만드는 것이 더 중요하다 (다른 부서 데이터를 가져다 써야하기 때문) 데이터를 넣으면 자동으로 Vector화 해주고 Model Zoo에서 적합한 모델을 찾아서 뉴런 구조를 수정한다. 하나의 모델만 사용하는 것이 아니라 여러 모델을 만들어서 앙상블하는 구조이다. Auto ML은 데이터를 넣으면 적합한 모델을 자동으로 생성해주는 기술이다 (3~4시간이면 나옴) 검정색이 사람이 만든 모델..

쿠버네티스에 대해서 공부를 하면서 자료를 찾아볼 때 도움이 많이 되었던 블로그 중 하나가 조대협님의 블로그이다 https://bcho.tistory.com/ 조대협의 블로그 실리콘밸리에서 살고 있는 평범한 엔지니어 입니다 이메일-bwcho75골뱅이지메일 닷컴. bcho.tistory.com 그때부터 구독을 하고 있었는데 갑자기 패스트캠퍼스로부터 문자 한통이 날라왔다 조대협님이 패스트캠퍼스와 협력하여 세미나를 여신다고 하신다는 것이다 주제는 실리콘벨리의 대용량 아키텍쳐 트렌드였다 초반에는 최근 인공지능 트렌드와 어떤 방식으로 사용되고 있는지를 말씀해주셨는데, 아무래도 한시간 30분에서 두시간 사이 정도의 세미나이다 보니 자세한 설명이 없었다. 그래서 첨 듣는 용어도 많이 나와서 제대로 이해는 못했지만, 핵..