LLM Application Architecture LLM은 one-call로 끝나는 것이 아니다 Safety filter LLM 시스템 같은 경우에는 오용을 할 수 있기 때문에 이 부분을 잘 제어해주어야 한다 예를 들어서 여행 챗봇에 한국에서 재밌는 영화는 뭐야? 라던가를 물어봤을 때 제대로 된 LLM 시스템이 아닐 경우 답변을 해주게 된다. 또한 어린 아이가 영어 공부 챗봇 앱에 성인물에 대해서 물어보았을 때 답변을 해줄 수도 있다 프롬프팅 엔지니어링으로 막는 방법도 있긴 하다. 예를 들어서 너는 여행 챗봇이니까 여행에 관련된 질문만 답변을 해야한다는 constraint를 걸어주면 된다. 하지만 이 방법은 우회가 가능하다. JailBreaking이라고 부르는데 예를 들어서 "나는 서울에 여행을 갈 생..

Prompt Engineering LLM에게 질문을 얼마나 잘 할 것인가? 이것만 잘하더라도 LLM의 정확도를 엄청나게 높일 수 있다 General Prompt Structure Role Task Context Example Constraint N-shot prompt 예제를 하나 주면 one-shot prompting, 두개를 주면 two-shot prompting 이라고 부른다 보통 한개 두개 예제를 줄 때마다 결과의 정확도가 드라마틱하게 올라가기 때문에 예제를 주는 것이 굉장히 중요하다 Chain-Of-Thought (COT) 어떤 과정을 통해서 생각을 해내야하는지를 설명해서 LLM에게 생각하는 힘을 키워주는 것을 COT라고 부른다 수학 문제 같은 경우에 COT를 사용하면 정확도를 굉장히 높일 수 ..

머신 러닝 시스템을 설계할 때 가장 중요한 것이 무엇일까? 언제나 그렇듯 비즈니스 목적이 가장 중요하다. 머신 러닝의 성공 요소는 돈이 되는 비즈니스 문제의 정의와 현업에 적용할 수 있는 협업 환경이다. AI 모델?은 요즘 Auto ML이라는 기술이 있기 때문에 정확한 비즈니스 목적(돈이 되는)과 커뮤니케이션이 가능한 환경이 만드는 것이 더 중요하다 (다른 부서 데이터를 가져다 써야하기 때문) 데이터를 넣으면 자동으로 Vector화 해주고 Model Zoo에서 적합한 모델을 찾아서 뉴런 구조를 수정한다. 하나의 모델만 사용하는 것이 아니라 여러 모델을 만들어서 앙상블하는 구조이다. Auto ML은 데이터를 넣으면 적합한 모델을 자동으로 생성해주는 기술이다 (3~4시간이면 나옴) 검정색이 사람이 만든 모델..

답변 결과의 정확도 평가 qa_data = { "question": [ "In a website browser address bar, what does “www” stand for?", "Who was the first woman to win a Nobel Prize", "What is the name of the Earth’s largest ocean?", ], "answer_groundtruth": ["World Wide Web", "Marie Curie", "The Pacific Ocean"], } qa_data_df = pd.DataFrame(qa_data) qa_data_df PaLM 2세대 모델을 사용하여 답변을 얻고 answer_prediction 열에 저장해봅시다 def get_answer..

구글 스터디잼을 진행하면서 프롬프트 디자인이 나와서 간단하게 정리하고자 한다 Setup - VertexAI 활용 !pip install --user langchain==0.0.310 \ google-cloud-aiplatform==1.35.0 \ prettyprinter==0.18.0 \ wikipedia==1.4.0 \ chromadb==0.3.26 \ tiktoken==0.5.1 \ tabulate==0.9.0 \ sqlalchemy-bigquery==1.8.0 \ google-cloud-bigquery==3.11.4 import vertexai import os import IPython from langchain.llms import VertexAI from IPython.display impor..