Prompt Engineering LLM에게 질문을 얼마나 잘 할 것인가? 이것만 잘하더라도 LLM의 정확도를 엄청나게 높일 수 있다 General Prompt Structure Role Task Context Example Constraint N-shot prompt 예제를 하나 주면 one-shot prompting, 두개를 주면 two-shot prompting 이라고 부른다 보통 한개 두개 예제를 줄 때마다 결과의 정확도가 드라마틱하게 올라가기 때문에 예제를 주는 것이 굉장히 중요하다 Chain-Of-Thought (COT) 어떤 과정을 통해서 생각을 해내야하는지를 설명해서 LLM에게 생각하는 힘을 키워주는 것을 COT라고 부른다 수학 문제 같은 경우에 COT를 사용하면 정확도를 굉장히 높일 수 ..

답변 결과의 정확도 평가 qa_data = { "question": [ "In a website browser address bar, what does “www” stand for?", "Who was the first woman to win a Nobel Prize", "What is the name of the Earth’s largest ocean?", ], "answer_groundtruth": ["World Wide Web", "Marie Curie", "The Pacific Ocean"], } qa_data_df = pd.DataFrame(qa_data) qa_data_df PaLM 2세대 모델을 사용하여 답변을 얻고 answer_prediction 열에 저장해봅시다 def get_answer..

구글 스터디잼을 진행하면서 프롬프트 디자인이 나와서 간단하게 정리하고자 한다 Setup - VertexAI 활용 !pip install --user langchain==0.0.310 \ google-cloud-aiplatform==1.35.0 \ prettyprinter==0.18.0 \ wikipedia==1.4.0 \ chromadb==0.3.26 \ tiktoken==0.5.1 \ tabulate==0.9.0 \ sqlalchemy-bigquery==1.8.0 \ google-cloud-bigquery==3.11.4 import vertexai import os import IPython from langchain.llms import VertexAI from IPython.display impor..