Models를 사용하여 AI 기반 앱 최적화하기

AI 기반 애플리케이션에 대한 모델을 테스트하고 프롬프트를 개선하는 방법을 알아보세요.

이 문서의 내용

새로운 AI 모델이 정기적으로 출시되므로 애플리케이션에 적합한 모델을 선택하는 것이 어려울 수도 있습니다. GitHub Models를 사용하면 샘플 입력에 대해 다양한 모델과 프롬프트 변형을 비교하고, 기본 제공 평가자를 사용하여 모델 출력의 유효성을 검사할 수 있어 AI 기반 애플리케이션을 최적화하는 데 도움이 됩니다.

예제 시나리오를 통해 사용자가 명령줄에서 Git을 사용하는 방법을 배울 수 있도록 AI 기반 도우미를 만들어 보겠습니다. 다양한 모델을 비교하는 방법을 알아보고, 프롬프트 변형을 개선하여, 출력 품질을 향상시키는 방법을 알아봅니다.

참고 항목

프롬프트 테스트

GitHub Models Comparisons 보기를 사용하면 모델 매개 변수와 프롬프트를 조정하여 모델 출력을 테스트할 수 있습니다.

1. 샘플 리포지토리 만들기

모든 리포지토리의 Models 탭에서 직접 Comparisons 보기에 액세스할 수 있지만, 이 가이드에서는 테스트 환경으로 사용할 새 리포지토리를 만들려고 합니다.

  1. 새 리포지토리 페이지로 이동합니다.
  2. “Owner”에서 사용자 계정이 선택되어 있는지 확인합니다.
  3. “Repository name” 필드에 models-playground을 입력하세요.
  4. 설명 필드 아래에서 Private을 선택하여 리포지토리 표시 유형을 설정합니다.
  5. Create repository(리포지토리 만들기)를 클릭합니다.

2. 새 프롬프트 만들기

  1. 새 리포지토리의 기본 페이지에서 Models 탭을 클릭합니다.
  2. "Prompts" 섹션에서 New Prompt를 클릭합니다.
  3. 왼쪽 위 모서리에 있는 드롭다운 메뉴에서 모델을 선택합니다.

3. 시스템 프롬프트 작성

시스템 프롬프트는 AI 모델이 사용자와 상호 작용하기 전에 역할, 동작, 제한 사항을 정의하는 일련의 지침 집합입니다. 이 예제에서는 명령줄에서 Git을 사용하는 방법을 설명하는 AI 기반 애플리케이션을 만들어 보겠습니다.

System prompt 필드에서 다음 텍스트를 복사하여 붙여넣습니다.

Text
You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

참고 항목

System text 필드를 편집할 수 없는 경우, 위의 모델 드롭다운에서 다른 모델을 선택해 보세요. 모든 모델이 시스템 프롬프트를 수정할 수 있는 것은 아닙니다.

4. 사용자 프롬프트 작성

사용자 프롬프트는 대화 중 AI 시스템에 묻는 직접적인 질문이나 지시이며, AI 시스템은 이에 응답합니다.

User prompt 필드에서 다음 텍스트를 복사하여 붙여넣습니다.

Text
I want to learn how to use Git from the command line.

5. 샘플 입력 문구 입력하기

User prompt의 {{input}} 변수는 샘플 입력을 위한 자리 표시자의 역할을 합니다. 이 자리 표시자를 관리하려면 Variables 단추를 클릭하고 다음 텍스트를 입력합니다.

Text
When should I use rebase or merge?

6. 샘플 프롬프트 실행

  1. 오른쪽 위 모서리에서 Play를 클릭합니다.
  2. 모델 또는 프롬프트를 변경한 다음, 프롬프트를 다시 실행하여 어떤 결과가 나오는지 확인합니다.

프롬프트에 따라 달라지는 모델 테스트

이제 Comparisons 보기 기능을 사용하여 어떤 모델이 애플리케이션에 가장 적합한지 확인해 보겠습니다. 이 보기를 사용하면 동일한 입력에 대해 다양한 모델을 테스트하여 정확도, 창의성, 톤, 추론, 신뢰성의 차이점을 파악할 수 있습니다. 품질, 속도, 비용, 일관성 측면에서 사용자의 요구 사항에 가장 적합한 모델을 선택하는 데 도움이 됩니다.

  1. 왼쪽 위 모서리에서 Comparisons를 클릭합니다.

  2. 다양한 모델을 비교하려면 Add prompt를 클릭하고, Copy original prompt를 선택하여 기존 시스템과 사용자 프롬프트를 복제합니다. 세 가지 다른 모델을 평가하려면 원본 프롬프트의 사본을 최소 두 개 이상 만들어 두세요.

  3. 각 프롬프트 옆에 있는 을 클릭합니다. Model 드롭다운에서, 생성된 각 프롬프트에 맞는 다른 모델을 선택합니다.

  4. Add inputs를 클릭하여 샘플 입력을 위한 새로운 행을 만듭니다.

    • Add inputs를 클릭합니다. 그런 다음, "Input" 필드에서 다음 텍스트를 복사하여 붙여넣습니다.

      Text
      How do I modify the most recent commit message in my current branch?

    • Add inputs를 다시 클릭하고 다음의 입력 내용을 붙여넣습니다.

      Text
      How do I move a specific commit from one branch to a different branch?

    • Add inputs를 한 번 더 클릭하고 이 입력을 붙여넣습니다.

      Text
      How do I find the author of a specific commit in a repository's history?

  5. 프롬프트를 실행하려면 오른쪽 위 모서리에서 Run을 클릭합니다.

  6. 프롬프트에 대해 다양한 모델을 시도하고, 해당하는 다양한 모델의 Latency, Input, Output 토큰 사용량을 기록해 두세요.

특정 모델을 이용하여 프롬프트 변형 테스트

특정 AI 모델을 이용하여 애플리케이션을 빌드하는 경우, 예측 가능하고 신뢰할 수 있는 응답이 필요합니다. 프롬프트 변형을 테스트하면 다음과 같은 지원을 받을 수 있습니다.

  • 성능 및 품질 최적화: 문구를 약간만 바꿔도 응답 품질에 영향을 줄 수 있습니다. 다양한 변형을 테스트하여 최상의 응답을 얻는 문구를 찾을 수 있습니다.
  • 명확한 지침: 프롬프트의 구문을 다양하게 바꿔 모델이 가장 명확하게 이해할 수 있는 버전의 구문을 파악할 수 있습니다.
  • 특정 모델 동작에 맞게 조정: 특정 모델이 언어를 해석하는 방식에 맞게 입력을 조정할 수 있습니다.
  • 출력 형식 확인: 목록, 단락, 코드 블록, 특정 톤이 필요할 수 있습니다. 프롬프트 변형을 테스트하면 특정 구조 또는 스타일을 적용하는 데 도움이 됩니다.

이제 GitHub Models를 사용하여 특정 모델의 사용자 입력에 대한 프롬프트 변형을 테스트해 보겠습니다.

1. 프롬프트 변형 추가

이 예제 시나리오에서는 각 열에 맞는 동일한 모델을 선택하지만 기존 프롬프트의 "User prompt" 필드를 편집하여 다른 프롬프트 변형을 제공합니다. 각 프롬프트 옆에 있는 을 클릭합니다.

  1. "Prompt 2"에서 을 클릭합니다. 그런 다음, "User prompt" 필드에서 다음 텍스트를 복사하여 붙여넣습니다.

    Text
    I want to learn how to use Git from the command line, but explain it to me like I am five years old.

  2. "Prompt 3"에서 을 클릭한 후, 다음의 입력 내용을 붙여넣습니다.

    Text
    I want to learn how to use Git from the command line. Give me instructions in the form of a haiku.

2. 프롬프트 변형 실행

  1. 프롬프트를 실행하려면 오른쪽 위 모서리에서 Run을 클릭합니다.
  2. 다양한 프롬프트 변형을 시도하고 모델이 제공하는 출력 유형을 비교합니다.

모델 출력 평가

GitHub Models에서 다양한 모델과 프롬프트 변화를 테스트해 보았습니다. 다음 단계에서는 결과를 해석하고 비교하여 AI 기반 애플리케이션에 대한 정보에 입각한 결정을 내리는 과정에 대해 알아보겠습니다.

예제 시나리오에서 모델을 실행했을 때, 각 실행 후에 Input, Output 토큰 사용량, Latency가 표시되었습니다. 토큰 사용은 비용, 성능, 모델 제한에 직접적인 영향을 미치기 때문에 중요합니다.

  • 대부분의 모델은 입력 및 출력 모두에 대해 토큰당 요금을 청구하므로, 토큰을 많이 사용할수록 비용이 증가합니다.
  • 또한 각 모델에는 최대 토큰 제한(컨텍스트 창이라고 함)이 있으며, 이를 초과하면 오류가 발생하거나 응답이 잘려질 수 있습니다.
  • 프롬프트가 길어 지면 응답 시간이 느려지거나 명확성이 저하될 수 있고, 간결한 프롬프트를 제시했을 때 더 나은 품질의 효율적인 출력이 나타나는 경우가 많았습니다.

GitHub Models를 사용하여 토큰 사용량과 지연 시간을 테스트하면 한도 내에서 유지하고, 비용을 관리하며, AI 기반 애플리케이션의 전반적인 효율성을 개선하는 데 도움이 됩니다.

Evaluators를 사용하여 출력 평가하기

평가할 프롬프트와 모델의 수가 많아지면 모델 출력을 수동으로 정리하기가 매우 번거로울 수 있습니다. 각 모델의 출력 품질을 평가하려면 Evaluators를 사용하여 명확성, 정확도, 관련성 등의 주요 측면에서 결과에 점수를 매길 수 있습니다. 사용자 고유의 평가 조건을 정의하거나 기본 제공 Evaluators를 사용하여 자동으로 출력을 평가할 수 있어 가장 성능이 뛰어난 모델과 프롬프트 변형을 쉽게 식별할 수 있습니다.

이 예제 시나리오에서는 String check Evaluators를 사용하여 출력에 특정 ​​문자열이 포함되어 있는지 확인해 보겠습니다.

  1. Prompts 필드의 오른쪽 하단에서 Add evaluator를 클릭한 다음, String check를 선택합니다.

  2. Name 필드에 "Amend check"를 입력하고 Value 필드에는 아래 입력문을 복사하여 붙여넣습니다.

    Text
    git commit --amend

  3. 프롬프트를 실행하려면 오른쪽 위 모서리에서 Run을 클릭합니다.

  4. 이제 프롬프트 출력에 Pass 또는 Fail 레이블이 표시되어, 어떤 모델이 해당 문자열을 포함했는지 알아볼 수 있습니다.

유사성, 근거성, 관련성과 같은 미리 작성된 Evaluator에 대한 자세한 내용은 AI 모델 평가을(를) 참조하세요.

다음 단계

이제 GitHub Models를 사용하여 모델을 테스트하고, 프롬프트를 개선하며, 출력 결과를 평가하는 방법을 살펴보았으므로, 이제 AI 기반 애플리케이션을 위한 프롬프트 빌드를 시작할 준비가 되었습니다. 프롬프트를 만든 후, 리포지토리에 .prompt.yml 파일을 커밋하여 이를 저장하고, 버전을 지정하고, 공유할 수 있습니다. 이를 통해, 프롬프트를 버전 제어 시스템에 포함시킬 수 있으며, 프롬프트와 모델 개선 작업에 쉽게 공동 작업할 수 있습니다. 자세한 내용은 GitHub 리포지토리에 프롬프트 저장을(를) 참조하세요.

커뮤니티 가입

질문을 하고 피드백을 공유하려면 이 GitHub Models 토론 게시물을 참조하세요.
다른 사용자가 GitHub Models를 어떻게 사용하는지 알아보려면 Models에 대한 GitHub 커뮤니티 토론을 방문해 보세요.