Chapter 4. LLM의 기본 기능을 고려한 기법

Posted by yunki kim on January 2, 2024

1. 태스크 프롬프트

  • 태스크 프롬프트는 AI에게 직접적으로 작업을 시키는 행위이다. 태스크 프롬프트는 어떤 형식을 이용해 작업을 시키냐에 따라 두 가지로 나뉜다.
    • 평문형 태스크 프롬프트: 평문 형태로 구성된 작업 수행 명령
      • ex: 한국어를 영어로 번역해 줘
    • 하이퍼파라미터형 태스크 프롬프트: 별도의 업무 지시 프롬프트 문구를 사용하는 방식
      • ex: Task: Translation(Korean → English)

2. 트랜스포머의 본업, 텍스트 변형

  • 번역과 같이 입력받은 테스트의 의미를 유지한 채, 변형된 테스트를 생성하는 기법을 텍스트 변형 기법이라 한다.
  • AI에게 평문형 태스크 프롬프트로 명령을 내렸을 때, 올바른 답을 제시하지 못한다면 하이퍼파라미터형 태스크 프롬프트를 시도해 볼 수 있다. 그러면 더 좋은 결과를 얻을 수도 있다.

3. 어텐션의 본업, 요약

  • 어텐션은 요약에 특화되어 있다. 또 한, LLM에는 수많은 어텐션이 탑재되어 있으므로, LLM 역시 뛰어난 요약 실력을 가지고 있다.
  • 이처럼 텍스트를 요약하는 기술을 요약 기법이라 한다.
  • 요약을 위해선 단순히 평문에 요약해 달라는 명령을 추가하기만 하면 된다.

4. 정보와 지식의 흔적을 토대로, 분류

  • LLM이 대규모 텍스트를 학습하는 과정에서 대량의 정보와 지식이 흔적처럼 레이턴스 스페이스에 남아 있게 된다. 레이턴스 스페이스의 정보를 토대로 각 수물에 대한 정보를 조합하고 재구축해서 다시 나열하는 것이 분류 작업이다.

5. 감정과 표현의 흔적을 토대로, 감정 분석

  • 감정 분석도 된다.

6. 디코더의 본업, 확장

  • 트랜스포머는 정보의 압축(이해)을 담당하는 인코더와 정보의 확장(이해)을 담당하는 디코더로 구성된다. GPT의 경우 디코더만 사용한다. 이는 제공된 한정된 정보를 토대로 확장된 정보를 생성할 수 있다는 의미이다.
  • 예컨대, 다음과 같이 구매한 음료수가 상했다는 클레임 메일을 작성할 수 있다. complain email example

출처 - 프롬프트 엔지니어링