ChatGPT는 현재 대화 생성 모델 중 가장 많이 사용되는 모델 중 하나입니다. 이 모델은 OpenAI가 개발하였으며, 많은 파라미터와 하이퍼 파라미터를 가지고 있습니다. 이번 블로그 게시글에서는 이전 글에서 살펴본 파라미터에 이어 ChatGPT에서 사용 가능한 하이퍼 파라미터의 정의와 종류, 그리고 각 유형별 사용법에 대해 설명하겠습니다.
-->
| 목차 |
|
2023년 7월 1일 추가. 필자가 본 포스팅을 올렸을 당시가3월 중순경 ChatGpt 가 출시되고 얼마 안된 시점이라 관련 자료가 미비 할 때여서 글에 부족함이 없지 않았습니다. 때문에 본 포스팅을 작성하고 서도 뭔가 제 스스로도 아쉬움이 있었는대 지난 5월초 서울디지털재단에서 [통합편 : 일상활용·업무활용] ChatGPT활용 사례 및 활용 팁 (개정판)을 발간하였습니다. pdf 파일 형태로 올려진 문서를 다운 받을 수 있도록 아래에 링크 버튼을 남겨 드립니다.
하이퍼 파라미터(Hyperparameter)란?
ChatGPT 모델에서 사용되는 하이퍼파라미터는 모델 학습에 대한 여러 가지 조정 가능한 값들을 의미합니다. 하이퍼파라미터를 적절히 설정하면 모델의 성능을 개선하고 학습 시간을 단축시킬 수 있습니다. 일반적으로 사용되는 하이퍼파라미터 예시로는 다양한 모델 파라미터들이 있으며, 대표적으로 학습률(learning rate), 배치 크기(batch size), 에포크(epoch) 수, 드롭아웃 비율(dropout rate) 등이 있습니다.
하이버퍼 파라미터(Hyperparameter) 종류와 사용법
- 학습률
학습률은 가장 중요한 파라미터 중 하나로, 모델이 얼마나 빠르게 수렴하고 정확한 결과를 도출하는지에 영향을 미치는 요소 중 하나입니다. 학습률을 설정할 때는 보통 0.001 ~ 0.01 정도의 값을 사용하며, 작은 값일수록 느리게 수렴하지만 더 정확한 결과를 얻을 수 있다는 장점이 있습니다.
- max_length
max_length는 생성할 텍스트의 최대 길이를 지정하는 파라미터 입니다. 기본값은 20이며, 이 값을 높일수록 더 긴 텍스트를 생성할 수 있습니다.
- temperature
temperature는 생성된 텍스트의 다양성을 조절하는 파라미터. 값이 작을수록 더 일관된 텍스트를 생성하며, 값이 클수록 더 다양한 텍스트를 생성합니다. 기본값은 0.7 입니다.
- Top-p
top-p: 생성된 텍스트에서 선택할 가능성이 있는 토큰들의 총합 비율. 값이 작을수록 더 보수적인 선택을 하며, 값이 클수록 더 자유로운 선택을 합니다. 기본값은 0.9
- beam width
beam width: 빔 탐색(beam search) 알고리즘에서 사용되는 파라미터 입니다.. 생성된 텍스트에서 선택할 후보들의 개수를 결정하며 값이 클수록 더 많은 후보들을 유지하고 높은 다양성을 보장할 수 있다는 장점이 있지만, 계산 비용이 증가하는 단점이 있습니다. 기본값은 1.
이들 파라미터들은 각각 다양한 입력값의 지정 방식을 지원합니다. 예를 들어, max_length의 경우에는 정수형으로 값을 입력할 수 있으며, temperature와 top-p는 부동소수점형(float)으로 값을 입력할 수 있다. 또한, beam width의 경우에는 정수형으로 값을 입력할 수 있으며, 최적의 값을 찾기 위해서는 실험과 검증을 반복적으로 수행해야 한다.
글을 마치며
이전 글에 이어서 chatgpt에서 사용되는 몇몇의 파라미터와 하이퍼 파라미터에 대해 알아보았다. prompt상에서 질의를 통해 사용자가 원하는 답에 근접한 결과물을 얻기 위해서는 위에 제시된 파라미터들을 질의 문과 함께 결과 출력의 조건으로 값을 지정하여 서술하면 사용목적에 맞는 결과물을 얻을 수 있을 것이다.