Logit/생성 기반 병행

[hskhyl]

현재 BaseLine 코드는 Logit 기반으로
아래 코드를 통해 compute metrics를 계산하고

logits = outputs.logits[:, -1].flatten().cpu()

실제 출력도 해당 Logit에서 1,2,3,4,5 에 해당하는 토큰 인덱스를 뽑아낸 뒤
1,2,3,4,5에 매칭되는 토큰의 생성확률만 따로 뽑아내어
가장 높은 확률을 가진 토큰으로 정답 토큰을 뽑아내고 있습니다.

생성 기반도 이와 크게 다르지 않습니다.
그냥 거의 같고 다만, model.generate 하는 부분에서
decode 관련 하이퍼 파라미터들을 직접 조금 만져봐서 결과물을 다르게 할 수 있다는
점이 차이가 있는 것 같습니다.

요약하자면

• Logit 기반: 직접 5개 선택지의 확률만 비교
• 생성 기반: 전체 vocab에서 다양한 디코딩 전략 사용 가능
  • Greedy search
  • Beam search
  • Top-k sampling
  • Temperature sampling

이론상 별도의 Loss 계산 metric이 없으니까
추론도 좀 더 빠른 것 같은데 저희가 추론에 소요되는 시간이
Logit에서도 그다지 크지는 않았으니까 이건 큰 장점은 아닌 것 같습니다.

그리고 하나 더 장점을 말씀드리면 앞서 말씀 드린 것 처럼
별도의 계산으로 알아서 loss를 뽑아주다 보니까
지금의 Logit 기반에서 사용된 Loss 기법이 적용 안되는
모델들에 대해서 에러없이 더 넓은 폭으로 다룰 수 있는 것 같습니다.

Qwen 같은 경우도 7B에서 에러가 있는 것 같은데 이건 Generation으로 한번 해결해 보겠습니다.

[hskhyl]

generation_results_adjust_temperature03.csv
generation_results_adjust_temperature07.csv

Llama 3.1을 파인튜닝한 Varco 8B 결과입니다.
temperature 관련 하이퍼 파라미터만 조정하였는데도, 지금 답변이 약 29.8% 서로 다르게 나옵니다.
이점이 좀 생성기반 모델의 맹점이 될 것 같습니다.
하이퍼파라미터 튜닝을 해야하는데 지금 명확한 답지가 없는 상태니까 사실 어떻게 답변을 최적화 시켜나갈지 감이 잘 오지 않네요. 매번 제출하면서 확인할 수는 없는 노릇이니...