Qwen 관련 모델 학습 오류

[DDUKDAE]

현재 베이스라인 코드 실행에 관련해서 이해를 못해서 그런지
일단 모델을 바꿔가며 좋은 모델을 찾아보는 중입니다.
그런데 한가지 문제가 발생했습니다.
Qwen 모델이 한국어 성능은 몰라도 기본적으로 성능이 gpt 3.5 보다 좋다는 소리를 들어
한국어로 파인튜닝된 모델을 돌려봤는데

학습이 전혀 되고 있지 않다는 것을 확인할 수 있었습니다.

혹시 베이스 라인 코드로 qwen 모델을 돌리신 분 계신가요?
있다면 학습이 잘 되는지 궁금합니다

[DDUKDAE]

일단 학습 시도해본 모델은 총 두개로

SejongKRX/Sejong-Qwen-v4
spow12/Ko-Qwen2-7B-Instruct

이렇게 두개인데 학습이 둘 다 저렇게 나오는 것으로 보아
qwen 학습법은 조금 다른게 아닌가로 추측중입니다

[hskhyl]

저도 지금 모델 학습 관련해서

1. 모델이 응답을 생성하지 않아 compute metrics 단계에서 에러가 나는 경우
2. chat template과 구조가 맞지 않아 <start_of_turn>model가 누락되어 compute metrics 단계에서 해당 인스턴스(행)는 무시된다는 에러를 봐서

관련해서 좀 찾아보고 있씁니다..!