nanochat 파인튜닝에서 SFT보다 먼저 정해야 할 평가 질문 | DAKER 커뮤니티
nanochat 파인튜닝 학습에서 자주 놓치기 쉬운 지점은 SFT를 끝낸 뒤에야 좋아졌는지 묻기 시작한다는 점입니다. 하지만 결과가 그럴듯해 보인다고 해서 학습이 잘됐다고 판단하기는 어렵습니다. 먼저 어떤 질문으로 평가할지 정해 두어야, 개선과 우연을 구분할 수 있습니다.
이번 글은 AI 생성 정보의 신뢰성 판단 및 검증 교재와 최근 nanochat 학습 흐름을 함께 보며, 바로 따라 해볼 수 있는 확인 루프를 정리한 내용입니다.
왜 평가 질문을 먼저 정해야 하나요?
작은 모델을 직접 다룰 때 가장 흔한 착각은 출력 문장이 자연스러우면 학습이 성공했다고 보는 것입니다. 그러나 SFT 뒤에는 같은 질문 세트와 나쁜 답변 기준, 그리고 평가 로그가 있어야 실제 개선이 있었는지 확인할 수 있습니다.
SFT를 돌린 뒤 좋아졌는지 묻기 전에 어떤 질문으로 평가할지 먼저 정해야 합니다.
2026년 7월 13일 KST 공개 학습 API 기준으로는 예상 120분, 5개 스테이지, 학습자 2명, 조회 2회로 확인됩니다.
SFT와 검증은 어떻게 연결되나요?
nanochat은 후속 조정과 평가, 추론까지 한 저장소에서 이어 볼 수 있게 해 줍니다. 여기서 중요한 것은 SFT 자체보다도, SFT 전후에 같은 질문을 던지고 답변 변화와 실패 유형을 비교하는 절차입니다.
SFT란, 예시 질문과 답변으로 모델의 응답 형식을 더 원하는 방향에 맞추는 지도 미세조정입니다.
같은 질문을 SFT 전후에 다시 던져 보고, 답변 변화와 실패 유형을 비교하는 절차가 더 중요합니다.
| 구분 | 확인 질문 | 남길 증거 |
|---|---|---|
| 입력 | nanochat의 후속 조정과 평가를 답변 품질 체크리스트로 연결하는 방법을 찾는 한국어 학습자 | 기준일과 샘플 기록 |
| 실험 | 가장 작은 실행 단위가 무엇인가요? | 10분 안에 확인한 로그 |
| 검증 | 성공과 실패를 어떻게 나눴나요? | 체크리스트 결과 |
바로 따라 해볼 실습 흐름
실습은 전체 파이프라인을 한 번에 끝내기보다, 작은 증거를 남기는 방식으로 시작하는 것이 좋습니다. 먼저 DAKER 학습에서 AI 생성 정보 검증 교재와 최근 nanochat 평가 글을 열고, SFT 전에 평가 질문 5개를 적어 둡니다.
그다음 각 질문마다 좋은 답변 조건과 멈춰야 할 나쁜 답변 조건을 한 줄씩 남기면 됩니다. 이후 SFT를 진행한 뒤 같은 질문을 다시 던져 답변 길이, 사실성, 거절 기준을 비교합니다. 개선되지 않은 질문은 데이터 추가가 필요한지, 아니면 평가 기준이 흐린지 나누어 보는 것이 좋습니다.
좋은 답변 기준만이 아니라 나쁜 답변 기준도 함께 있어야 그럴듯한 출력을 개선으로 착각하지 않습니다.
코믹 해설은 무엇을 보여주나요?
4~6컷 코믹 해설은 이 흐름을 짧게 압축해 보여줍니다. 학습자는 SFT 완료 화면만 보고 성공이라고 말하지만, 평가 질문 카드는 같은 5문항을 먼저 고정합니다. 이어서 좋은 답변 기준과 나쁜 답변 기준이 나뉘고, SFT 전후 답변은 같은 표에서 비교됩니다. 마지막에는 다음 데이터 추가 여부를 근거를 바탕으로 결정하게 됩니다.
자주 막히는 지점
막히는 지점은 대체로 비슷합니다. SFT가 끝난 뒤에야 평가 질문을 새로 만들거나, 좋은 답변 예시만 보고 나쁜 답변 기준을 남기지 않는 경우가 많습니다. 또 한두 개의 마음에 드는 출력만으로 전체 모델 품질을 판단하거나, 평가 로그 없이 데모 화면만 저장하는 경우도 반복해서 나타납니다.
실수 방지 체크리스트
실수를 줄이려면 몇 가지를 먼저 확인하면 됩니다. SFT 전에 고정 질문 5개를 만들었는지, 좋은 답변과 나쁜 답변 기준을 둘 다 적었는지, SFT 전후에 같은 질문을 비교했는지, 그리고 개선 실패를 데이터 문제와 평가 문제로 나눴는지를 점검하면 됩니다.
다음 학습은 어디로 이어지나요?
오늘 실습은 다른 nanochat 학습과도 자연스럽게 이어집니다. nanochat 실행 준비 학습, nanochat chat CLI 학습, nanochat 평가 지표 학습, DAKER 학습 디렉터리 순서로 보면 실행 준비, 첫 대화, 평가 지표를 이번 실습과 연결해 볼 수 있습니다.
참고 자료
AI 생성 정보의 신뢰성 판단 및 검증, DAKER 학습 디렉터리
자주 묻는 질문
SFT 뒤 가장 먼저 할 평가는 무엇인가요?
SFT 전에 정한 같은 질문을 다시 던지고, 답변 변화와 실패 유형을 비교하는 것입니다.
좋은 답변 기준만 있으면 안 되나요?
나쁜 답변 기준이 없으면 그럴듯한 문장을 개선으로 착각하기 쉽습니다.
질문은 몇 개면 충분한가요?
처음에는 5개면 충분합니다. 중요한 것은 SFT 전후에 같은 질문을 유지하는 것입니다.
DAKER에서 오늘 할 실습은 무엇인가요?
최근 nanochat 평가 글을 참고해 SFT 전 평가 질문 5개와 실패 기준 5개를 먼저 써 보는 것입니다.
여기서라면 어떤 평가 질문 5개를 먼저 고정해 보고 싶은가요?