TypeSafe가 텍스트 대신 교정된 확률을 택한 이유 | DAKER 커뮤니티
TypeSafe의 AI Primer는 생성형 AI를 바라보는 관점을 조금 다르게 보여줍니다. 사람에게 읽기 좋은 답을 만드는 일보다, 소프트웨어 안에서 예측 가능하게 동작하는 결정을 만드는 일이 더 중요하다는 문제의식에서 출발합니다.
이 차이는 작아 보이지만, 실제 자동화 시스템을 설계할 때는 꽤 크게 작용합니다. 이번 글에서는 TypeSafe가 왜 생성 텍스트가 아니라 교정된(calibrated) 결정과 확률을 학습 대상으로 삼는지, 문서의 핵심만 따라가 봅니다.
Machine Native Intelligence라는 관점
많은 AI 제품은 사람과의 대화를 중심으로 설계됩니다. 반면 TypeSafe는 대규모 자동화가 AI–AI·AI–소프트웨어 상호작용에 의해 좌우될 것이라는 가정에서 시작합니다. 그래서 채팅 UI보다 기계 인터페이스가 더 중요하다고 봅니다.
문서가 말하는 Machine Native Intelligence는 구조, 신뢰성, 관측 가능성, 테스트 가능성, 속도, 일관성, 낮은 비용 같은 소프트웨어적 속성을 가진 AI를 뜻합니다.
읽기 좋은 답보다 소프트웨어 안에서 예측 가능하게 동작하는 출력이 더 중요하다는 관점입니다.
만능 모델보다 프로덕션용 결정
TypeSafe는 모든 일을 하는 모델을 만들지 않습니다. 대신 코드가 검사하고 행동할 수 있는 좁은 결정이 필요한 프로덕션 시스템을 겨냥합니다.
문서에는 대규모 AI 자동화에서 기계 간 상호작용이 대부분이고, 사람과의 상호작용은 소수일 것이라는 기대도 적혀 있습니다. 이 전제 아래에서는 목표가 달라집니다. 중요한 것은 사람에게 그럴듯하게 보이는 문장이 아니라, 시스템 안에서 안정적으로 다룰 수 있는 출력입니다.
세 가지 포스트트레이닝 경로
문서는 포스트트레이닝의 방향을 세 가지로 나눠 설명합니다.
RLHF
사람이 선호하는 응답을 학습해 챗봇으로 바꾸는 방식입니다.
RLVR
검증 가능한 보상으로 추론 모델을 키우는 방식입니다. 수학 등에 강하지만 더 느리고 비쌀 수 있다고 설명합니다.
RLCD
TypeSafe가 택한 경로입니다. 생성 텍스트 대신 결정과 교정된 확률을 반환하도록 학습합니다.
참고로 문서는 RLHF가 InstructGPT·ChatGPT 학습에 쓰였고, TypeSafe 공동창업자 Diogo Almeida가 공동 발명했다고 적습니다.
TypeSafe의 경로는 텍스트 생성보다 결정과 확률의 신뢰도를 맞추는 데 초점을 둡니다.
교정된 확률이란 무엇인가
RLCD의 출력 계약은 단순합니다. 모델은 텍스트를 생성하지 않고, 결정과 확률을 반환합니다. 그리고 더 높은 확률은 답이 맞을 가능성이 실제로 더 크다는 뜻이어야 합니다.
잘 교정된 모델이라면 여러 예측을 모아 봤을 때, 확률 0.2로 표시한 결과는 약 20%, 0.8은 약 80%, 1.0은 100%에 가깝게 발생해야 합니다. 여기서 중요한 점은 이것이 단일 답에 대한 보장이 아니라 집단 통계라는 사실입니다.
교정은 한 번의 답을 장담하는 개념이 아니라, 많은 예측을 모았을 때 확률과 실제 정합이 맞아떨어지는 성질입니다.
왜 RLHF만으로는 부족한가
문서에 따르면 RLHF는 사람이 선호하는 말을 하도록 가르치기 때문에 챗봇에는 잘 맞습니다. 하지만 그 과정에서 아첨(sycophancy)이나 자신감 있게 들리는 환각을 보상할 수 있습니다.
또한 선호 최적화는 특정 스타일만 남기고 다른 출력 확률을 줄이는 mode dropping을 만들 수 있습니다. 사람에게 설득력 있는 출력과, 무인 자동화에 쓸 수 있을 만큼 신뢰할 수 있는 출력은 서로 다른 최적화 목표라는 점이 여기서 드러납니다.
정리
이 문서가 강조하는 차이는 분명합니다. 사람에게 좋은 답처럼 보이는 것과, 기계가 믿고 사용할 수 있는 결정을 만드는 것은 같은 문제가 아닙니다. TypeSafe는 그 차이를 인정하고, 생성 텍스트보다 교정된 확률을 갖춘 결정 모델에 무게를 둡니다.
결국 이 접근은 AI를 대화 상대로 볼 것인지, 아니면 소프트웨어 시스템의 한 구성 요소로 볼 것인지에 대한 선택과도 연결됩니다.
참고 자료
이전: 1/10 코드가 바로 쓰는 구조화 판단 · 다음: 3/10 빠른 구조화 결정 모델
여러분은 AI 출력의 품질을 볼 때 사람 선호와 기계 신뢰를 어떻게 구분하고 계신가요?