Kimi K3.1 Pro가 코딩 에이전트 평가 65.7%를 내세우며 11월 4일까지 가중치를 공개해 국내 팀도 사내 환경에서 시험할 수 있습니다 | DAKER 커뮤니티
Moonshot AI가 Kimi K3.1 Pro를 공개했습니다. 기술 블로그에 따르면 K3.1 시리즈의 첫 모델로, 회사가 지금까지 낸 3T급 오픈 웨이트 모델 가운데 가장 성능이 높고 100만 토큰 컨텍스트를 지원합니다. 응답 속도를 2~3배 높인 K3.1 Pro Highspeed도 함께 나왔습니다. 두 모델은 Kimi.ai, Kimi Work, Kimi Code, Kimi API에서 바로 쓸 수 있고, 전체 가중치는 11월 4일까지 공개됩니다. 오픈 웨이트 모델을 자체 인프라에 올려 코딩 에이전트나 사내 분석에 쓰려는 국내 팀이라면 가중치 공개 시점에 맞춰 검토 일정을 잡아 둘 만합니다.
코딩 에이전트 벤치마크: Terminal-Bench 4.0에서 65.7%
Moonshot AI가 가장 앞세운 숫자는 코딩 에이전트 평가입니다. 실제 터미널 과제를 엄격한 테스트로 채점하는 Terminal-Bench 4.0에서 K3.1 Pro는 65.7%를 기록했다고 밝혔습니다. 같은 표에서 GPT-6 Astra는 58.2%, Claude Opus 5.5는 66.4%입니다. 여러 단계 실행과 도구 사용을 보는 자체 평가 Kimi Code Bench 3.0 Long-horizon에서는 61.2%로, 이전 모델 K3의 55.95%보다 올랐습니다.
3D 작업도 강조했습니다. 여러 시점의 렌더링을 보고 CAD 코드로 3D 형상을 재구성하는 BenchCAD에서 도구를 쓴 조건으로 92.7%를 기록했고, 비교 대상인 Claude Opus 5.5는 96.2%, GPT-6 Astra는 95.9%입니다. 금융 문서 분석 평가 OfficeQA Pro v2에서는 64.4점을 받았다고 밝혔습니다. 이 수치는 모두 Moonshot AI가 직접 공개한 결과이며, 자체 평가가 섞여 있다는 점을 감안해서 읽어야 합니다.
금융 업무 평가도 자체 지표로 공개했습니다. 재무 모델링은 K3보다 7.2점, 근거와 기준 시점 조건을 지키는 리서치 작성은 11.6점 올랐고, 시뮬레이션 경영 과제에서는 K3의 약 4.2배 성과를 냈다고 합니다. 장기 코딩 사례로는 인체 보행 시뮬레이터를 만들며 167개 미션을 수행했고, 어깨 근육 계산에서 오류 36개를 스스로 찾아 고친 뒤 제어기를 다시 학습시켰다고 소개했습니다.
환각률과 사이버 역량 통제
사실 정확도 개선도 눈에 띕니다. 오류가 나기 쉬운 상황을 일부러 모은 자체 스트레스 테스트에서 주장 단위 환각률이 K3의 23.4%에서 8.3%로 내려갔다고 합니다. 회사는 이 수치가 일상 사용의 전체 오류율을 뜻하지 않는다고 따로 적어 두었습니다.
오픈 웨이트 공개본을 위해 중간 학습과 강화학습 두 단계에서 사이버 관련 데이터를 찾아 제거했고, 일반 코딩 과제는 남겨 두었습니다.
위 문장은 기술 블로그의 설명을 우리말로 정리한 것입니다. 자체 취약점 공격 평가 xdev-bench-hard에서 데이터 제거 전 체크포인트는 90.5%를 풀었고, 최종 K3.1 Pro는 81.0%였습니다. Moonshot AI는 오픈 웨이트가 사이버 역량의 최전선을 넓히지 않도록 하겠다는 원칙을 밝혔습니다.
국내 팀이 확인할 사용 조건
- API 모델 이름은 kimi-k3.1-pro와 kimi-k3.1-pro-highspeed입니다. API 고객에게는 제로 데이터 보존 옵션이 제공됩니다.
- Kimi Enterprise에서는 출시 시점에 기본으로 꺼져 있어 관리자가 켜야 합니다.
- Kimi Code에서는 /model 명령으로 K3.1 Pro를 고를 수 있습니다.
- 가중치는 11월 4일까지 공개 예정이므로, 3T급 모델을 돌릴 GPU 자원과 라이선스 조건은 공개본이 나온 뒤 확인해야 합니다.
국내 입장에서 의미 있는 지점은 비교 기준입니다. 상용 모델과 비슷한 코딩 에이전트 점수를 내는 오픈 웨이트 모델이 나오면, 데이터를 외부로 보내기 어려운 조직도 같은 과제를 사내 환경에서 시험해 볼 수 있습니다. 다만 공개 수치를 그대로 믿기보다 우리 저장소와 업무 문서로 짧은 평가 세트를 만들어 직접 비교하는 편이 안전합니다.