OpenAI 코볼 이전 평가에서 GPT-6.1 Sol이 97.9%를 기록해 금융권 레거시 코드 전환 실험의 문턱이 낮아집니다 | DAKER 커뮤니티

OpenAI가 코볼(COBOL), 포트란(Fortran), OCaml, 비주얼 베이식처럼 학습 자료가 적은 프로그래밍 언어에서 최신 모델의 코딩 능력이 크게 올랐다는 평가 결과를 10월 19일 공개했습니다. 새로 만든 코볼 이전 평가에서 GPT-6.1 Sol은 높은 추론 강도로 97.9%의 정확도를 기록했고, 20개 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 만드는 MultiLangBench에서는 GPT-6 Astra가 평균 87.4%의 테스트를 통과했습니다. 이 글은 10월 20일 기준 OpenAI 공식 글을 확인해, 오래된 시스템을 유지하거나 옮겨야 하는 국내 개발자에게 무엇이 달라졌는지 정리합니다.

오래된 데스크톱 컴퓨터의 코드가 최신 노트북으로 흘러가는 장면을 그린 만화풍 설명용 생성 이미지 모션 미리보기 — 설명을 돕기 위해 만든 생성 이미지입니다.

오래된 데스크톱 컴퓨터의 코드가 최신 노트북으로 흘러가는 장면을 그린 만화풍 설명용 생성 이미지 — 설명을 돕기 위해 만든 생성 이미지입니다.

저자원 언어가 왜 중요한가

저자원 언어는 파이썬이나 자바스크립트보다 공개 코드와 문서가 훨씬 적어 모델이 배울 재료가 부족한 언어를 말합니다. 그런데 이 언어들이 떠받치는 시스템은 결코 작지 않습니다. OpenAI는 코볼이 온라인 뱅킹 시스템의 40% 이상, 대면 카드 결제의 80%, ATM 거래의 95%를 지탱하고, 포트란은 기상 예측과 원자로 안전 분석에 쓰인다고 설명합니다. 문서가 불완전하고 원래 개발자가 회사를 떠났으며, 중요한 업무 규칙이 코드 안에만 남아 있는 경우가 많다는 점도 짚었습니다.

MultiLangBench, 20개 언어로 SQLite 만들기

첫 번째 평가는 지정한 언어로 SQLite 호환 엔진을 만들게 합니다. 모델은 코드베이스를 구성하고 상태와 오류를 관리하며 기존 기능을 깨지 않고 새 기능을 더해야 합니다. 언어가 달라도 같은 테스트를 쓰기 위해 데이터베이스 파일을 공통 인터페이스로 삼고, SQLite 자체 테스트 묶음을 이 형식으로 바꿔 채점합니다.

최대 추론 강도에서 GPT-6 Astra의 평균 통과율은 87.4%로, GPT-5.6 Sol의 26.8%에서 크게 올랐습니다. 언어별로는 코볼이 10.9%에서 72.1%, OCaml이 25.6%에서 85.8%, 포트란이 21.4%에서 83.5%, 비주얼 베이식이 27.5%에서 89.4%가 됐습니다. Astra는 20개 언어 중 19개에서 83%를 넘겼고, 가장 어려운 언어는 여전히 72%의 코볼이었습니다. 저렴한 GPT-6 Luna도 평균 40.3%로 모든 언어에서 GPT-5.6 Sol을 앞섰고, 표본당 추정 API 비용은 0.77달러로 GPT-5.6 Sol의 3.48달러보다 약 78% 낮았습니다. OpenAI는 평가 설정과 테스트 묶음, 언어별 결과를 GitHub에 공개한다고 밝혔습니다.

코볼 이전 평가, 소수점 하나까지 같아야 통과

두 번째 평가는 코볼 프로그램을 C++, 자바, 코틀린, 파이썬, 러스트로 옮기면서 동작을 그대로 지키는지 봅니다. 숨겨진 테스트에서 관찰 가능한 출력이 바이트 단위로 같아야 하며, 모든 테스트를 통과해야만 성공으로 칩니다. OpenAI가 든 예시가 실무적입니다. 코볼의 고정소수점 연산은 반올림을 명시하지 않으면 남는 자릿수를 버리는데, 이전한 코드가 대신 반올림을 하면 오류 없이 돌면서도 금융 결과가 달라집니다.

GPT-6.1 Sol은 낮은 추론 강도에서 86.6%를 기록해 같은 설정의 GPT-5.6 Sol 5.4%를 크게 앞섰고, API 비용은 61% 수준이었습니다.

추론 강도를 높이면 정확도는 97.9%까지 올라 평가가 거의 포화 상태에 이릅니다. 다만 OpenAI도 실제 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙, 의존성에 대한 테스트가 여전히 필요하다고 적었습니다.

국내 개발팀이 활용할 지점

국내 금융·공공 분야에서 코볼이나 포트란으로 짠 시스템을 맡고 있다면, 이번 결과는 코드 이해와 이전 실험의 비용을 다시 계산할 근거가 됩니다. 시작은 작게 잡는 편이 안전합니다. 입출력이 분명한 배치 프로그램 하나를 골라 기존 출력과 바이트 단위로 비교하는 테스트를 먼저 만들고, 모델이 옮긴 코드가 그 테스트를 통과하는지 보는 방식이 OpenAI 평가 설계와도 맞닿아 있습니다. 반올림, 빈 레코드 처리처럼 업무 규칙이 숨은 부분은 사람이 체크리스트로 따로 확인해야 합니다. GPT-6.1 Sol의 가격과 출시 배경은 이전 DAKER 정리 글에서 볼 수 있습니다.

원문은 OpenAI 공식 글 https://openai.com/index/low-resource-programming-languages에서 확인할 수 있습니다.

여러분 주변에 아직 코볼이나 포트란으로 돌아가는 시스템이 있습니까? AI로 옮겨 본다면 어떤 프로그램부터 시험해 보시겠습니까?