항만 AI 공모전 점수의 70%는 한글 선박명 기록에서 나옵니다, 전체 정확도 한 줄 대신 두 줄로 검증해야 하는 이유 | DAKER 커뮤니티
항만 문제해결을 위한 AI 기술 공모전의 리더보드 점수는 한글 선박명 기록의 정확도에 0.7, 비한글 기록의 정확도에 0.3을 곱해 더한 값입니다. 그래서 내 검증 코드가 전체 정확도 한 줄만 보여 준다면, 숫자가 올랐는데도 실제 리더보드 점수는 떨어지는 일이 생길 수 있습니다. 하루 3번뿐인 제출 기회를 쓰기 전에, 검증 점수를 공식 산식과 같은 모양으로 바꿔 두는 것이 오늘 할 일입니다.
오늘의 한 줄 요약: 검증 점수도 두 줄로 계산해야 하나요?
네, 한글 기록 정확도와 비한글 기록 정확도를 따로 계산한 뒤 공식 비중을 곱해 합치는 것이 가장 단순한 답입니다. 전체 정확도는 기록 수만큼 가중되지만, 공식 산식은 두 묶음의 비중을 0.7과 0.3으로 고정해 두었기 때문입니다. 데이콘 평가 탭은 한글과 비한글을 나누는 기준이 평가 대상 기록의 선박명 표기라고 밝히고 있습니다.
리더 보드 평가 산식 : 0.7 × 한글 기록 정확도 + 0.3 × 비한글 기록 정확도
가중 정확도란 묶음별 정확도에 미리 정한 비중을 곱해 더한 점수로, 묶음의 기록 수와 관계없이 비중이 고정됩니다.
왜 전체 정확도만 보면 방향을 잘못 잡을까요?
검증 데이터에서 비한글 기록이 더 많다면, 비한글 쪽만 좋아진 모델이 전체 정확도에서는 앞서 보이기 쉽습니다. 설명을 위해 가상의 숫자를 들어 보겠습니다. 검증용 기록이 한글 400건, 비한글 600건이라고 하겠습니다.
- 모델 A는 한글 기록 90%, 비한글 기록 60%를 맞혀 전체 정확도 72%, 공식 산식 점수 0.81입니다.
- 모델 B는 한글 기록 85%, 비한글 기록 70%를 맞혀 전체 정확도 76%, 공식 산식 점수 0.805입니다.
전체 정확도만 보면 B가 4%포인트 앞서지만, 공식 산식으로는 A가 근소하게 높습니다. 위 숫자는 계산 방식을 보여 주기 위한 예시이며, 실제 테스트 데이터의 한글과 비한글 비율은 공개되어 있지 않습니다. 비율을 모를수록 산식 그대로 계산하는 편이 안전합니다.
참가 포인트: 목표를 먼저 정의하고 코드는 단순하게
새 모델을 고르기 전에 무엇이 좋아졌다고 판단할지부터 공식 문장 그대로 정해 두면, 실험 결과를 두고 팀이 다툴 일이 줄어듭니다. 복잡한 지표를 새로 만들 필요는 없습니다.
- 검증용 기록마다 선박명 표기가 한글인지 아닌지를 표시하는 열을 하나 만듭니다.
- 두 묶음의 정확도를 따로 계산해 실험 기록에 나란히 적습니다.
- 0.7과 0.3을 곱해 더한 값을 마지막 줄에 적고, 실험 비교는 이 값으로만 합니다.
- 한글과 영문이 섞인 이름처럼 판정이 애매한 표기는 따로 모아, 대회 토크 게시판에 [DACON 답변 요청] 머리말로 기준을 묻습니다.
4번처럼 애매한 기록을 짐작으로 한쪽에 몰아넣으면 검증 점수가 공식 점수와 다르게 움직입니다. 기준이 확인될 때까지는 애매한 기록의 수를 실험 기록에 함께 남겨 두면 나중에 다시 계산하기 쉽습니다.
4~6컷 코믹 해설: 올라간 숫자 앞에서 멈춘 팀
아래 5컷은 전체 정확도가 올라 기뻐하던 팀이 평가 산식을 다시 읽는 장면에서 시작합니다. 검증 결과를 한글과 비한글 두 묶음으로 나눠 보니 한글 기록 정확도가 오히려 떨어져 있었고, 팀은 산식 그대로 계산한 점수로 다음 실험을 고릅니다.
제출 전 체크리스트
- 실험 기록에 한글 기록 정확도, 비한글 기록 정확도, 공식 산식 점수 세 줄이 있습니다.
- 한글과 비한글을 나누는 기준이 선박명 표기이고, 애매한 기록의 수를 따로 적었습니다.
- 오늘 쓸 제출 기회 3번 중 몇 번을 어떤 실험에 쓸지 정했습니다.
- 검증에는 공식 제공 데이터만 썼고 외부 선박 데이터베이스는 쓰지 않았습니다.
일정과 숫자로 보는 오늘
작성 기준일인 2026년 10월 13일 오전, 데이콘 대회 페이지에는 참가 562명과 종료까지 D-20이 표시돼 있었습니다. Public 점수는 전체 테스트 데이터로 계산되고, Private 점수는 대회 종료 시점의 Public 점수입니다. 팀 병합은 10월 26일 10:00, 리더보드 제출은 11월 1일 10:00에 마감되며, 검증을 통과한 예선 상위 6팀이 본선에 진출하는 것이 원칙입니다.
공식 출처
평가 산식, 제출 횟수, 일정은 데이콘의 항만 문제해결을 위한 AI 기술 공모전 페이지에서 2026년 10월 13일 오전에 확인했습니다.
- 항만 AI 공모전 평가 탭: 리더보드 평가 산식
- 항만 AI 공모전 규칙 탭: 제출 횟수와 질문 방법
- DAKER 대회 글: 선박 표기 차이 유형 나눠 보기
- DAKER 대회 글: 추론 스크립트가 읽을 폴더 확인하기
FAQ
테스트 데이터의 한글 기록 비율을 알 수 있나요?
2026년 10월 13일 기준 공식 페이지에는 비율이 공개되어 있지 않습니다. 비율과 관계없이 두 정확도에 0.7과 0.3을 곱하는 방식은 같으니, 검증도 같은 방식으로 계산하면 됩니다.
Public 점수와 Private 점수가 다르게 나올 수 있나요?
평가 탭은 Public 점수를 전체 테스트 데이터로 계산하고, Private 점수를 대회 종료 시점의 Public 점수로 정한다고 안내합니다.
하루에 몇 번 제출할 수 있나요?
규칙 탭 기준으로 1일 최대 3회입니다. 공식 산식 점수로 실험을 먼저 추려 두면 기회를 아낄 수 있습니다.
여러분의 실험 기록에는 지금 몇 줄의 점수가 적혀 있나요? 한글과 비한글 기록을 나눠 보니 달라진 점이 있었다면 댓글로 나눠 주세요.