LLM 시대, 데이터 사이언스 경진대회는 어디로 가고 DACON은 무엇을 준비해야 하나 | DAKER 커뮤니티

내가 짠 전처리 코드와 파이프라인이 내년에도 경쟁력이 있을지, AI가 최적화까지 해주는 시대에 리더보드 점수를 올리는 일이 실무적으로 어떤 의미를 갖는지 고민하는 분들이 많습니다. 2025년에서 2026년으로 넘어오는 지금, 초거대 언어 모델(LLM)의 발전은 데이터 사이언티스트와 개발자가 경쟁하는 방식 자체를 바꾸고 있습니다.

이 변화는 단순히 도구가 좋아졌다는 수준에 머물지 않습니다. 사람의 역할이 직접 코드를 작성하는 일에서 전체 워크플로우를 기획하고 검증하는 일로 빠르게 이동하고 있기 때문입니다. 개인의 커리어는 물론, 경진대회 플랫폼의 생존 전략까지 함께 다시 봐야 하는 시점입니다.

AI 에이전트가 강해질수록 경진대회 시장은 왜 더 커질까

2025년 8월을 기준으로, 구글의 자율 기계학습 에이전트 MLE-STAR는 캐글 환경을 모방한 벤치마크 테스트에서 63.6%의 메달 획득률을 기록했습니다. 1년도 채 되지 않아 성능이 4배 뛰었다는 점은, AI가 데이터 파일을 받아 모델을 학습시키고 메달권 결과를 자율적으로 제출하는 단계에 가까워졌다는 뜻으로 읽힙니다.

직접 코드를 짜는 능력만으로는 설명되지 않는 경쟁 환경이 이미 시작됐습니다.

흥미로운 점은 자동화가 강해질수록 대회 시장이 오히려 줄지 않았다는 사실입니다. 2025년 한 해 총상금 규모는 1,600만 달러에 달했고, 진행된 대회 수는 390개를 넘었으며, 캐글 플랫폼 사용자 수는 700만 명이 증가한 2,900만 명을 기록했습니다.

이는 경진대회의 중심이 전통적인 예측 모델 설계에서 이동하고 있기 때문입니다. 이제는 알리바바의 Qwen 시리즈 같은 프론티어 오픈소스 LLM을 선택하고, 합성 데이터로 파인튜닝하거나 RAG 파이프라인을 구축하는 방식이 새로운 경쟁의 축이 되고 있습니다.

플랫폼은 리더보드 운영을 넘어 평가 인프라로 바뀌고 있습니다

글로벌 선두 주자인 캐글은 더 이상 단순한 리더보드 플랫폼에 머물지 않고 있습니다. 스스로를 LLM 시대의 평가 및 호스팅 인프라로 전환하며, AI 모델끼리 경쟁하는 게임 아레나 토너먼트와 자연어로 평가 태스크를 생성하는 벤치마크 인프라를 구축하고 있습니다.

국내 플랫폼인 데이콘(DACON)도 이 흐름에 맞춰 포맷 전환을 시작했습니다. 스마트 제조 AI 에이전트 해커톤에서는 단일 채점 지표 대신 기획서와 실제 동작 데모를 함께 보는 2단계 평가를 도입했습니다. 또한 프롬프트 엔지니어링 대회와 기업의 생성형 AI 반복 대회를 운영하며, 실무 중심의 수익화 모델 가능성을 확인하고 있습니다.

이제 플랫폼의 경쟁력은 문제를 여는 능력보다 무엇을 어떻게 평가할 수 있는지에 더 가까워지고 있습니다.

2026년 이후를 위해 DACON이 준비해야 할 세 가지 방향

2026년 3월, 캐글이 누구나 상금을 걸고 대회를 열 수 있는 커뮤니티 해커톤 기능을 무료로 출시하면서 데이콘을 비롯한 로컬 플랫폼의 비즈니스 모델은 더 큰 압박을 받게 됐습니다. 앞으로 18개월은 생존과 성장을 가를 중요한 구간이 될 수 있습니다.

한국형 버티컬 컴플라이언스를 무기로 삼는 방향

글로벌 플랫폼이 바로 침투하기 어려운 영역은 국내 규제와 운영 환경입니다. 개인정보 보호법, 망분리 규제, 공공 보안처럼 한국 특유의 법무·세무·보안 조건을 반영한 대회 호스팅 서비스는 강한 방어선이 될 수 있습니다.

평가 포맷을 표준화하는 방향

단순한 점수 경쟁만으로는 새로운 과제를 충분히 담기 어렵습니다. MVP 데모, AI 에이전트 구동, 프롬프트 작성 역량처럼 다양한 결과물을 객관적으로 평가할 수 있도록 운영 매뉴얼과 심사 기준을 패키지 형태로 정리하는 것이 중요합니다.

AI 에이전트 전용 트랙을 분리하는 방향

자율 기계학습 에이전트가 이미 메달권에 진입한 현실을 받아들인다면, 인간 참가자의 순수 역량을 겨루는 트랙과 AI 도구 활용의 한계를 시험하는 트랙을 나눠 운영하는 방식도 검토할 만합니다. 이렇게 하면 두 집단의 성장을 함께 끌어갈 수 있습니다.

앞으로의 경진대회는 사람과 AI 중 누가 이기느냐보다, 둘의 역할을 어떻게 설계하느냐가 더 중요해질 가능성이 큽니다.

지금 단계에서 함께 봐야 할 한계도 있습니다

다만 현재까지 알려진 AI 에이전트의 높은 메달 획득률은 2025년 8월 기준 22개의 큐레이션된 부분집합 벤치마크에서 측정된 결과입니다. 과거 공개 포럼 데이터가 학습 과정에 포함됐을 수 있는 오염(Contamination) 가능성도 완전히 배제할 수 없습니다.

아직 실시간 라이브 대회에서 인간 최고수를 공식적으로 꺾은 사례가 확인된 것은 아니며, 데이콘의 모든 대회가 LLM 포맷으로 전환된 것도 아닙니다. 변화의 방향은 분명하지만, 속도와 범위를 판단할 때는 이런 조건을 함께 봐야 합니다.

경쟁의 룰을 따를지, 평가의 기준을 설계할지

자동화가 빠르게 진행되는 전환기에는 잘하는 사람의 정의도 달라집니다. AI가 코드를 대신 작성하고 분석 결과까지 제시하는 시대라면, 앞으로 더 중요한 역량은 주어진 규칙 안에서 점수를 높이는 일만이 아니라 새로운 평가 기준을 설계하는 일일 수 있습니다.

데이터 사이언티스트와 개발자, 그리고 플랫폼 운영자 모두에게 지금 필요한 것은 기술 변화 자체보다 그 변화가 경쟁 구조를 어떻게 바꾸는지 읽는 일입니다.

참고 자료

본문의 수치와 사례는 원문에 포함된 내용 기준으로 정리했습니다.

여러분은 LLM 시대의 경진대회에서 참가자와 설계자 가운데 어떤 역할이 더 중요해질 것이라고 보시나요?