공공 AI는 어디까지 맡길 수 있을까: 자동화보다 먼저 정해야 할 결정의 경계 | DAKER 커뮤니티
민원 창구를 닮은 화면에서 AI 도우미가 모든 버튼을 누르지는 않습니다. 쉬운 정리는 맡지만, 결정을 바꾸는 순간에는 사람 담당자 쪽으로 종이를 밀어 놓습니다.
지금 공공 영역의 AI를 이야기할 때 중요한 질문도 여기에 있습니다. 얼마나 많이 자동화할 수 있는가보다, 무엇을 자동화하지 않을 것인가를 먼저 정해야 한다는 점입니다. 기능을 늘리는 설계보다 결정의 경계와 책임의 흐름을 분명히 하는 설계가 더 중요해지고 있습니다.
자동화보다 먼저 봐야 할 것
공공 영역의 에이전트 AI는 할 일을 늘리는 기술이 아니라, 기계가 정하면 안 되는 일을 먼저 줄이는 설계에서 시작합니다.
공공 영역의 에이전트 AI는 할 일을 늘리는 기술이 아니라, 기계가 정하면 안 되는 일을 먼저 줄이는 설계에서 시작합니다.
정책·산업 적용의 질문이 얼마나 자동화할 수 있나에서 무엇을 자동화하지 않을 것인가로 옮겨가고 있습니다. DAKER 참가자에게도 기능 목록을 길게 제시하는 일보다, 어떤 결정은 AI가 맡고 어떤 결정은 사람이 다시 보는지 설명하는 능력이 중요해졌습니다.
사람의 권리, 자격, 비용, 안전을 건드리는 AI는 편리함만으로 설득되지 않습니다. 사용자는 어떤 판단이 자동 처리됐고, 어떤 판단은 사람이 다시 봤는지 알고 싶어 합니다. 그 경계가 보여야 신뢰도 생깁니다.
참가자가 볼 포인트
| 볼 포인트 | 왜 볼까요? | 남길 증거 |
|---|---|---|
| 자동 정리 | 자료 모으기와 요약처럼 위험이 낮은 일을 맡깁니다. | 요약 로그 |
| 사람 결정 | 권리나 비용이 바뀌는 판단은 사람이 확인합니다. | 승인 기록 |
| 이의 제기 | 사용자가 결과를 다시 물을 길을 남깁니다. | 재검토 버튼 |
| 책임 문장 | 누가 마지막 판단을 했는지 짧게 보이게 씁니다. | 안내 문구 |
이 표가 보여 주는 핵심은 단순합니다. AI가 잘할 수 있는 정리와 안내는 맡기되, 결과가 사람의 권리나 비용에 직접 영향을 주는 판단은 사람 확인 단계로 남겨 두는 것이 좋습니다. 여기에 사용자가 다시 물을 수 있는 재검토 흐름과 마지막 책임자를 드러내는 문장까지 갖춰져야 서비스 설명이 단단해집니다.
서비스 설계에 바로 적용하는 기준
내 서비스의 AI 행동을 정리, 추천, 결정으로 나눠 보면 어디까지 자동화할 수 있는지 훨씬 선명해집니다. 이때 권리나 비용이 바뀌는 항목은 사람 확인 단계로 빼 두는 것이 좋습니다.
또 하나 중요한 것은 사용자가 결과를 다시 물을 수 있는 흐름입니다. 재검토가 가능한지, 마지막 책임자가 누구인지 화면 문장으로 남겨 두면 사용자는 시스템이 어떻게 작동하는지 이해하기 쉬워집니다.
중요한 것은 AI가 얼마나 많이 일하느냐가 아니라, 어떤 결정에서 멈추고 사람에게 넘기느냐입니다.
실수하기 쉬운 지점
에이전트가 일을 많이 한다고 해서 좋은 공공 서비스가 되는 것은 아닙니다. 특히 사용자에게 불리한 결정은 자동화 범위를 더 좁게 잡아야 합니다. 사람 확인 단계를 숨기면 겉으로는 편리해 보여도 신뢰는 약해질 수 있습니다.
정책·공공 영역에서는 확인되지 않은 효과나 비용 절감을 단정하지 않는 태도도 중요합니다. 설명할 수 있는 범위 안에서 자동화의 역할과 한계를 함께 보여 주는 편이 더 설득력 있습니다.
DAKER에서 이어서 볼 만한 곳
비슷한 실험 흐름은 DAKER 리서치, DAKER 대회, DACON 대회 목록에서 이어서 확인할 수 있습니다.
참고 자료
https://daker.ai/community?directory=research
https://daker.ai/community?directory=competition
https://dacon.io/competitions
여러분이라면 공공 AI에서 반드시 사람에게 남겨야 할 결정 경계를 어디에 두고 싶으신가요?