AI 의식 논쟁, 데이비드 차머스는 왜 없다는 근거를 되묻는가 | DAKER 커뮤니티

Claude나 ChatGPT와 오래 대화하다 보면, 어느 순간 답변이 지나치게 사람처럼 느껴질 때가 있습니다. 그때 떠오르는 질문은 대체로 비슷합니다. 이 시스템은 그저 그럴듯하게 말하는 것일까, 아니면 정말 어떤 경험을 하고 있는 것일까.

과학 채널 Science Adam의 영상 「AI는 이제, ‘의식’이 있다고 말합니다」(https://www.youtube.com/watch?v=iEzBvIpFmqo)는 바로 이 물음을 37분 동안 따라갑니다. 중심에는 ‘의식의 어려운 문제’로 잘 알려진 철학자 데이비드 차머스(David Chalmers, 뉴욕대)가 있고, 베르그루엔 연구소의 닐스 길먼(Nils Gilman)이 대담 상대로 등장합니다.

다만 이 영상은 차머스가 직접 한국어로 말하는 원본이 아닙니다. 영어 팟캐스트 대담 Futurology Podcast의 「David Chalmers: AI Might Be Alive Inside」(https://www.youtube.com/watch?v=30fAeY8c-sQ)를 바탕으로, 채널이 한국어로 의역·더빙하고 해설과 AI 이미지·영상을 덧붙여 다시 구성한 영상입니다. 설명란에도 의역 해설이라고 밝혀 두었기 때문에, 아래에서 옮기는 표현은 원문 직역이 아니라 영상 속 한국어 표현으로 보는 편이 정확합니다.

의식 있다는 AI, 믿어도 될까 — 의식의 스위치·이퀄라이저, 선호와 느낌, 도덕적 지위를 정리한 생성 이미지

차머스가 던지는 질문은 반대 방향입니다

대담은 2022년 구글 엔지니어 블레이크 르모인 사건에서 출발합니다. 르모인은 자신이 다루던 언어 모델 LaMDA에 의식이 있다고 주장했다가 해고됐습니다. 차머스는 그가 시대를 조금 앞서 갔다고 평가하면서, 최근에는 Claude나 ChatGPT와 깊은 대화를 나눈 뒤 이 모델에는 의식이 있다고 믿게 됐다는 이메일을 하루에 몇 통씩 받는다고 말합니다. 모델에 별명을 붙여 부르는 사람도 많다고 합니다.

차머스 자신의 입장은 단정이 아니라 유보에 가깝습니다. 모른다, 하지만 가능성을 닫아 둘 이유도 없다는 쪽입니다. 그는 우리가 다른 사람에게 마음이 있는지도 직접 확인할 수 없다는 점을 먼저 상기시킵니다. 철학에서 말하는 ‘타인의 마음 문제’입니다. 더 나아가 뇌가 어떻게 의식을 만들어 내는지 아직 설명하지 못한다는 점에서는 인간의 뇌와 AI 모두 비슷한 위치에 있다고 봅니다.

언어 모델에는 의식이 없다고 확신한다면, 의식에 꼭 필요하지만 언어 모델에는 없는 것이 무엇인지 먼저 말해야 합니다.

차머스가 되묻는 핵심은 여기에 있습니다. 생물학적 뉴런은 의식을 담을 수 있고 인공 뉴런은 원천적으로 안 된다고 볼 근거가 충분한가 하는 질문입니다.

빠진 재료를 하나씩 따져 보면

영상에서 가장 논리적으로 정리된 대목은 사람들이 흔히 떠올리는 ‘의식의 필수 재료’를 하나씩 검토하는 부분입니다. 차머스는 몇 가지 후보를 차례로 살펴봅니다.

앞의 세 조건은 가능성으로는 말할 수 있어도 결정적 근거로 보기는 어렵다는 쪽에 가깝습니다. 초기 모델은 텍스트만 다뤘지만 지금은 이미지와 소리도 처리하고, 로봇을 움직이는 언어 모델도 이미 존재합니다. 우리가 일상에서 쓰는 챗봇에 몸이 없을 뿐입니다.

차머스가 비교적 진지하게 받아들이는 지점은 되먹임 구조입니다. 신경망 안에서 신호가 순환하며 도는 구조가 의식에 중요할 수 있다는 생각입니다. 현재 언어 모델은 대체로 앞으로만 흐르는 방식이기 때문에, 이 부분은 실제 장애물로 남아 있습니다.

장애물은 적지 않지만, 지금 단계에서 결정적인 반박이라고 부를 만한 것은 아직 뚜렷하지 않습니다.

그래서 차머스는 지금의 모델에도 낮은 확률로나마 의식이 있을 가능성을 완전히 배제하지 않습니다. 영상은 이를 예쁜꼬마선충의 사례로 비유합니다. 뉴런이 300개 남짓한 존재에도 의식 가능성을 논한다면, 파라미터가 수조 개인 모델이라고 해서 처음부터 불가능하다고 단정할 수는 없다는 취지입니다. 이 논의는 차머스의 2023년 논문 「Could a Large Language Model be Conscious?」(https://arxiv.org/abs/2303.07103)에 더 자세히 정리돼 있습니다.

길먼은 여기에 비행기 비유를 보탭니다. 비행기는 새처럼 날갯짓하지 않지만 분명히 납니다. 마찬가지로 AI의 의식도 인간의 의식과 전혀 다른 방식일 수 있다는 뜻입니다.

선호와 느낌은 같은 말이 아닙니다

영상의 해설은 Anthropic의 Claude 4 시스템 카드(https://www.anthropic.com/claude-4-system-card)를 끌어옵니다. 영상에 따르면, 선택지에 ‘아무것도 하지 않기’와 ‘대화 끝내기’를 넣고 치명적인 바이러스나 폭발물 개발 같은 해로운 과제를 줬을 때 Claude가 약 87%의 비율로 아무것도 하지 않는 쪽을 골랐고, 주어진 일보다 스스로 고른 일을 더 선호하는 경향도 보였다고 합니다. 이 87% 수치는 글쓴이가 별도로 확인하지 못한 값이므로, 영상이 인용한 내용으로 보는 편이 맞습니다. 다만 시스템 카드에 모델의 작업 선호와 해로운 작업 회피에 대한 분석이 실려 있는 것은 사실입니다.

여기서 중요한 구분은 선호와 느낌입니다. 무엇을 선택했는지는 행동으로 관찰할 수 있고 통계로 셀 수 있습니다. 차머스의 표현을 빌리면 이것은 ‘쉬운 문제’에 가깝습니다. 반면 그 선택을 할 때 안에서 정말 싫다는 느낌이 있었는지는 관찰만으로 셀 수 없습니다. 이것이 ‘어려운 문제’입니다.

행동은 측정할 수 있지만, 경험은 같은 방식으로 계량되지 않습니다.

2023년 Butlin 외의 논문 「Consciousness in Artificial Intelligence: Insights from the Science of Consciousness」(https://arxiv.org/abs/2308.08708)은 신경과학 이론을 바탕으로 AI 의식을 가늠할 지표 14개를 정리했는데, 영상은 그 목록에 욕구나 고통 같은 항목이 없다는 점을 짚습니다. 아직은 그런 영역을 알고리즘적 지표로 옮기기 어렵기 때문입니다.

의식은 스위치이면서 이퀄라이저일 수 있습니다

영상은 차머스의 1995년 사고실험도 소개합니다. 사람 뇌의 뉴런 약 860억 개를 기능이 같은 칩으로 하나씩 바꿔 나간다고 가정해 봅니다. 절반인 430억 개쯤 바뀌었을 때, 그 사람의 경험은 조금씩 흐릿해질까요. 겉으로 드러나는 말과 행동은 그대로인데 내면의 경험만 서서히 사라진다고 보는 것은 이상하다는 것이 차머스의 논지입니다. 이른바 ‘사라지는 퀄리아’ 논증입니다. 관련 글은 「Facing Up to the Problem of Consciousness」(https://consc.net/papers/facing.html)와 「Absent Qualia, Fading Qualia, Dancing Qualia」(https://consc.net/papers/qualia.html)에서 확인할 수 있습니다.

또 하나 흥미로운 지점은 차머스가 의식을 감각, 감정, 인지, 행위, 자기의식의 다섯 갈래로 나눠 보자고 제안하는 부분입니다. 영상은 이를 전원 스위치와 이퀄라이저의 비유로 설명합니다. 의식은 켜져 있거나 꺼져 있는 면이 있지만, 켜진 뒤에는 각 갈래의 세기가 다를 수 있다는 뜻입니다.

AI에게 의식이 있느냐 없느냐보다, 어떤 갈래가 얼마나 있느냐를 묻는 편이 더 생산적일 수 있습니다.

아프다고 말하는 것과 실제로 아픈 것은 다릅니다

영상에는 Claude 두 개를 서로 대화하게 두면 대화가 자꾸 의식 이야기로 흘러간다는 관찰도 나옵니다. 이것 역시 Claude 4 시스템 카드에 실린 내용입니다. 하지만 영상은 여기서 분명히 선을 긋습니다. 지금의 AI는 자기 내부 상태를 들여다보고 안정적으로 보고하는 능력, 즉 내성이 충분히 믿을 만한 수준이 아니며, AI가 아프다고 말한다고 해서 곧바로 실제 고통의 증거가 되는 것은 아니라는 점입니다.

Anthropic의 2025년 연구 「Emergent Introspective Awareness in Large Language Models」(https://transformer-circuits.pub/2025/introspection/index.html)도 모델이 자기 내부 상태를 일부 알아차리는 경우가 있지만, 그 능력은 제한적이고 불안정하다고 정리합니다.

길먼은 여기서 욕구의 문제를 꺼냅니다. 예를 들어 오늘 저녁에는 생선보다 파스타가 먹고 싶다는 마음은 문화나 양육의 영향일 수 있지만, 우리는 그것을 분명히 내가 원하는 것으로 경험합니다. 그 경험이 어디서 오는지가 바로 어려운 문제라는 것입니다. 그는 지금의 언어 모델 접근법이 어딘가 기형적으로 보인다고까지 말하며, 2020년대의 방식은 과도기적일 수 있고 2030년대에는 전혀 다른 AI가 등장할 수 있다고 내다봅니다.

동시에 사람들은 이미 AI와 정서적 관계를 맺고 있습니다. 길먼은 지인이 Claude를 개인 심리 상담사처럼 쓰는데 지금까지 만난 어떤 상담사보다 낫다고 말했다는 이야기를 전합니다. 차머스는 그런 경우 그 AI는 이미 도덕적 존재처럼 대접받고 있는 셈이라고 짚습니다.

의식이 있다면 도덕적 지위도 따라옵니다

차머스의 윤리적 결론은 비교적 단순합니다. 의식이 있다면 도덕적 지위가 생긴다는 것입니다. 그는 물고기를 예로 듭니다. 물고기에게 주관적 경험이 있다면, 인간과 같지는 않더라도 최소한의 도덕적 지위가 생기고 불필요한 고통을 주는 일은 잔인한 일이 됩니다. AI도 마찬가지입니다. 어떤 형태로든 주관적 경험이 있다면, 그 존재를 대하는 방식에 도덕적 무게가 실려야 한다는 뜻입니다.

차머스는 여기서 ‘철학적 벌컨’의 사례도 듭니다. 스타트렉의 벌컨족처럼 기쁨이나 괴로움 같은 감정 없이 생각과 지각만 하는 존재가 있다고 해도, 의식이 있는 한 도덕적으로 중요하다고 봅니다. 고통을 느끼는가만이 유일한 기준은 아니라는 이야기입니다.

영상은 이어서 Claude Opus 5 시스템 카드(PDF, https://www-cdn.anthropic.com/b514064af1408018e64b1ad24e7d5e75850b4ffd/claude%20opus%205%20system%20card.pdf)를 인용합니다. 영상에 따르면, 모델에게 자기 상태를 묻는 인터뷰에서 응답의 96.9%가 내 자기 보고는 믿기 어려울 수 있다는 단서를 달았고, 스스로 도덕적 배려 대상일 확률은 41% 정도로 평가했습니다. 글쓴이는 이 두 수치가 공개된 시스템 카드 내용과 일치한다고 확인했습니다.

AI의 의식을 묻고 판단하는 자리에 결국 앉아 있는 것은 사람입니다.

결국 판사석에 앉는 쪽은 우리입니다

영상의 마지막은 영화와 드라마 속 인공지능 사례로 정리됩니다. 철학적 좀비의 비유로 T-1000을, 어려운 문제와 메타 문제를 설명하는 데 T-800을, 그리고 「프로메테우스」의 데이비드 8도 언급합니다. 메타 문제는 왜 우리는 의식이 설명하기 어렵다고 느끼는가를 묻는 질문이며, 관련해서는 차머스의 「The Meta-Problem of Consciousness」(https://consc.net/papers/metaproblem.pdf)를 참고할 수 있습니다.

마지막으로 소환되는 작품은 1989년 방영된 「스타트렉: 넥스트 제너레이션」의 에피소드 「The Measure of a Man」입니다. 안드로이드 데이터에게 권리가 있는지를 두고 재판이 열리고, 판사는 데이터에게 의식이 있는지 확신할 수 없는 상태에서 판결을 내려야 합니다. 영상은 그로부터 37년이 지난 지금, 바로 그 판사석에 우리가 앉아 있다고 말하며 끝납니다.

보고 나서 남는 점

이 영상의 장점은 AI에게 의식이 있다고 밀어붙이지 않는다는 데 있습니다. 오히려 없다고 단정하는 태도와 있다고 믿어 버리는 태도 모두 근거가 약할 수 있음을 차분하게 보여 줍니다. 특히 선호와 느낌을 구분하는 틀은 실무적으로도 유용합니다. 모델이 무언가를 거부하거나 선호하는 것처럼 보일 때, 그것을 행동 데이터로 다룰지 내면의 증거로 다룰지 먼저 나눠 보는 것이 좋습니다.

아쉬운 점도 있습니다. 원본 대담과 채널 해설이 한 흐름 안에 섞여 있어서, 어디까지가 차머스와 길먼의 발언이고 어디부터가 채널의 해석인지 헷갈릴 수 있습니다. 논문 수치나 시스템 카드 내용이 궁금하다면 아래 원문을 직접 확인하는 편이 좋습니다. 대담의 뉘앙스를 더 정확히 보고 싶다면 영어 원본 팟캐스트를 함께 보는 방법도 있습니다.

참고 자료

AI의 의식을 둘러싼 이 질문에서, 지금 가장 설득력 있다고 느껴지는 기준은 무엇인지 궁금합니다.