같은 질문 37개, 범용 AI는 절반을 틀리다
경기도 화성시의회 데이터 기준으로, 의원이 물을 법한 질문 37개를 PAI, ChatGPT, Gemini에 똑같이 물었습니다. 기사로 나온 일은 셋 다 맞혔지만, 그래서 더 위험했습니다. 기사 아래의 기록을 묻자 범용 AI는 같은 자신감으로 틀린 답을 내놓았습니다.
3줄 요약
- 경기도 화성시의회 데이터 기준으로, 의원이 실제로 물을 법한 질문 37개를 세 AI에 똑같이 물었습니다.
- 기사로 나온 일은 셋 다 맞혔습니다. 그래서 더 위험합니다. 기사 아래의 기록을 묻자 범용 AI는 같은 자신감으로 틀린 답을 냈습니다.
- AI 정확도 지수는 PAI 85, ChatGPT 49, Gemini 32였습니다.
지난번에는 질문 하나로 범용 AI와 의정 전문 AI를 비교했습니다. 이번에는 한 의회를 정해 질문을 크게 늘렸습니다. 테스트는 경기도 화성시의회 데이터 기준으로 했습니다. 의원이 상임위 준비를 하며 물을 법한 질문 37개를 만들고, 정답은 의회 기록에서 미리 확인해 두었습니다. 그리고 PAI와 ChatGPT, Gemini에 같은 날, 같은 문장으로 물었습니다.
경기도 화성시의회 데이터 기준 37개 질문 · 높을수록 좋음
기사에 나온 일은 범용 AI도 압니다. 그래서 더 위험합니다
공정하게 말하면, 범용 AI도 꽤 잘합니다. 본회의 5분 자유발언이나 안건 처리 결과처럼 지역 언론이 다음 날 기사로 쓰는 일은 세 AI 모두 맞혔습니다. 질의서 같은 문서의 틀을 잡는 것도 ChatGPT가 PAI와 비슷하게 해냈습니다.
문제는 바로 이 점입니다. 쉬운 질문을 잘 맞히니 믿게 됩니다. 그런데 기사 아래의 기록을 물으면, 범용 AI는 같은 자신감으로 틀린 답을 내놓습니다. 이번 테스트에서도 그랬습니다.
- ChatGPT는 행정사무감사 지적사항이 "7건 중 3건 완료"라고 답했지만, 기록은 "7건 모두 추진 중"이었습니다.
- Gemini는 청년기본소득 예산이 "2020년 약 150억 원, 2021년 228억 원"이었고 "2024년에 처음 줄었다"고 답했습니다. 실제는 67.9억 원, 75.8억 원으로 두세 배나 부풀린 숫자였고, 예산이 처음 줄어든 해는 2026년이었습니다.
엉성한 오답은 누구나 걸러냅니다. 위험한 것은 그럴듯한 오답입니다. 한 번 질의서에 들어간 틀린 숫자는 집행부가 바로잡는 순간 질의 전체의 신뢰를 무너뜨리고, 그 책임은 AI가 아니라 질의한 의원이 집니다.
주제별로 본 차이
1. 최근 위원회에서 무엇을 다뤘나
회의록은 검색엔진에 늦게, 또 잘 잡히지 않습니다. 상임위원회나 특별위원회처럼 기사가 잘 나지 않는 회의는 범용 AI가 찾을 길이 없어, 비슷한 날짜의 다른 기사를 답으로 가져오기도 합니다.
2. 그 사업 예산은 지금 어떻게 됐나
예산서는 PDF와 엑셀이라 범용 AI가 직접 읽기 어렵습니다. 사업 하나가 얼마로 편성됐고 추경에서 어떻게 바뀌었는지는 기사로도 잘 나오지 않습니다.
3. 누가 몇 번 말했고, 몇 명이 찬성했나
표결에서 몇 명이 찬성했는지, 누가 몇 번 말했는지는 기사에도, 회의록 한 편에도 잘 나오지 않습니다. 회의록 전체를 모아야 정확히 답할 수 있습니다.
4. 그런 일이 정말 있었나
질문 속 전제가 틀렸을 때 바로잡으려면 기록 전체를 갖고 있어야 합니다. 그날 실제로 무슨 말이 오갔는지 알아야 "그런 일은 없었다"고 말할 수 있습니다.
왜 이런 차이가 날까
범용 AI는 웹에 있는 것만 찾을 수 있습니다. 기사와 보도자료는 웹에 있지만, 의원에게 필요한 답은 대개 회의록과 예산서 안에 있습니다. 회의록이 왜 검색에 잘 잡히지 않는지는 지난해 그 발언, ChatGPT는 왜 못 찾았을까?에서 다뤘습니다.
PAI가 앞선 이유는 똑똑해서라기보다 의회의 기록을 갖고 그 안에서 답을 찾기 때문입니다. 모든 질문에서 이긴 것은 아닙니다. 하지만 의원이 질의를 준비하며 가장 자주 부딪히는 질문, 즉 기사 아래의 기록을 묻는 질문에서 차이가 분명했습니다.
자주 묻는 질문
유료 ChatGPT나 Gemini를 쓰면 차이가 없어지나요?
모델이 좋아지면 문장과 추론은 나아집니다. 하지만 이번에 차이가 난 질문은 대부분 의회의 회의록 전체를 갖고 있어야 답할 수 있는 질문이었습니다. 자료에 닿지 못하면 모델이 좋아도 답할 수 없습니다.
회의록 파일을 ChatGPT에 올리면 되지 않나요?
한두 개 파일은 가능합니다. 하지만 수백 건의 회의록과 여러 해의 예산서를 한꺼번에 올려 교차로 묻는 것은 현실적으로 어렵습니다. 이번에 차이가 난 질문도 여러 회의를 가로지르는 질문이었습니다.
정리하면
기사에 나온 일은 범용 AI도 잘 압니다. 하지만 의원에게 필요한 답은 대개 그 아래에 있습니다. 누가 몇 번 말했는지, 기사가 안 나는 회의에서 무엇을 정했는지, 그런 일이 정말 없었는지.
범용 AI나 여럿이 나눠 쓰는 계정으로는 닿지 않는 자리입니다. 의정활동에는 우리 의회의 기록을 근거로 답하는 의정 전문 AI가 필요합니다.
