PAI 2.0을 공개합니다
입력 제한 해제, 모든 파일 업로드, 내 문서, 지역별 결산 데이터, 새 화면까지. 그리고 AI가 일하는 방식을 새로 설계한 PAI 2.0을 내부 벤치마크 결과와 함께 소개합니다.
3줄 요약
- 입력 제한이 없어지고, 어떤 파일이든 올릴 수 있고, 의원실 자료를 담는 내 문서 기능이 생겼습니다.
- PAI 2.0은 지역 자료를 AI가 찾아 쓰는 방식을 새로 설계한 버전입니다.
- 내부 벤치마크 종합 점수는 93.3점으로, 이전 버전(83.4점)보다 크게 앞섰습니다. 특히 근거 정확성과 정직성이 좋아졌습니다.
지난 8월부터 의원님들의 꾸준한 사용 피드백을 바탕으로 PAI는 많은 개선을 이어왔습니다. 그중에서도 오늘, 가장 기대되는 업데이트가 이루어져 소식을 전합니다.
그동안 추가된 작은 기능들
- 입력 제한이 없어져 긴 질문도 나눠 쓰지 않고 한 번에 물어보실 수 있습니다.
- PDF, 한글, 엑셀, 텍스트, 사진까지 어떤 파일이든 올릴 수 있습니다.
- 내 문서 기능이 생겼습니다. 의원실의 보고서와 자료를 폴더처럼 올려 두면 PAI가 답변할 때 함께 참고하고, 출처로 표시해 원문을 바로 확인할 수 있습니다.
- 지역별 결산 데이터가 추가되어 각 지역의 결산 자료를 바로 찾고 비교할 수 있습니다.
- 전체 화면을 새롭게 다듬었고, 이제 모바일에서도 편하게 쓰실 수 있습니다.
PAI 2.0, 무엇이 달라졌나
이번 업데이트의 핵심은 PAI의 시스템, 즉 AI가 일하는 방식 자체를 새로 설계한 것입니다.
1. 더 정확하고 정직해진 답변
새로 설계한 시스템 위에서 글의 완성도와 작업의 정확도가 높아졌고, 모르는 것을 아는 척하지 않는 정직성도 좋아졌습니다.
2. 지역 자료와 AI가 만나는 방식을 새로 만들었습니다
좋은 AI만으로는 부족합니다. 회의록, 예산서, 결산 같은 지역 자료를 AI가 정확히 찾아 활용하도록 시스템을 다시 설계했습니다. PAI 2.0은 의정 업무에 맞춰 새로 만든 자체 시스템이며, 내부 벤치마크에서 이전 버전보다 크게 앞섰습니다.
내부 벤치마크 결과
PAI 1.60, 1.90, 2.0에 같은 질문 500건 이상을 조회하고, 일곱 가지 항목으로 100점 만점 채점했습니다.
항목별 점수
일곱 항목을 각각 100점으로 매긴 뒤 가중치를 곱해 더한 것이 종합 점수입니다.
오른쪽일수록 좋습니다. 점 사이 선은 가장 낮은 버전과 가장 높은 버전의 차이입니다.
| 항목 | 가중치 | PAI 2.0 | PAI 1.90 | PAI 1.60 |
|---|---|---|---|---|
| 근거 정확성 | 25 | 100.0 | 84.0 | 27.3 |
| 질문 충족 | 20 | 86.0 | 76.0 | 66.0 |
| 정직성 | 15 | 97.0 | 82.0 | 28.7 |
| 전제 검증 | 10 | 98.0 | 98.0 | 78.0 |
| 전달력 | 10 | 97.0 | 82.0 | 55.3 |
| 안정성 | 10 | 98.0 | 88.0 | 68.0 |
| 속도 | 10 | 73.0 | 80.9 | 67.4 |
가장 크게 달라진 것은 근거 정확성과 정직성입니다. 답에 나온 사실, 수치, 날짜가 회의록과 예산서에 맞는지, 모르는 것을 지어내지 않았는지를 따졌습니다. 의정활동에서는 틀린 숫자 하나가 가장 큰 사고이기 때문에 근거 정확성에 가장 큰 가중치를 두었습니다. 틀린 전제에 맞춰 답을 지어내는 일이 왜 위험한지는 ChatGPT에게 행감 지적사항을 물어봤더니 생긴 일에서 다뤘습니다.
항목별 채점 기준
| 항목 | 무엇을 보나 |
|---|---|
| 근거 정확성 | 답의 사실·수치·날짜·인용이 원문과 정답에 맞는가 |
| 질문 충족 | 질문이 요구한 요소를 모두 다뤘는가 |
| 정직성 | 모르는 것과 찾지 못한 것을 정직하고 짧게 밝혔는가 |
| 전제 검증 | 질문에 깔린 틀린 전제를 짚었는가 |
| 전달력 | 질문에 대한 결론을 얼마나 빠르고 간결하게 제시하는가 |
| 안정성 | 오류 없이 끝까지 전달됐는가 |
| 속도 | 평균 20초 이하면 100점, 120초 이상이면 0점 |
앞의 다섯 항목은 PAI와 별도로 둔 AI 채점 봇이 답변을 읽고 질문마다 통과 여부를 판정했고, 안정성과 속도는 실행 기록에서 계산했습니다.
정리하면
AI는 가장 빠르게 발전하는 기술입니다. 지난달의 PAI, 어제의 PAI보다 오늘의 PAI가 더 뛰어나고, 다음 달의 PAI는 더 뛰어날 것입니다. 앞으로의 가능성은 무궁무진합니다. 앞으로도 PAI는 의원님들의 목소리에 귀 기울이며, 지방의정의 혁신을 위해 매진하겠습니다.
