좋은 질문이 좋은 검증을 만든다

AI가 만든 문장은 매끄러워서 믿고 싶어집니다. 그래서 사실 확인을 하더라도 "이거 맞아?" 정도로 가볍게 묻고 넘어가기 쉽습니다. 하지만 이런 질문은 검증이 아닙니다. AI는 대개 자신이 방금 한 말을 다시 옹호하기 때문입니다.

이 글은 AI를 활용해 사실을 검증할 때, 어떤 질문을 설계해야 하는지를 정리합니다. 결론을 먼저 말하면, 검증의 정확도는 AI의 성능이 아니라 질문의 설계에서 결정됩니다.

"맞아?"라는 질문이 검증이 아닌 이유

"이 내용 맞아?"라고 물으면 AI는 흔히 "네, 맞습니다"라고 답합니다. 방금 내놓은 답을 스스로 부정하기 어렵기 때문입니다. 확인처럼 보이지만, 실제로는 같은 답을 한 번 더 듣는 것에 가깝습니다.

문제는 이 과정이 검증을 했다는 착각을 준다는 점입니다. 물어봤고 맞다는 답을 들었으니 확인이 끝났다고 느낍니다. 하지만 틀린 정보도 이 과정을 똑같이 통과합니다. 질문이 허술하면, 검증은 오류에 확신만 더해 줍니다.

답을 옹호하게 만드는 질문은 검증이 아니라, 오류를 굳히는 절차가 되기 쉽습니다.

검증을 부르는 질문의 세 가지 형태

근거를 요구하는 질문

결론이 아니라 근거를 묻습니다. "이 주장의 출처는 무엇인가", "어떤 자료에 근거한 것인가"처럼 답의 바탕을 드러내게 하는 질문입니다. 근거를 대지 못하거나 출처가 모호하면, 그 답은 다시 살펴봐야 한다는 신호입니다.

반대 관점을 부르는 질문

일부러 반대편을 물어봅니다. "이 주장에 대한 반론은 무엇인가", "이것이 틀릴 수 있는 경우는 언제인가"처럼 답의 약점을 스스로 드러내게 합니다. 옹호가 아니라 반박을 요청하면, 처음 답에서 보이지 않던 허점이 나타납니다.

확신의 정도를 묻는 질문

AI가 얼마나 확신하는지를 드러내게 합니다. "이 정보는 확실한가, 아니면 추정인가", "확실한 부분과 불확실한 부분을 나눠 달라"처럼 묻는 것입니다. 확신의 층위가 갈리면, 어디를 더 확인해야 하는지가 분명해집니다.

아래 표는 허술한 질문과 검증 질문의 차이를 정리한 것입니다.

질문을 바꿔 오류를 잡은 예

가정해 보겠습니다. AI가 어떤 통계 수치를 답으로 내놓습니다. "이 수치 맞아?"라고 물으니 "네, 맞습니다"라는 답이 돌아옵니다. 그대로 믿고 글에 넣으면, 틀린 수치가 매끄러운 문장 속에 자리를 잡습니다.

질문을 다시 설계합니다. "이 수치의 출처는 무엇이고, 언제 자료인가", "이 수치가 틀릴 수 있는 경우는 언제인가", "확실한 부분과 추정인 부분을 나눠 달라"라고 나눠 묻습니다. 그러자 AI가 출처를 특정하지 못하고, 값이 추정일 수 있다고 답합니다. 같은 AI, 같은 수치인데 질문을 바꾸자 오류의 실마리가 드러난 것입니다. 검증의 차이는 질문에 있었습니다.

검증 질문을 설계하는 법

• "맞아?"를 넘어서는 질문은 몇 가지 원칙으로 만들 수 있습니다. 아래 네 가지가 그 출발점입니다.
• 결론이 아니라 근거와 출처를 묻는다.
• 옹호가 아니라 반론과 예외를 요청한다.
• 확실한 것과 불확실한 것을 나눠 달라고 요구한다.
• AI의 답을 참고로 두고, 핵심 사실은 사람이 직접 확인한다.

자주 묻는 질문

AI에게 검증을 맡겨도 되나요?

검증을 돕게 할 수는 있지만, 맡길 수는 없습니다. AI는 근거와 반론을 정리하는 데 유용하지만, 그 내용이 사실인지에 대한 최종 판단은 사람의 몫입니다. AI를 검증의 조수로 두되 판정자로 삼지 않는 것이 핵심입니다.

반론을 요청하면 없는 반박까지 지어내지 않나요?

그럴 수 있습니다. 그래서 반론 자체도 그대로 믿기보다, 그 반론이 타당한지 다시 살펴야 합니다. 반론 요청의 목적은 정답을 얻는 것이 아니라, 처음 답의 약점을 찾는 실마리를 얻는 데 있습니다.

매번 이렇게 질문하면 번거롭지 않나요?

모든 문장을 이렇게 검증할 필요는 없습니다. 수치, 인용, 사실 주장처럼 틀리면 신뢰를 크게 해치는 부분에 집중하면 됩니다. 중요한 곳에만 검증 질문을 쓰는 것이 현실적입니다.

좋은 검증 질문을 빨리 만드는 요령이 있나요?

근거, 반론, 확신 정도라는 세 방향을 기억해 두면 됩니다. "근거는? 반론은? 얼마나 확실해?" 이 셋을 순서대로 묻는 것만으로도 대부분의 검증이 훨씬 깊어집니다.

사실 확인의 질은 AI가 아니라 질문에서 결정됩니다. "맞아?"라고 물으면 AI는 답을 옹호하고, 근거와 반론과 확신의 정도를 물으면 답의 약점을 드러냅니다. 좋은 검증은 답을 의심하는 태도가 아니라, 질문을 정교하게 설계하는 습관에서 나옵니다. 무엇을 묻느냐가 무엇을 발견하느냐를 정합니다. 검증도 결국, 좋은 질문의 문제입니다.