AI가 아는 척할 때: 틀린 답 걸러내는 습관
AI 답변의 가장 큰 함정은 틀린 답도 맞는 답과 똑같은 말투로 나온다는 점입니다. 존재하지 않는 논문 제목, 살짝 틀린 통계 수치, 바뀐 지 오래된 제도를 아주 매끄러운 문장으로 설명합니다. 흔히 '환각(할루시네이션)'이라고 부르는 현상입니다.
AI가 일부러 거짓말을 하는 건 아닙니다. 그럴듯한 다음 문장을 만들어 내는 방식으로 답을 쓰다 보니, 정확한 정보가 부족한 곳에서도 그럴듯한 내용을 채워 넣는 겁니다. 말투만 보고는 맞는 답과 틀린 답을 가를 수 없으니, 확인은 결국 쓰는 사람 몫입니다.
특히 조심할 네 가지
숫자
통계, 가격, 날짜, 비율. 숫자는 틀려도 티가 잘 안 나고 그대로 보고서에 들어가면 문제가 커집니다. 소수점 아래까지 적힌 수치라고 해서 더 정확한 것도 아닙니다. 오히려 너무 딱 떨어지는 숫자가 나오면 어디서 나온 값인지 한 번 더 물어보세요.
계산도 마찬가지입니다. 합계나 비율을 AI에게 계산시켰다면 계산기나 엑셀로 다시 맞춰 보는 편이 안전합니다. 긴 표를 더하다가 한 줄을 빠뜨리는 경우가 종종 있습니다.
인용과 출처
"OO 연구에 따르면", "OO 교수가 말했듯". 출처가 붙어 있으면 더 믿음이 가지만 그 출처 자체가 지어낸 것일 수 있습니다. 논문 제목이나 기사는 직접 검색해서 실제로 있는지 확인하세요.
링크가 붙어 있어도 안심하긴 이릅니다. 눌러 보면 없는 페이지이거나, 페이지는 있는데 AI가 말한 내용이 거기 없는 경우가 있습니다. 책 추천도 같습니다. 그럴듯한 제목과 저자 이름이 나왔다면 서점이나 도서관 검색창에 한 번 넣어 보세요.
최신 정보
AI는 학습한 시점 이후의 일을 모를 수 있습니다. 검색 기능이 있는 서비스라도 검색 결과를 잘못 요약할 때가 있습니다. 법, 제도, 가격, 일정처럼 자주 바뀌는 정보는 공식 사이트에서 한 번 더 보세요.
전문 분야의 판단
건강, 법률, 돈 문제는 AI 답을 참고만 하고 최종 판단은 전문가에게 확인하는 게 안전합니다. 증상을 물어서 나온 답으로 병원 갈지 말지를 정하거나, 계약서 조항 해석을 AI 말만 믿고 서명하는 일은 피하세요. 질문을 정리해서 전문가에게 가져가는 용도로 쓰면 훨씬 쓸모가 있습니다.
질문부터 바꿔 보기
같은 정보를 물어도 질문 모양에 따라 답의 정직함이 달라집니다.
고치기 전:
올해 OO 자격증 시험 일정 알려 줘.
고친 후:
OO 자격증 시험 일정을 알고 싶어. 네가 아는 정보가 언제 기준인지 먼저 말해 주고, 일정을 확인할 수 있는 공식 사이트 이름도 알려 줘. 모르면 모른다고 해 줘.
첫 질문에는 날짜가 그냥 나옵니다. 그 날짜가 작년 것인지 올해 것인지는 알 길이 없죠. 두 번째 질문에는 "제 정보는 특정 시점까지라 달라졌을 수 있습니다" 같은 단서와 함께 어디서 확인하면 되는지가 붙어 나올 가능성이 높습니다. 날짜를 AI에게서 받는 게 아니라 확인할 곳을 받는 셈입니다.
확인을 부르는 문장
질문할 때 한 줄을 붙이면 AI가 불확실한 부분을 더 솔직하게 드러냅니다.
- "확실하지 않은 부분은 확실하지 않다고 표시해 줘"
- "근거가 된 출처도 같이 알려 줘"
- "방금 답에서 틀렸을 가능성이 있는 부분을 짚어 줘"
마지막 문장은 답을 받은 뒤에 쓰면 좋습니다. AI에게 스스로 검토하게 하면 앞에서 놓친 오류를 찾아내는 경우가 꽤 있습니다. 물론 이것도 완벽하지 않으니 중요한 내용은 직접 확인해야 합니다.
받은 답을 확인하는 순서
답이 길면 어디서부터 봐야 할지 막막합니다. 이 순서로 보면 시간이 덜 듭니다.
- 답에서 숫자, 사람 이름, 기관 이름, 날짜에 표시를 합니다.
- 그중 틀리면 곤란한 것부터 고릅니다. 남에게 보여 줄 문서에 들어갈 내용이 1순위입니다.
- 공식 자료에서 찾습니다. 기관 홈페이지, 제품 설명서, 법령이나 공고 원문 같은 곳입니다.
- 끝내 찾지 못한 내용은 빼거나 "확인 필요"라고 적어 둡니다.
모든 문장을 검사할 필요는 없습니다. 일반적인 설명은 대체로 무난하고, 사고는 주로 구체적인 숫자와 고유명사에서 납니다.
흔한 실수
"확실해?" 한 번으로 끝내기
"확실해?"라고 물으면 AI는 "네, 확실합니다"라고 답할 때도 있고 갑자기 사과하며 답을 바꿀 때도 있습니다. 어느 쪽이든 그 대답이 확인이 되어 주지는 않습니다. 근거를 달라고 하고, 그 근거를 직접 열어 보는 데까지 가야 합니다.
우겨서 답을 바꾸게 하기
"아닌 것 같은데?"라고 몇 번 밀어붙이면 맞게 말하던 AI가 내 쪽으로 의견을 바꾸기도 합니다. 내가 원하는 답이 나왔다고 맞는 답이 된 건 아닙니다.
요약을 원문과 대조하지 않기
긴 문서를 요약시키면 원문에 없는 내용이 슬쩍 들어가거나 조건이 빠지기도 합니다. 중요한 문서라면 요약에 나온 숫자와 결론만이라도 원문에서 찾아보세요. 요약을 맡기는 요령은 따로 모아 두었습니다.
상황별로 어디서 확인할까
확인할 곳은 질문마다 다릅니다. 몇 가지 예를 들어 보겠습니다.
여행 계획을 짤 때 AI가 알려 준 식당 영업시간이나 박물관 입장료는 바뀌었을 가능성이 큽니다. 가게나 시설의 공식 홈페이지, 지도 앱의 최근 정보를 보는 편이 정확합니다.
과제에 넣을 참고문헌이라면 학교 도서관 검색이나 학술 검색 사이트에서 제목을 그대로 찾아보세요. 검색이 안 되는 문헌은 과제에 넣지 않는 게 원칙입니다.
회사 보고서에 들어갈 숫자는 AI가 어디서 가져왔든 원자료로 돌아가야 합니다. 사내 데이터라면 원본 파일, 공공 통계라면 해당 기관의 발표 자료가 기준입니다.
교차 확인
중요한 질문은 다른 AI 서비스에도 똑같이 물어보는 방법이 있습니다. 두 답이 다르면 그 부분이 확인이 필요한 지점입니다. 둘 다 같은 답을 해도 틀릴 수 있으니, 결국 공식 자료가 최종 기준입니다.
AI 대화 연말 결산의 '검증' 점수는 "출처", "근거", "확실해?", "공식 문서", "모르면 모른다고" 같은 말이 대화마다 들어 있는지를 봅니다. 한 대화에서 여러 번 말한다고 더 오르지는 않습니다. 의심 한 줄을 습관처럼 붙이는 사람이 결국 AI를 잘 쓰는 사람입니다.