Agent가 같은 입력에 다른 결과를 반환한 사건 분석

똑같은 질문을 했는데 왜 AI 답변은 매번 다를까요

최근 챗GPT와 같은 생성형 인공지능을 업무나 일상에서 활용하는 분들이 많아졌습니다. 그런데 가끔 같은 질문을 똑같이 입력했음에도 불구하고 AI가 어제와 오늘, 혹은 방금 전과 지금 서로 다른 답변을 내놓아 당황했던 경험이 있으실 겁니다. 어떤 경우에는 내용이 조금 달라지는 수준을 넘어, 아예 정반대의 정보를 주기도 합니다. 왜 이런 일이 발생하는지, 그리고 우리는 이 현상을 어떻게 이해하고 활용해야 하는지 자세히 알아보겠습니다.

AI가 답변을 생성하는 원리와 확률의 개념

우리가 사용하는 대규모 언어 모델(LLM)은 기본적으로 확률에 기반한 통계적 모델입니다. AI가 문장을 만들 때, 다음 단어가 무엇이 될지를 확률적으로 계산하여 가장 적절한 단어를 선택합니다. 예를 들어 ‘오늘 날씨가 정말’이라는 문장 뒤에 ‘좋다’, ‘맑다’, ‘화창하다’와 같은 단어들이 올 확률을 계산하고, 그중 하나를 선택하는 방식입니다.

이 과정에서 ‘온도(Temperature)’라는 하이퍼파라미터가 중요한 역할을 합니다. 온도는 AI의 창의성과 무작위성을 제어하는 수치입니다. 온도가 0에 가까우면 AI는 항상 가장 확률이 높은 단어만을 선택하여 기계적이고 일관된 답변을 내놓습니다. 반대로 온도가 높으면 확률이 조금 낮더라도 다양한 단어를 선택하게 되어 더 창의적이고 유연한 답변을 내놓지만, 동시에 답변의 일관성이 떨어지게 됩니다. 즉, 같은 입력이라도 AI가 설정된 온도 값에 따라 매번 다른 경로를 선택할 수 있는 것입니다.

답변이 달라지는 주요 원인

• 확률적 샘플링: 앞서 설명한 것처럼 AI는 매번 가장 높은 확률의 단어만 고르는 것이 아니라, 일정 범위 내에서 무작위로 단어를 선택합니다. 이로 인해 문장의 구성이나 표현 방식이 매번 바뀝니다.

• 시스템 업데이트와 모델 버전: 서비스 제공업체는 수시로 모델을 업데이트합니다. 사용자는 같은 화면을 보고 있지만, 내부적으로는 모델의 가중치나 지식 베이스가 미세하게 조정되면서 답변의 성격이 변할 수 있습니다.
• 컨텍스트와 대화 맥락: 이전 대화 내용을 기억하는 기능 때문에, 질문 자체는 같아도 앞서 나눈 대화의 맥락이 조금이라도 다르면 AI는 이를 다른 상황으로 인식하고 답변의 방향을 수정합니다.
• 서버 부하와 처리 방식: 분산 처리 시스템 환경에서 요청이 처리될 때, 하드웨어 자원이나 연산 경로에 따라 아주 미세한 오차가 발생할 수 있습니다.

흔한 오해와 진실

많은 분들이 AI가 이미 정해진 정답을 데이터베이스에서 찾아 답변한다고 생각합니다. 하지만 사실 AI는 ‘찾는’ 것이 아니라 ‘생성하는’ 것입니다. 따라서 수학 문제처럼 명확한 답이 있는 경우를 제외하고는, 매번 문장을 새로 짓는다고 보는 것이 정확합니다.

오해: AI가 답변을 바꾼다는 것은 AI가 거짓말을 하거나 성능이 떨어진다는 증거다.

사실: 답변이 달라지는 것은 모델의 무작위성(Creativity) 때문인 경우가 많습니다. 창의적인 글쓰기나 브레인스토밍이 필요할 때는 오히려 이러한 변화가 장점이 됩니다. 다만, 사실 관계 확인이 중요한 업무에서는 주의가 필요합니다.

일관된 결과를 얻기 위한 실용적인 팁

업무 효율을 높이기 위해 답변의 일관성을 유지해야 한다면 다음의 전략을 사용해 보세요.

시스템 프롬프트와 온도 조절 활용

API를 사용하여 AI를 개발하거나 활용하는 경우, 온도를 0으로 설정하면 거의 동일한 결과를 얻을 수 있습니다. 일반 채팅 환경이라면 프롬프트에 “항상 일관된 형식으로 답변해 줘”, “객관적인 사실 위주로만 답변하고 창의적인 표현은 지양해 줘”와 같은 제약 조건을 추가하는 것이 효과적입니다.

질문의 구조화

질문이 모호할수록 AI는 다양한 방향으로 해석합니다. 답변을 고정하고 싶다면 출력 형식을 구체적으로 지정하세요. 예를 들어 “표 형식으로 정리해 줘”, “3문장 이내로 요약해 줘”, “반드시 A, B, C 순서대로 나열해 줘”와 같이 제약 조건을 명확히 하는 것만으로도 답변의 변동성을 크게 줄일 수 있습니다.

퓨샷 프롬프팅 적용

질문과 함께 원하는 답변의 예시를 한두 개 제공하는 방식입니다. “다음 예시처럼 답변해 줘”라고 하면서 샘플을 보여주면, AI는 그 패턴을 학습하여 예시와 유사한 구조로 답변을 생성하게 됩니다.

분야별 대응 전략

전문가가 제안하는 AI 활용 철학

AI 전문가들은 AI의 답변 변동성을 ‘결함’이 아닌 ‘특성’으로 보라고 조언합니다. AI는 도구이며, 이 도구를 어떻게 다루느냐에 따라 성과가 달라집니다. 특히 중요한 의사결정을 내릴 때는 AI가 내놓은 첫 번째 답변만 맹신하지 말고, ‘재생성’ 버튼을 눌러 여러 번 결과를 확인하는 과정을 거쳐야 합니다. 여러 답변 중에서 공통적으로 언급되는 핵심 내용을 추출하는 것이 가장 현명한 방법입니다.

또한, AI에게 “방금 답변한 내용에서 논리적인 오류가 없는지 다시 확인해 줘”라고 스스로 검토하게 하는 ‘자기 성찰 프롬프트’를 활용하는 것도 매우 유용한 전문가적 테크닉입니다. 이를 통해 AI가 처음 생성한 답변의 확률적 변동으로 인한 오류를 스스로 수정하게 만들 수 있습니다.

자주 묻는 질문

질문: AI가 어제는 맞다고 한 정보를 오늘은 틀렸다고 합니다. 왜 그런가요?

답변: 모델이 학습한 데이터 내에서 상충하는 정보가 존재할 수 있습니다. 또한, AI는 답변을 생성할 때마다 참조하는 데이터의 우선순위가 바뀔 수 있습니다. 중요한 사실 관계라면 반드시 구글 검색이나 공식 문서를 통해 교차 검증해야 합니다.

질문: 답변이 달라지지 않게 고정하는 방법은 정말 없나요?

답변: 완벽하게 고정하는 것은 어렵지만, 프롬프트를 매우 상세하게 작성하고 ‘답변 형식’을 고정함으로써 변동폭을 최소화할 수 있습니다. API를 사용하는 환경이라면 시드(Seed) 값을 고정하는 기술적인 방법도 있습니다.

질문: 답변이 매번 바뀌니 업무에 사용하기 불안합니다. 어떻게 해야 할까요?

답변: AI를 ‘최종 결정권자’로 두지 말고 ‘보조자’로 활용하세요. AI가 초안을 작성하게 하고, 최종적인 사실 확인과 편집은 사람이 직접 수행하는 ‘Human in the loop’ 프로세스를 구축하는 것이 가장 안전하고 효율적입니다.

비용 효율적인 활용 방법

AI 사용 비용을 줄이면서도 일관된 결과를 얻으려면, 복잡한 질문을 한 번에 던지기보다 잘게 나누어 질문하는 것이 좋습니다. 처음에는 전체적인 구조를 잡게 하고, 그다음 단계에서 구체적인 항목을 채워 넣게 하면 AI의 연산 부담도 줄고 답변의 품질도 훨씬 높아집니다. 또한, 너무 높은 사양의 모델을 모든 작업에 쓰기보다는, 단순한 분류나 요약 작업에는 경량화된 모델을 사용하고 복잡한 논리적 사고가 필요한 작업에만 고성능 모델을 사용하는 전략이 필요합니다.

결국 AI의 답변이 달라지는 현상은 이 기술이 가진 태생적인 특징입니다. 이 현상을 이해하고 나의 업무 방식에 어떻게 녹여낼지 고민하는 과정이 곧 AI 리터러시를 높이는 길입니다. 무작위성을 통제할 줄 아는 사용자가 AI 시대의 진정한 승자가 될 것입니다.