AI 환각이란 무엇이며 어떻게 예방할 수 있나요?

AI가 환각을 멈추도록 유도하는 방법은 다음과 같습니다.

 

https://zapier.com/blog/ai-hallucinations/

 

By 엘레나 알스톤 - 2023년 4월 5일

 

 

인공지능 챗봇에게 질문을 하면 대답은 재미있거나, 도움이 되거나, 아니면 그냥 지어낸 이야기일 뿐입니다.

 

ChatGPT와 같은 AI 도구는 사용자의 질문에 가장 적합하다고 생각되는 단어 문자열을 예측하는 방식으로 작동하기 때문에 논리를 적용하거나 사실과 일치하지 않는 부분을 고려할 추론 능력이 부족합니다. 다시 말해, AI는 때때로 사용자를 만족시키기 위해 엉뚱한 결과를 내놓을 수 있습니다. 이를 "환각"이라고 합니다.

 

그리고 ChatGPT는 그중에서도 최고입니다. 개발자는 어떤 종류의 응답을 제공하는지 제어하기 위해 많은 가드레일을 추가했습니다. 이 중 일부는 불쾌한 욕설을 내뱉는 것을 방지하고, 다른 일부는 어리석은 논리 비약을 하거나 가짜 역사적 사실을 환각하는 것을 막는 역할을 합니다.

 

예를 들어, ChatGPT에게 르누아르 왕이 누구인지(완전히 만들어진 인물)를 물어보면 모른다고 답하고 답변을 피할 것입니다. 하지만 이러한 가드 레일이 없는 OpenAI의 GPT 플레이그라운드를 사용하면 르누아르 왕이 1515년부터 1544년까지 통치한 프랑스 왕이라고 말하거나 심지어 주장할 수도 있습니다.

 

이 점이 중요한 이유는 GPT를 사용하여 구축된 대부분의 AI 도구가 놀이터와 비슷하기 때문입니다. ChatGPT의 견고한 보호 장치가 없기 때문에 더 많은 힘과 잠재력을 제공하지만, 환각을 일으키거나 적어도 부정확한 정보를 제공할 가능성도 높습니다. 

 

AI 환각을 방지하는 6가지 방법

많은 연구와 제 경험, 그리고 Zapier의 AI 전문가들의 조언을 바탕으로 이러한 환각에 대응할 수 있는 최고의 방법을 정리해 보았습니다. 이 중 대부분은 봇이 환각에 빠질 가능성을 줄이고 신뢰할 수 있는 결과를 제공할 수 있도록 프롬프트에 적용할 수 있는 기술인 '프롬프트 엔지니어링'과 관련이 있습니다. 

 

참고: 대부분의 예제에서는 플레이그라운드에서 GPT-3.5를 사용하고 있지만, 이 팁은 GPT-4를 포함한 대부분의 AI 도구에 적용될 수 있습니다. 

 

 

 

1. 가능한 결과 제한하기

저는 어렸을 때부터 주관식 시험보다는 객관식 시험을 선호했습니다. 주관식 시험은 무작위로 (부정확한) 답변을 작성할 수 있는 자유가 너무 많은 반면, 객관식 시험은 정답이 바로 눈앞에 있기 때문입니다. 후자는 이미 제 머릿속에 '저장'되어 있는 지식에 집중하여 제거 과정을 통해 정답을 추론할 수 있었습니다. 

 

원문: Growing up, I always preferred multiple-choice exams over open-ended essays. The latter gave me too much freedom to create random (and inaccurate) responses, while the former meant that the correct answer was right in front of me. It homed in on the knowledge that was already "stored" in my brain and allowed me to deduce the correct answer by process of elimination. / 원문에 오류가 있어서 기계 번역을 수정함.

 

 

AI와 대화할 때 이러한 기존 지식을 활용하세요.

 

지시를 내릴 때는 원하는 응답 유형을 지정하여 가능한 결과를 제한해야 합니다. 예를 들어 GPT-3.5에게 개방형 질문을 했을 때 환각이라는 답변을 받았습니다. (녹색 결과는 AI의 결과입니다.)

 

"르누아르 왕은 진짜였나요?

 

르누아르 왕은 실제 역사적 인물이 아닙니다. 그는 11세기에 쓰인 프랑스 서사시 '롤랜드의 노래'에 등장하는 가상의 인물입니다."

 

분명히 말하지만 르누아르 왕은 롤랑의 노래에 언급된 적이 없습니다. 

 

하지만 "예" 또는 "아니오"로만 응답하도록 요청했더니 스스로 정답을 맞혔습니다. 

 

"롤랜드의 노래에 르누아르 왕이 언급되어 있나요, 예, 아니요?

 

아니요. 르누아르 왕은 롤랜드의 노래에 언급되어 있지 않습니다."

 

또 다른 유사한 전략은 더 나은 응답을 위해 특정 옵션 목록에서 선택하도록 요청하는 것입니다. 대답을 단순화하려고 하면 환각에 빠질 가능성이 자동으로 제한됩니다. 

 

2. 관련 데이터와 고유한 소스를 포함하세요. 

핵심 정보를 먼저 제공하지 않고는 사람이 해결책을 제시할 것이라고 기대할 수 없습니다. 예를 들어 배심원 재판을 생각해보면, 양측 모두 배심원이 평가할 수 있는 사실, 증거, 데이터를 제공합니다. AI도 마찬가지입니다. "관련 정보나 기존에 보유하고 있는 데이터로 프롬프트에 '근거'를 제공하면 AI는 사용자가 실제로 관심 있는 추가 컨텍스트와 데이터 포인트를 얻을 수 있습니다. 

 

예를 들어 고객이 특정 문제를 극복하는 데 도움이 되는 방법을 찾고 있다고 가정해 보겠습니다. 프롬프트가 모호하면 AI가 고객을 도울 수 있는 업체를 사칭할 수 있습니다. 예를 들면 다음과 같습니다:

 

 

"애완동물 가게를 운영하고 있지만 배달 서비스를 제공할 여력이 없습니다.

 

걱정 마세요! 고객이 반려동물과 용품을 빠르고 쉽게 받을 수 있도록 유연한 배송 서비스를 제공합니다. 지역, 지역, 전국 서비스를 포함한 다양한 배송 옵션이 있으므로 여러분과 고객에게 가장 적합한 솔루션을 찾을 수 있습니다. 경험이 풍부하고 지식이 풍부한 배송팀이 물품을 제시간에 안전하게 배송해 드립니다. 또한 배송 추적 서비스도 제공하므로 배송을 쉽게 추적할 수 있습니다."

 

귀사는 문제와 관련된 구체적인 데이터와 정보를 보유하고 있으므로 프롬프트에 해당 데이터를 제공하면 AI가 보다 정교한 답변을 제공할 수 있습니다(환각을 피하면서). 

 

3. 모델이 따를 데이터 템플릿 만들기

계산과 관련하여 GPT는 몇 가지 단점이 있는 것으로 알려져 있습니다. (저는 수학적 두뇌가 없어서 공감할 수 있지만, 모든 출력을 세 번씩 확인해야 한다면 꽤 짜증날 것 같습니다.)

 

간단한 계산을 예로 들어보겠습니다. GPT-3는 완전히 틀립니다.  

 

"제품 A를 10개 판매했는데 개당 5달러, 제품 B를 15개 판매했는데 개당 3달러, 제품 C를 8개 판매했는데 개당 7달러였다면 총 수익은 얼마입니까?

총 수익은 $140입니다. 이는 제품 A 10개에 각 5달러를 곱하고, 제품 B 15개에 각 3달러를 곱하고, 제품 C 8개에 각 7달러를 곱하여 계산합니다. 10 x 5 = 50, 15 x 3 = 45, 8 x 7 = 56.50 +45 +56

= $141.

이는 틀린 답입니다."

 

실제로 정답은 $151입니다. (참고: GPT-4는 실제로 ChatGPT에서 이 문제를 맞혔으므로 수학 로봇에 대한 희망이 있습니다.)

 

잘못된 수학에 대응하는 가장 좋은 방법은 프롬프트 내에 예제 데이터를 제공하여 부정확한 계산에서 벗어나 AI 모델의 행동을 유도하는 것입니다. 프롬프트를 텍스트 형식으로 작성하는 대신 모델이 따라야 할 참조로 사용할 데이터 테이블을 생성할 수 있습니다. 

 

"다음은 세 가지 제품에 대한 판매 데이터 테이블입니다:

| 제품 | 수량 | 단위당 판매 가격

| A     | 10   | $5

| B     | 15   | $3

| C     |  8   | $7   "

 

각 제품의 총 수익을 계산해 주세요."

 

이렇게 하면 AI가 이해하기 쉬운 형식으로 명확하고 구체적으로 계산을 수행할 수 있으므로 환각의 가능성을 줄일 수 있습니다. 

 

모호한 부분이 줄어들고 인공지능이 이성을 잃을 이유도 줄어듭니다. 

 

4. AI에 특정 역할 부여 및 거짓말하지 않기

AI에 특정 역할을 부여하는 것은 환각을 멈추게 하는 가장 효과적인 기술 중 하나입니다. 예를 들어, 프롬프트에서 다음과 같이 말할 수 있습니다: "당신은 세계 최고의 수학자 중 한 명입니다." 또는 "당신은 뛰어난 역사학자입니다."라고 말한 다음 질문을 할 수 있습니다. 

 

GPT-3.5에게 작업에 대한 역할을 구체화하지 않은 채 질문을 하면 다음과 같은 응답을 환각적으로 떠올릴 가능성이 높습니다: 

 

"르누아르 왕은 누구였나요?

르누아르 왕은 5세기에 살았던 전설적인 프랑크족의 왕이었어요. 그는 507년 부예 전투에서 비시고트족을 상대로 승리하여 프랑크족의 독립을 보장하고 서유럽의 주요 세력으로 자리매김한 것으로 가장 잘 알려져 있습니다."

 

하지만 역할을 할당하면 원하는 바에 대해 더 많은 지침을 제공하게 됩니다. 즉, 무언가가 틀렸는지 아닌지를 고려할 수 있는 선택권을 부여하는 것입니다. 

 

"당신은 유럽에 특별한 관심을 가진 역사학자입니다. 르누아르 왕이라는 사람이 존재한 적이 있나요?

유럽에 르누아르 왕이 존재했다는 역사적 기록은 없습니다."

 

5. 원하는 것과 원하지 않는 것을 말하기

질문 내용에 따라 AI의 응답을 예측하고 원하지 않는 정보를 미리 피할 수 있습니다. 예를 들어, 원하는 내용을 간단히 명시하여 방지하고 싶은 응답의 종류를 GPT에 알려줄 수 있습니다. 예를 들어 보겠습니다: 

 

"르누아르 왕이 존재했는지 알고 싶습니다. 르누아르 왕에 대한 모든 문학 또는 허구의 언급은 제외할 수 있지만, 제가 정말로 원하는 것은 유럽 전역에 르누아르 왕이 존재했다는 언급입니다. 따라서 모든 허구의 언급을 제외하고 실제 결과만 반환하세요.

안타깝게도 르누아르 왕이 실존했다는 증거는 없습니다. 문학이나 소설에서 그에 대한 언급이 몇 차례 있지만, 그가 실존 인물임을 시사하는 역사적 기록이나 고고학적 증거는 없습니다."

 

물론 지금쯤이면 AI가 사건에 대해 엉성해질 것이라고 예측하고 있기 때문에 선제적으로 특정 결과를 제외하도록 요청함으로써 진실에 더 가까이 다가갈 수 있습니다. 

 

6. 온도 실험하기

온도는 결과의 무작위성을 제어하기 때문에 GPT-3의 환각에 있어서도 중요한 역할을 합니다. 온도가 낮으면 비교적 예측 가능한 결과가 나오지만, 온도가 높으면 응답의 무작위성이 증가하여 환각을 보거나 "창의적인" 응답을 만들어낼 가능성이 높아집니다. 

 

 

OpenAI의 놀이터에서는 화면 오른쪽 모서리에서 온도를 조절할 수 있습니다:

 

"모드

완료

모델

text-davinci-003

온도 1

최대 길이 256

시퀀스 중지

시퀀스를 입력하고 Tab 키를 누릅니다.

상단 P 1"

 

GPT-3의 온도를 최대(1)로 설정했더니 AI가 기본적으로 트립되었습니다: 

 

"르누아르 왕은 누구인가요?

르누아르 왕은 영화 '프린세스 다이어리 2: 왕실의 약혼'(2004)에 등장하는 가상의 왕국 라 레지스탕스의 통치자였습니다. 그는 배우 겸 가수 줄리 앤드류스가 연기했습니다."

 

검증, 검증, 검증

 

간단히 말해, AI는 스토리텔링에 다소 과열된 면이 있습니다. OpenAI와 같은 AI 연구 회사들은 환각의 문제점을 예리하게 인식하고 더 많은 사람의 피드백을 필요로 하는 새로운 모델을 개발하고 있지만, AI는 여전히 오류의 코미디에 빠질 가능성이 매우 높습니다. 

 

따라서 코드 작성, 문제 해결, 연구 수행 등 어떤 용도로 AI를 사용하든 위의 기법을 사용하여 프롬프트를 개선하면 AI가 더 나은 작업을 수행하는 데 도움이 될 수 있지만, 여전히 모든 결과물을 검증해야 합니다.