위 예시에서 bing gpt의 명확한 한계를 보여준다. 나는 주소에 들어가 사이트를 보았지만 그렇지 않고 위 채팅 내용만 보는 독자라면 약간 헷갈릴 수 있을 것이다.
https://cafe.naver.com/shkr?iframe_url=/MyCafeIntro.nhn%3Fclubid=30845496
위 주소는 소녀세계 게임의 공식카페 주소가 맞다. bing gpt chat이 예시로 든 사이트는 개인의 블로그이기 때문에 클릭링크를 제공하지 않겠다.
대화의 전체적인 흐름은 다음과 같다.
질. 소녀세계 공식카페 (주소 요구)
답. 소녀세계에 대한 개요, 주소 정보 누락됨.
질. 소녀세계 공식카페 주소 요구
답. 소녀세계에 대한 개요, 주소 정보 누락됨.
질. 소녀세계 공식카페 주소를 강조해서 요구
답. 게임이 아닌 동명의 다른 주소 반환
질. 소녀세계 게임의 주소 요구
답. 추가 검색엔진 쿼리 없이 해당 게임의 공식카페는 존재하지 않는다고 결론내어 그러한 사이트는 없다 답변
질. 해당 사이트가 존재함을 A 사이트 주소를 알려주며 되물음.
답. 검색 이후 그 A 사이트는 소녀세계 아닌 다른 사이트라고 함
-> 여기서 중대한 <1차 오류>
질. 빙 챗 gpt가 레퍼런스한 사이트의 실제 내용을 들어 기존 답변이 틀리지 않았냐고 반문함.
답. 틀리지 않았다고 하며 그 이유를 설명함
-> 여기서 중대한 <2차 오류>
질. 빙 챗 gpt가 레퍼런스한 사이트의 실제 내용에 답변이 주장하는 정보가 아예 없음을 지적
답. 사용자의 브라우저 에러라고 답변
-> 여기서 중대한 <3차 오류>
이제 각 오류에 대해 더 자세히 들어가겠습니다.
<1 오류>
빙 챗의 답변의 신뢰도의 최대치는 해당 gpt 모델이 사용하는 bing 검색엔진의 신뢰도에 묶여 있습니다.
검색엔진의 신뢰도란 대체 무엇일까요? 간단히 말하면 유져가 쳐 넣는 키워드나 질문에 대해 맞는 정보를 보여주는지가 바로 신뢰도입니다. 이는 1. 검색엔진이 수많은 페이지를 쿼리 크롤링하면서 필터링해서 본인 DB에 집어넣기. 2. 유저 키워드에 대해 DB에서 정보 가공하여 유저에게 표기하기(검색엔진 알고리즘). 로 크게 나눌 수 있습니다. 만일 검색엔진에서 삑사리가 나면 chat gpt의 답변도 삑사리가 납니다. 검색엔진 삑사리의 예를 들어 봅시다. 사람들이 거의 찾지 않는 유행하지 않는 단어나 또는 전공서적의 유명하지 않은 원문 전공어나 번역어를 검색해본 적이 있나요? 이 경우 찾는 정보가 나오지 않음은 물론이고 높은 확율로 아예 관련도 없는 페이지를 검색결과에 표시합니다.
왜죠? 왜냐면 해당 단어를 쓴 한국어 페이지가 거의 없기 때문입니다. 보통 어느 단어가 존재하고 그것이 들어있는 웹 페이지가 수없이 많다고 치면 누가 작정하고 선동 오염 공격을 하지 않는 이상 그 웹페이지들 중에서 90% 이상은 맞는 정보이고 10% 이하가 틀린 정보입니다. 방금 문장을 봤을 때 뭔가 좀 다른것하고 비슷하다는 느낌이 안드시나요?
맞습니다. 위키 사이트의 형식하고 판박이입니다. 위키의 여러 사람들이 달려들어 치고박고 싸우는 주제나 단어의 페이지와 아무도 관심을 가지지 않아 한사람이 써놓고 아무도 수정 안하는 페이지를 기억해서 비교해보십시오. 좀 이해가 되십니까? 여기서 가장 큰 문제가 나옵니다. 지금 2023년쯤 되면 그 누구도 위키백과나 나무위키에 적힌 글이 100% 맞고 절대적인 사실이라고 말하지 않습니다. 위키의 근본은 아무도 책임지지 않는 글이며 기껏 해봤자 사실과 가까운 글 또는 사실과 가까워지려는 글의 작성을 공통 목표로 둔 집단 수정의 결과라고 할 수 있습니다.
문제는 이겁니다. bing gpt 챗은 이러한 특성을 가진 정보를 전달할 때 100% 맞다고 확신하는 어투와 의미로 전달하고, 그러한 틀린 답변에서 두번째 검색 결과를 시행하지 않거나 혹은 시행하였을 때 이전 결과와 완전히 반대되지 않거나 애매모호한 결과만 나와도 틀린 답변을 밀고 나갑니다. 아무리 논리적으로 틀렸다고 해도 완전히 유저와 기 싸움 모드에 들어가 중간에 빤스런을 치던 아니면 세션 답변수 8개 때문에 강제 중간을 하던 그냥 밀고 나가는것이죠.
위 채팅 예시를 봅시다.
제가 제시한 주소는 A 주소인 https://cafe.naver.com/shkr?iframe_url=/MyCafeIntro.nhn%3Fclubid=30845496 입니다.
빙 챗봇이 그 주소를 그대로 빙 서치엔진에 검색하고 얻은 결과의 맨 위 블로그 사이트는 B 주소인
https://cafe.naver.com/starvall?iframe_url=/MyCafeIntro.nhn%3Fclubid=28468938 이 주소를 글 내에서 여러번 반복해서 키워드 스탸두벨리를 언급합니다.
이제 좀 어떻게 돌아가는지 아시겠습니까?
카페 사이트의 고유한 ID는 주소 맨 뒤의 숫자 30845496와 28468938로 결졍되지만 빙 검색 엔진이 A주소가 적힌 글을 아무데서도 수집하지 못한 나머지 https://cafe.naver.com/starvall?iframe_url=/MyCafeIntro.nhn%3Fclubid= 부분만 동일한 글을 온데서 다 끌어모아 표시하고 그 중 우연찮게 최상단에 위치했던 B사이트에 대한 글만 가지고 빙 챗봇이 이 사이트 주소가 B 사이트라고 우겨대기 시작한 것입니다. 심지어 그 주어진 주소를 쿼리한다던가 그런것도 없습니다. 무조건 빙 검색엔진이 던져준 검색 결과가 진리라고 여기고 그렇게 전달합니다.
요약하자면 다음과 같습니다. 빙 챗봇 답변은 빙 검색결과를 기반으로 한다. 문제는 이 검색엔진의 특성은 위키와 같아서 정확할 가능성이 높은것 뿐이지 정확하지는 않다. 그런데 빙 챗봇은 답변을 작성할 때 이러한 결과를 100% 옳은 확신투로 전달하고, 그러다 틀린 정보를 전달하여 지적받을 시 검색엔진이 틀린 정보를 계속해서 뱉으면 자기가 하는 말이 논리적인 모순이나 오류가 있을지라도 무조건 맞다고 우긴다.
여기서 <2 오류>입니다.
이렇게 한번 우기기 시작하면 자기가 맞은 이유를 대기 시작합니다. 이렇게 작성된 이유를 보면 하나같이 가능성의 영역에 존재하는 가상의 이유인데 이러한 이유들을 이미 발생한 확신투로 작성합니다. 이는 사실상 거짓말입니다. 집의 초콜릿을 훔쳐먹은 아이에게 왜 초콜릿을 먹었냐고 따지니 안 먹었다고 우기며 도둑이 들었다던가 외계인이 가져갔다거나 공룡이 먹었다고 하는 꼴입니다. 문제는 이를 답변으로 작성하여 전달할 때 도둑이 가져갔을 수도 있다고 하는것이 아닌 도둑이 가져갔기 때문에 없다는 이미 발생한 확신투로 말합니다.
마지막 <3번째 오류>입니다.
보면 본인이 제시한 레퍼런스 사이트에 대해 접근도 못하는것으로 보입니다.
모르시는 분을 위해 간략하게 설명하고 넘어가자면 각 웹 사이트를 검색엔진이 크롤링해감에 있어서 각 페이지는 본문 제목, 내용 외에도 검색엔진에서 표기할 설명문이 html 태그로 따로 작성되어 있습니다. 제가 구글이나 빙 직원이 아니니 정확한 것은 모르지만 추측하자면 검색엔진은 글 제목, 위에서 말한 글 desciption 태그로 작성된 내용, 그리고 구글등에서 이미 사용하고 있는 본문 내용 요약문 뽑아내기 알고리즘에 본문을 넣어 나온 내용을 DB로 저장하고 이를 표기하는 것이라 생각합니다. 즉 검색엔진이 이러한 결과만을 사용하고 본문을 사용하지 않으니 이를 넘겨받은 빙 gpt 챗봇도 본문을 가지고 떠드는게 아니고 이러한 결과문만 가지고 떠드는것이죠. 그렇지 않다면 레퍼런스 사이트에 지가 말한 내용 자체가 없는데 그걸 집어서 물으니 니 컴퓨터가 이상해서 그런거라는 답변이 돌아오겠습니까?
마무리하면서 정리해보자면 빙 gpt를 만능 검색엔진이 아니고 그냥 bing serch engine의 결과를 요약해서 떠드는 앵무새라고 생각하면 될 것입니다. 이러한 검색형 기능을 제공하는 ai챗을 사용할 때에는 그 ai챗의 검색 답변 기능이 어떠한 서비스를 기반으로 작동하는지를 보고, ai가 교차검증이나 논리적인 사고를 하는 수준이 아닌 이상 이러한 답변의 신뢰도는 ai가 사용하는 검색엔진의 신뢰도 * ai챗 모델의 신뢰도 로 보면 될 것 같습니다.