검색과 기획에서 달랐던 두 AI의 답

2024년 11월 공개한 ChatGPT Search·Perplexity 비교 실험을 글로 정리했습니다. 당시 제한된 질문에서 관찰한 결과이며, 현재 제품의 성능 순위나 재현 가능한 벤치마크는 아닙니다.

퍼플렉시티 실사용 리뷰를 준비하다 방향을 바꿨습니다. 검색 기능을 갖춘 ChatGPT와 나란히 사용해보면 어떨까 싶어, 두 도구에 질문을 던지는 비교 영상을 만들었습니다.

영상 소개에는 같은 컴퓨터와 인터넷, 같은 검색어로 비교했다고 적었습니다. 속도와 정확성, 최신 정보, 출처, 추론과 콘텐츠 생성처럼 여러 관점에서 살펴봤습니다. 이 조건이 모든 차이를 통제한 실험을 의미하지는 않습니다.

빠른 답과 보기 편한 출처

제가 시험한 질문에서는 퍼플렉시티의 결과가 대체로 빨리 나왔습니다. 다만 영어로 검색할 때는 차이가 크게 느껴지지 않는다고도 이야기했습니다.

답의 내용에서는 한쪽이 모든 질문에서 낫다고 느끼지 않았습니다. 여러 대상을 한꺼번에 물었을 때와 하나씩 물었을 때도 결과가 달랐습니다. 당시의 답변을 보며 느낀 차이였고, 각 답의 사실성을 독립적으로 전수 검증한 결과는 아닙니다.

출처를 보여주는 화면은 퍼플렉시티가 더 편했습니다. 자료를 확인하고 다음으로 살펴볼 내용을 고르는 데 도움이 된다고 느꼈습니다. 답변의 내용과 그 근거를 살펴보는 화면은 서로 다른 평가 지점이었습니다.

같은 질문에서도 맥락을 다르게 잡았습니다

기획으로 질문을 옮겼습니다. 오프라인 마케팅 전략을 요청했을 때는 두 도구가 비슷한 방향을 제안했습니다. 팝업스토어와 거리 예술 같은 아이디어들이 나왔습니다.

조금 더 구체적인 맥락을 넣자 차이가 보였습니다. 김천의 축제를 분석해 마케팅 기획으로 이어가도록 질문했는데, 당시 퍼플렉시티 답변은 포도와 자두를 활용한 축제로 해석했습니다.

ChatGPT는 제가 염두에 둔 김밥 축제를 짚고 테마와 스토리텔링으로 연결했습니다. 이 질문에서는 ChatGPT의 답이 더 마음에 들었습니다. 질문의 배경을 어떻게 이해하느냐에 따라 뒤에 이어지는 제안도 달라진 장면이었습니다.

이것을 어느 모델의 추론 능력이 언제나 더 높다는 결론으로 넓힐 수는 없습니다. 영상 속 특정 질문과 답변에서 제가 관찰한 차이입니다.

하나를 고르는 대신 일을 나누기

질문을 바꿔가며 비교하다 보니 시간이 가는 줄 몰랐습니다. 실험을 마치고 내린 결론은 둘 중 하나만 쓰자는 것이 아니었습니다.

당시 제게는 퍼플렉시티가 자료 조사와 검색 결과 확인에 편했고, ChatGPT는 콘텐츠를 새로 만들고 기획을 이어가는 데 좋았습니다. 그래서 업무에 따라 두 도구를 섞어 쓰겠다고 이야기했습니다.

비교표의 승자를 고르기보다 제가 어떤 일을 하려는지에 따라 판단한 경험이었습니다. 검색해서 살펴보는 일과 그 맥락을 바탕으로 새 내용을 만드는 일이 어떻게 다른지 다시 보게 된 실험이었습니다.