ChatGPT 1회 캡처가 GEO 성과가 될 수 없는 이유
도슨티GEOChatGPT 1회 캡처가 GEO 성과가 될 수 없는 이유
“AI가 우리 브랜드를 추천했습니다.” 그다음에 확인해야 할 여섯 가지 질문.
“ChatGPT가 우리 회사를 추천했습니다.”
기업의 마케팅 담당자가 AI 검색 결과를 캡처해 사내 메신저에 공유합니다.
화면에는 자사 브랜드가 여러 경쟁사와 함께 등장합니다. 그중에서도 첫 번째로 추천됐다면 더욱 반가운 결과입니다.
이제 GEO(Generative Engine Optimization) 성과를 얻었다고 말해도 될까요?
분명 긍정적인 신호입니다.
그러나 그 화면 하나만으로 GEO 활동이 성공했다고 결론 내리기는 어렵습니다.
같은 질문을 다시 입력했을 때도 브랜드가 등장할까요?
질문 표현을 조금 바꾸면 어떻게 될까요?
ChatGPT가 아닌 Gemini나 Perplexity에서도 비슷한 결과가 나타날까요?
한 달 뒤에도 해당 브랜드가 추천될까요?
그리고 해당 브랜드가 추천된 이유는 무엇일까요?
이 질문에 답하지 못한다면 캡처 화면은 한 번의 관찰 결과에 가깝습니다.
AI 검색에서 브랜드가 등장했다는 사실과, 그 브랜드가 안정적인 가시성을 확보했다는 주장은 구분해야 합니다.
GEO 성과 측정에서 이 차이는 생각보다 중요합니다.
1. AI 답변은 고정된 검색 결과가 아닙니다
전통적인 검색엔진에서도 검색 결과는 위치와 시점, 사용자 환경에 따라 달라질 수 있습니다.
하지만 생성형 AI 검색은 또 다른 차원의 변동성을 갖고 있습니다.
AI는 사용자의 질문을 해석하고 관련 정보를 탐색한 뒤 답변을 생성합니다.
이 과정에서 답변의 내용과 순서, 인용 출처가 달라질 수 있습니다.
OpenAI는 ChatGPT Search 공식 설명에서 사용자 질문을 하나 이상의 검색 질의로 재작성할 수 있다고 안내합니다.
초기 검색 결과를 검토한 뒤 추가 검색을 수행하는 경우도 있습니다.
Google 역시 AI 검색 기능 공식 문서에서 AI Overviews와 AI Mode가 여러 하위 주제에 대한 검색을 동시에 수행하는 Query fan-out 방식을 활용할 수 있다고 설명합니다.
따라서 같은 질문이라도 AI가 참조하는 정보와 최종 답변이 항상 동일하다고 보장할 수 없습니다.
예를 들어 “국내 ERP 솔루션을 추천해줘”라는 질문에서 A기업이 첫 번째로 등장했다고 가정하겠습니다.
다음 질문에서는 B기업이 먼저 소개될 수도 있습니다.
“중견 제조기업에 적합한 ERP를 추천해줘”라고 조건을 추가하면 처음에는 등장하지 않았던 C기업이 추천될 수도 있습니다.
이러한 결과가 반드시 오류를 의미하는 것은 아닙니다.
질문의 조건이 달라지면서 추천 기준도 달라졌을 수 있기 때문입니다.
따라서 기업은 한 번의 답변 순서를 시장 전체에 적용되는 고정된 순위처럼 해석해서는 안 됩니다.
2. 연구 결과: 한 번의 측정은 브랜드 가시성을 대표하기 어렵습니다
2026년 4월 발표된 Don't Measure Once: Measuring Visibility in AI Search (GEO)는 이 문제를 직접 다뤘습니다.
스위스 장크트갈렌대학교 등의 연구진이 발표한 이 논문은 AI 검색의 브랜드 가시성을 평가할 때 반복 측정이 필요한 이유를 설명합니다.
연구진은 생성형 AI 답변이 실행 횟수와 질문 표현, 측정 시점에 따라 달라질 수 있다는 점에 주목했습니다.
따라서 일회성 관찰 결과를 브랜드의 대표적인 GEO 성과로 사용하는 것은 신뢰하기 어렵다고 지적합니다.
여기서 중요한 제안이 나옵니다.
브랜드 가시성을 단일한 수치가 아니라, 여러 관찰 결과에서 나타나는 분포로 이해해야 한다는 것입니다.
예를 들어 한 번의 측정에서 A기업이 추천됐다는 사실보다, 동일한 질문을 여러 차례 측정했을 때 A기업이 얼마나 자주 등장하는지가 더 유용한 정보입니다.
이러한 관점은 2026년 3월 발표된 Quantifying Uncertainty in AI Visibility 연구에서도 확인할 수 있습니다.
연구진은 Perplexity, OpenAI 검색, Gemini 등 세 가지 AI 검색 환경에서 인용 출처의 변동성을 분석했습니다.
관찰은 9일 동안의 일별 수집과 10분 간격의 고빈도 수집이라는 두 방식으로 진행됐습니다.
연구 결과 인용 출처와 순위는 반복 측정에서 상당한 변동성을 보였습니다.
일부 출처 간에 관찰된 순위 차이는 통계적 불확실성을 고려하면 명확한 차이로 해석하기 어려웠습니다.
이는 GEO 성과 보고서에서 중요한 의미를 갖습니다.
A기업이 한 번의 AI 답변에서 B기업보다 먼저 등장했다고 해서, A기업이 안정적으로 더 높은 가시성을 갖고 있다고 단정할 수 없습니다.
반복 관찰을 통해 결과가 얼마나 일관되게 나타나는지 살펴봐야 합니다.
3. 실제로 측정하면 무엇이 달라질까요?
가상의 B2B 소프트웨어 기업 A를 예로 들어보겠습니다.
마케팅 담당자는 ChatGPT에 다음과 같이 질문했습니다.
“중견 제조기업에 적합한 ERP 솔루션을 추천해줘.”
첫 번째 측정에서 A기업이 추천 목록의 맨 위에 등장했습니다.
하지만 같은 조건에서 총 20차례 측정했다고 가정해 보겠습니다.
| 결과 | 관찰 횟수 | 비율 |
|---|---|---|
| A기업이 첫 번째로 추천됨 | 5회 | 25% |
| A기업이 다른 위치에서 추천됨 | 7회 | 35% |
| A기업이 언급됐지만 추천되지는 않음 | 2회 | 10% |
| A기업이 등장하지 않음 | 6회 | 30% |
| 합계 | 20회 | 100% |
실제 실험 결과가 아닌 가상 사례입니다. 각 결과는 서로 중복되지 않도록 분류했습니다.
첫 번째 캡처만 보면 A기업은 ChatGPT가 가장 먼저 추천한 솔루션입니다.
하지만 20차례의 결과를 종합하면 다른 사실을 알 수 있습니다.
A기업은 전체 답변의 70%에서 언급됐습니다.
추천 후보에 포함된 비율은 60%였습니다.
그리고 첫 번째로 추천된 비율은 25%였습니다.
세 숫자는 서로 다른 의미를 갖습니다.
언급률은 브랜드가 답변에 등장한 비율입니다.
추천률은 실제 선택지로 제안된 비율입니다.
첫 번째 추천 비율은 가장 먼저 추천된 빈도를 나타냅니다.
처음에 확보한 캡처 화면은 틀린 결과가 아닙니다.
다만 전체 결과 중 한 가지 사례였을 뿐입니다.
여기서도 20회라는 횟수가 충분한지 별도로 평가해야 합니다.
측정 횟수가 적다면 비율의 불확실성이 여전히 클 수 있기 때문입니다.
GEO 보고서가 신뢰를 얻으려면 결과 수치뿐 아니라 그 수치를 어떤 방식으로 얻었는지도 함께 보여줘야 합니다.
4. 측정 횟수가 많으면 무조건 신뢰할 수 있을까요?
그렇지도 않습니다.
동일한 질문을 100번 측정했다고 해서 모든 측정 문제가 해결되는 것은 아닙니다.
2026년 7월 발표된 From Stochastic to Stable: Rank Stability and Structural Sufficiency in AI Visibility Measurement는 AI 검색 가시성을 평가할 때 충분한 관찰 자료를 어떻게 판단할 것인지 다뤘습니다.
연구진은 Gemini, OpenAI 검색, Perplexity의 30개 플랫폼·주제 조합을 분석했습니다.
그 결과 모든 측정 대상에 동일하게 적용할 수 있는 고정된 수집 횟수를 정당화하기 어렵다고 설명합니다.
일부 질문에서는 비교적 적은 횟수의 관찰로도 안정적인 결과를 얻을 수 있습니다.
반면 다른 질문에서는 더 많은 측정이 필요할 수 있습니다.
따라서 단순히 “100회 측정했습니다”라는 설명만으로 충분하지 않습니다.
관찰 결과가 얼마나 안정적인지, 비교 대상 간 차이가 측정의 불확실성보다 충분히 큰지 확인해야 합니다.
실무에서는 반복 측정으로 나타나는 값의 변동 범위를 함께 보고하고, 필요하다면 신뢰구간 등을 계산할 수 있습니다.
또한 같은 날 여러 번 측정한 결과와 여러 주에 걸쳐 측정한 결과는 서로 다른 정보를 제공합니다.
전자는 특정 시점의 변동성을 살펴보는 데 유용합니다.
후자는 시간에 따른 변화와 지속성을 이해하는 데 도움이 됩니다.
따라서 기업이 원하는 성과에 따라 측정 설계도 달라져야 합니다.
5. 캡처 화면보다 더 큰 문제는 질문을 누가 선정했는가입니다
반복 측정을 하더라도 질문 자체가 편향되어 있다면 결과를 신뢰하기 어렵습니다.
예를 들어 A기업이 GEO 성과를 측정하면서 다음 질문만 사용한다고 가정해 보겠습니다.
“A기업은 어떤 솔루션인가요?”
“A기업의 장점은 무엇인가요?”
“A기업을 도입하면 좋은 이유를 알려줘.”
이러한 질문에서 A기업이 자주 등장하는 것은 자연스러운 결과입니다.
하지만 이 결과가 실제 잠재고객의 비브랜드 질문에서도 A기업이 추천된다는 뜻은 아닙니다.
“중견기업에 적합한 ERP 솔루션을 추천해줘.”
“생산관리와 원가분석에 강한 소프트웨어를 비교해줘.”
“ERP 도입을 검토하는 기업이 알아야 할 주요 솔루션은 무엇인가?”
이러한 질문에서는 다른 결과가 나타날 수 있습니다.
따라서 GEO 성과 측정에서는 질문의 선정 방식 자체를 검증해야 합니다.
기업이 실제 고객에게 발견되고 싶은 질문을 선정했는지, 구매 의사결정에 중요한 질문을 포함했는지, 자사 브랜드에 유리한 질문만 선택하지 않았는지 확인해야 합니다.
특히 브랜드명을 포함한 질문과 포함하지 않은 질문은 별도로 분석하는 것이 좋습니다.
브랜드명을 직접 입력한 질문에서의 언급률을 비브랜드 질문의 자발적 추천률과 혼합하면 성과를 과대평가할 위험이 있습니다.
또한 측정 질문 목록을 자주 변경하면서 이전 결과와 단순 비교하는 것도 경계해야 합니다.
질문 구성이 달라지면 브랜드 언급률도 달라질 수 있기 때문입니다.
좋은 GEO 측정은 질문을 많이 수집하는 데서 시작하지 않습니다. 측정할 가치가 있는 질문을 올바르게 선정하는 데서 시작합니다.
6. 실제 GEO 성과 보고서라면 반드시 확인해야 할 여섯 가지
기업이 GEO 솔루션이나 대행사의 성과 보고서를 검토한다면 다음 여섯 가지를 확인하는 것이 좋습니다.
① 어떤 질문을 측정했는가?
질문 목록과 선정 기준을 확인해야 합니다.
실제 고객의 주요 관심사와 구매 의사결정에 관련된 질문인지가 중요합니다.
② 어떤 AI 플랫폼에서 측정했는가?
ChatGPT, Claude, Gemini, Perplexity 등은 서로 다른 환경입니다.
하나의 플랫폼에서 얻은 결과를 모든 생성형 AI 검색의 성과로 일반화해서는 안 됩니다.
③ 언제, 얼마나 반복해서 측정했는가?
측정 날짜와 반복 횟수를 확인해야 합니다.
가능하다면 단일 시점의 반복 측정과 시간에 따른 추이 측정을 구분하는 것이 좋습니다.
④ 무엇을 성과로 계산했는가?
브랜드 언급, 출처 인용, 추천 여부, 답변 내 위치를 구분해야 합니다.
브랜드가 단순히 등장했다는 사실을 긍정적인 추천으로 처리해서는 안 됩니다.
⑤ 경쟁사와 동일한 조건에서 비교했는가?
같은 질문과 측정 환경에서 경쟁사를 비교했는지 확인해야 합니다.
비교 조건이 다르면 수치의 차이가 실제 경쟁력의 차이인지 판단하기 어렵습니다.
⑥ 개선 활동 이후의 변화를 어떻게 검증했는가?
콘텐츠 발행 전후를 비교한다면 질문 집합과 측정 방법의 일관성을 유지해야 합니다.
가능하다면 변경하지 않은 비교 질문군을 함께 관찰해 외부 환경 변화의 영향을 검토할 필요가 있습니다.
이러한 방법을 사용하더라도 개선 활동의 인과적 효과가 완벽하게 입증되는 것은 아닙니다.
그러나 단순한 캡처 화면과 비교하면 훨씬 더 많은 판단 근거를 확보할 수 있습니다.
7. GEO 성과 측정은 결국 재현 가능성의 문제입니다
과학 연구에서 중요한 기준 중 하나는 다른 사람이 같은 방법을 사용했을 때 결과를 검토할 수 있는가입니다.
GEO 성과 측정에도 유사한 원칙이 필요합니다.
이를 설명하기 위해 다음과 같은 가상의 보고서를 비교해 보겠습니다.
첫 번째 보고서에는 ChatGPT가 A기업을 추천한 캡처 이미지와 “AI 검색 노출 성공”이라는 설명이 들어 있습니다.
두 번째 보고서에는 측정 질문 100개, AI 플랫폼별 결과, 측정 기간, 브랜드 언급·인용·추천 비율, 경쟁사 비교, 변화 추이가 포함되어 있습니다.
어느 보고서가 기업의 투자 판단에 더 도움이 될까요?
첫 번째 보고서는 AI가 실제로 브랜드를 추천했다는 사례를 보여줍니다.
두 번째 보고서는 그 결과가 어떤 조건에서 얼마나 자주 나타났는지 살펴볼 수 있도록 돕습니다.
따라서 두 보고서의 증거 수준은 다릅니다.
이러한 관점은 2026년 7월 발표된 Optimizing Visibility in Generative Engines: A Critical Survey of GEO에서도 강조됩니다.
해당 연구는 45개 GEO 관련 연구를 검토하면서 측정 용어와 지표, 근거 수준이 여전히 일관되지 않다고 지적합니다.
특히 GEO를 하나의 순위 문제로만 이해해서는 안 된다고 설명합니다.
AI 검색에는 정보 탐색, 출처 선택, 인용, 답변 생성, 사용자 행동 등 여러 단계가 포함되기 때문입니다.
연구는 반복 측정과 질문 표현의 변화, 비교집단, 사람의 검증을 활용한 측정 방법론의 필요성도 제시합니다.
이러한 기준은 GEO 시장이 성장할수록 더욱 중요해질 수 있습니다.
기업은 단순히 좋은 결과를 보여주는 업체보다, 그 결과를 어떤 기준으로 측정하고 해석해야 하는지 설명할 수 있는 업체를 선택할 필요가 있습니다.
8. 도슨티 GEO가 지향하는 것은 캡처 이후의 성과 측정입니다
도슨티 GEO는 AI 검색에서 브랜드가 얼마나 자주 등장하는지, 어떤 출처가 인용되는지, 경쟁사와 비교해 어떤 차이가 나타나는지 확인할 수 있도록 지원합니다.
ChatGPT, Claude, Gemini, Perplexity 등 주요 AI 플랫폼의 브랜드 언급률과 인용률, 노출 현황을 모니터링하고 시간에 따른 변화를 분석할 수 있습니다.
기업은 고객에게 중요한 질문을 설정하고 그 질문에서 자사 브랜드가 얼마나 자주 등장하는지 확인할 수 있습니다.
이를 바탕으로 경쟁사가 상대적으로 강한 질문이나 자사 브랜드가 충분히 발견되지 않는 영역을 찾아볼 수 있습니다.
도슨티 GEO의 핵심적인 활용 가치는 여기에 있습니다.
한 번의 AI 추천 화면으로 성과를 단정하는 것이 아니라, 주요 질문에서의 가시성을 지속적으로 관찰하고 개선이 필요한 영역을 발견하는 것입니다.
물론 AI 모니터링 결과에도 한계는 있습니다.
어떤 솔루션도 모든 사용자의 모든 AI 질문을 관찰할 수 있는 것은 아닙니다.
측정한 질문과 플랫폼, 시점에 따라 결과가 달라질 수 있습니다.
또한 브랜드 언급률이나 인용률이 높아졌다는 사실만으로 매출이 증가했다고 증명할 수는 없습니다.
따라서 기업은 GEO 솔루션의 대시보드를 해석할 때도 측정 조건과 데이터의 의미를 함께 확인해야 합니다.
Google은 2026년 생성형 AI 검색 최적화 공식 가이드에서 제3자 도구가 Google의 내부 순위 또는 AI 시스템에 직접 접근할 수 없다고 명시하고 있습니다.
이는 GEO 측정 도구의 가치가 없다는 뜻이 아닙니다.
오히려 외부에서 관찰한 결과와 플랫폼이 직접 제공하는 데이터를 구분하고, 각 데이터가 어떤 질문에 답할 수 있는지 명확하게 설명해야 한다는 의미입니다.
도슨티 GEO가 지향해야 할 방향도 숫자의 크기를 경쟁하는 것이 아니라, 기업이 그 숫자를 올바르게 이해하고 활용할 수 있도록 돕는 것입니다.
9. 좋은 GEO 보고서는 성공뿐 아니라 불확실성도 보여줘야 합니다
기업의 마케팅 성과 보고서는 좋은 결과를 강조하기 쉽습니다.
하지만 성공적인 사례만 제시하는 보고서는 개선이 필요한 문제를 놓칠 수 있습니다.
GEO 보고서가 실제 의사결정에 도움이 되려면 성공과 실패를 함께 보여줄 필요가 있습니다.
예를 들어 다음과 같은 결과도 중요합니다.
특정 질문에서 브랜드 언급률이 상승했지만 경쟁사의 증가폭이 더 컸습니다.
자사 콘텐츠의 인용은 증가했지만 구매 관련 질문에서의 추천률은 달라지지 않았습니다.
한 플랫폼에서는 브랜드 가시성이 개선됐지만 다른 플랫폼에서는 변화가 없었습니다.
일부 질문에서는 개선 활동 이후 오히려 브랜드 언급률이 낮아졌습니다.
이러한 결과는 반드시 GEO 전략의 실패를 뜻하지 않습니다.
어떤 영역에서 개선이 일어났고 어떤 영역에서는 추가적인 분석이 필요한지 알려주는 정보입니다.
특히 GEO 측정에는 통계적 변동성과 외부 환경 변화가 존재하므로 작은 수치 변화만으로 성공 또는 실패를 단정하지 않아야 합니다.
성과가 불확실하다면 불확실하다고 설명해야 합니다.
측정 데이터가 부족하다면 더 많은 관찰이 필요하다고 판단할 수 있어야 합니다.
변화의 원인을 확인하지 못했다면 원인이 확인되지 않았다고 보고해야 합니다.
좋은 GEO 보고서의 목적은 성공을 선언하는 것이 아니라, 다음 의사결정의 근거를 제공하는 것입니다.
결론. 스크린샷은 출발점일 수 있지만, 성과의 증명은 아닙니다
AI 검색에서 우리 브랜드가 추천되는 화면을 발견하는 일은 분명 의미가 있습니다.
그 화면은 브랜드가 AI 답변에 등장할 수 있다는 사실을 보여줍니다.
그러나 그것만으로 추천의 일관성이나 경쟁사 대비 우위, GEO 개선 활동의 효과를 입증할 수는 없습니다.
이제 기업은 GEO 성과를 보다 엄격한 기준으로 평가할 필요가 있습니다.
한 번의 추천이 아니라 반복적으로 관찰된 결과를 확인해야 합니다.
측정 질문이 실제 고객의 요구를 반영하는지 검토해야 합니다.
언급과 인용, 추천을 구분해야 합니다.
동일한 조건에서 경쟁사와 비교해야 합니다.
그리고 개선 활동 이후 나타난 변화가 얼마나 안정적이고 의미 있는지 살펴봐야 합니다.
GEO 시장이 성장할수록 화려한 성공 사례를 보여주는 기업도 늘어날 것입니다.
하지만 기업에 필요한 것은 성공적인 캡처 이미지를 많이 확보하는 일이 아닙니다.
고객이 AI에 질문하는 순간 우리 브랜드가 얼마나 일관되게 발견되고, 어떤 이유로 추천되며, 무엇을 개선해야 하는지 이해하는 것입니다.
이제 GEO의 성과를 판단하는 질문을 바꿔야 합니다.
“ChatGPT가 우리 회사를 추천한 적이 있나요?”에서
**“우리 고객이 중요한 질문을 할 때, 우리 브랜드가 반복적으로 선택받는다는 것을 어떤 데이터로 증명할 수 있나요?”**로.
AI 검색에서의 가시성을 높이는 일이 GEO의 출발점이라면, 그 가시성의 의미를 검증하는 일은 GEO가 신뢰받는 마케팅 활동으로 성장하기 위한 조건입니다.
AI 검색 성과, 한 장의 캡처가 아닌 데이터로 확인하세요
우리 브랜드는 주요 AI 플랫폼에서 얼마나 자주 언급되고 인용될까요?
어떤 질문에서 경쟁사가 더 자주 등장하고, 시간이 지나면서 무엇이 달라지고 있을까요?
도슨티 GEO에서 브랜드 언급·인용 현황과 경쟁사 비교 데이터를 확인하고, 실제 고객 질문을 중심으로 GEO 개선 과제를 찾아보세요.
도슨티 GEO의 측정 결과는 설정된 질문, 플랫폼, 측정 시점에 한정됩니다. 실제 AI 사용자 전체의 추천 빈도나 GEO 활동의 인과적 성과를 직접 의미하지 않습니다.
주요 참고자료
-
Schulte, Bleeker & Kaufmann (2026). Don't Measure Once: Measuring Visibility in AI Search (GEO)
-
Martinez (2026). Optimizing Visibility in Generative Engines: A Critical Survey of GEO
-
Google Search Central (2026). Optimizing Your Website for Generative AI Features
