콘텐츠 제작자가 AI 답변에 인용되려면

콘텐츠 제작자가 AI 답변에 인용되려면

원문: Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan, Ameet Deshpande, ‘GEO: Generative Engine Optimization’, KDD 2024. arXiv:2311.09735

이 논문이 해결하려는 문제

지난 삼십 년 동안 검색 엔진은 사람들이 정보를 얻는 방식을 바꾸었습니다. 하지만 하는 일 자체는 단순했습니다. 키워드를 입력받아 관련 웹페이지 링크를 반환하고 나머지 읽기와 판단은 사용자에게 맡겼습니다. 대규모 언어 모델의 등장으로 상황이 달라졌습니다. BingChat, Google의 SGE, Perplexity.ai 같은 제품은 링크를 나열하는 데 그치지 않고 여러 페이지를 검색하고 정보를 종합해 인용이 포함된 자연어 답변을 생성합니다. 논문은 이런 시스템을 통틀어 다음과 같이 부릅니다. 생성형 엔진(Generative Engine, GE).

생성형 엔진은 사용자와 개발자 모두에게 이점이 있습니다. 사용자는 더 빨리 답을 얻고 개발자는 사용자 충성도와 사업 가치를 높일 수 있습니다. 하지만 한 집단은 소외되어 있습니다. 웹사이트와 콘텐츠 제작자입니다. 기존 검색 엔진은 적어도 사용자를 웹사이트로 보내 주었습니다. 생성형 엔진은 답변 안에서 내용을 모두 소화하기 때문에 사용자가 원본 링크를 열 필요가 없을 수 있고 웹사이트의 노출과 트래픽은 줄어듭니다. 더 큰 문제는 생성형 엔진이 블랙박스이며 제품 변화도 매우 빠르다는 것입니다. 제작자는 자신의 콘텐츠가 어떻게 검색·요약·인용되는지 전혀 알 수 없고 노출을 높일 도구도 없었습니다.

이에 저자들이 제안한 것은 생성형 엔진 최적화(Generative Engine Optimization, GEO)입니다. 어떤 의미에서는 ‘차세대 SEO’라고 할 수 있는, 콘텐츠 제작자를 위해 생성형 엔진 내 가시성을 최적화하는 최초의 프레임워크입니다. 여러 최적화 기법을 엄밀하게 평가하기 위해 만 건 규모의 질의 벤치마크도 구축했으며, 그 이름은 GEO-bench입니다. 실험에서는 적절한 최적화를 통해 생성형 엔진 답변 안에서 콘텐츠의 가시성이 최대 40% 향상되었고, 실제 제품인 Perplexity.ai에서도 같은 개선을 재현했습니다(최대 37%).

생성형 엔진은 어떻게 작동하는가

논문은 먼저 생성형 엔진을 형식적으로 정의합니다. 생성형 엔진은 사용자 질의 $q_u$와 선택적인 개인화 정보 $P_U$를 입력받아 자연어 답변 $r$을 출력합니다.

$$f_{GE} := (q_u, P_U) \rightarrow r$$

내부는 두 부분으로 구성됩니다.

• 여러 생성 모델 $G=\{G_1, G_2, ..., G_n\}$는 각각 질의 재작성, 요약 생성, 최종 답변 작성 등 서로 다른 하위 작업을 담당합니다.
• 하나의 검색 엔진 $SE$는 질의를 바탕으로 후보 출처 집합 $S=\{s_1, s_2, ..., s_m\}$을 반환합니다.

논문이 설명하는 일반적인 처리 과정(원문의 Figure 2에 해당하며 당시 BingChat 설계와 유사함)은 세 단계로 나뉩니다.

1. 질의 재작성: 재작성 모델 $G_{qr}$이 사용자의 원래 질문을 검색에 더 적합한 여러 하위 질의로 나눕니다.
2. 검색과 요약: 하위 질의를 검색 엔진에 보내 순위가 매겨진 출처 페이지들을 가져온 뒤 요약 모델 $G_{sum}$이 각 출처의 요약을 생성합니다.
3. 답변 생성: 답변 생성 모델 $G_{resp}$가 모든 요약을 종합해 일관된 답변을 만들고 문장별로 인용 출처를 표시합니다.

대규모 언어 모델에는 환각 문제가 있으므로 인용 체계가 매우 중요합니다. 이상적으로는 답변의 모든 문장에 이를 뒷받침하는 인용이 있어야 합니다(높은 인용 재현율). 동시에 각 인용은 연결된 문장을 실제로 뒷받침해야 합니다(높은 인용 정밀도). 논문은 주로 질문 하나에 답변 하나를 제공하는 단일 턴 생성형 엔진을 연구하지만 부록에서는 여러 턴의 대화로 확장하는 경우도 논의합니다.

‘가시성’을 새롭게 정의하기

SEO의 핵심 원리는 단순합니다. 검색 결과에서 페이지의 평균 순위가 높을수록 노출과 트래픽이 늘어납니다. 하지만 이 원리는 생성형 엔진에 그대로 적용되지 않습니다. 생성형 엔진은 순서대로 정렬한 링크 목록을 보여 주는 대신 여러 출처의 정보를 하나의 글 안에 통합합니다. 인용 위치와 길이, 표시 방식도 제각각입니다.

이에 논문은 생성형 엔진 전용 ‘노출도(impression)’ 지표 체계를 제안했습니다. 설계 원칙은 세 가지입니다. 제작자에게 실질적인 의미가 있고, 해석 가능하며, 일반 제작자도 이해하기 쉬울 것. 구체적인 지표는 다음과 같습니다.

1. 단어 수 비중(Word Count): 특정 출처가 인용된 문장의 총 단어 수가 전체 답변의 총 단어 수에서 차지하는 비중입니다. 한 문장에 여러 출처가 인용되면 단어 수를 출처별로 균등하게 나눕니다. 인용된 분량이 길수록 답변에서 해당 출처의 존재감이 크다는 직관적인 생각입니다.

2. 위치 가중 단어 수(Position-Adjusted Word Count): 단어 수 비중을 바탕으로 답변의 앞쪽에 있는 인용 문장에 가중치를 부여하고 뒤로 갈수록 가중치를 지수적으로 줄입니다. 여러 클릭률 연구에서 검색 결과에 대한 관심은 순위에 따라 멱법칙 형태로 감소하는 것으로 나타났습니다. 같은 원리를 생성형 엔진 답변의 문장 순서에도 적용한 것입니다.

3. 주관적 인상(Subjective Impression): 앞의 두 지표는 객관적인 계수 방식이지만 노출도에는 단어 수로만 측정할 수 없는 차원도 있습니다. 인용이 질문과 얼마나 관련 있는지, 전체 답변에 얼마나 기여하는지, 내용이 독특한지, 독자에게 눈에 띄는지, 클릭될 가능성은 어느 정도인지, 정보가 다양한지 등이 해당합니다. 논문은 GPT 기반 채점을 활용하며 성능을 인정받는 LLM 자동 평가 방법인 G-Eval로 일곱 가지 세부 차원을 각각 평가합니다. 이후 평균과 분산을 위치 가중 단어 수와 비교할 수 있도록 정규화합니다.

이 지표 체계는 ‘순위 보기’보다 훨씬 복잡하지만 생성형 엔진 답변의 실제 구조에 더 가깝습니다. 원문의 Figure 3은 선형 순위 목록인 기존 검색 결과 페이지와 길이와 위치가 서로 다른 인용이 글 안에 섞여 있는 생성형 엔진 답변을 도표로 비교합니다. 바로 이 차이 때문에 가시성 지표를 새로 설계할 필요가 생겼습니다.

실행 가능한 아홉 가지 GEO 최적화 전략

‘어떻게 측정할지’를 정한 다음은 ‘어떻게 개선할지’입니다. 논문은 대규모 언어 모델로 웹사이트 원문을 고쳐 쓰는 9가지 전략을 제안하고 검증했습니다. 각 전략은 원본 페이지 콘텐츠 $W$를 최적화한 콘텐츠 $W’$로 바꾸는 함수 $f: W \rightarrow W’$에 해당합니다.

키워드 채우기, 출처 인용, 인용문 추가의 세 가지는 새로운 내용을 보충해야 합니다. 나머지 여섯 가지는 추가 정보 없이 표현 방식만 개선합니다. 공정하게 비교하기 위해 각 질의에서 후보 출처 웹사이트 하나를 무작위로 고르고 아홉 가지 전략으로 각각 고쳐 쓴 뒤 노출도 변화를 관찰합니다.

평가 방법: GEO-bench

기존에는 생성형 엔진용 공개 질의 데이터셋이 전혀 없었습니다. 그래서 저자들이 직접 구축한 것이 GEO-bench입니다. 9개 출처에서 모은 1만 개 질의를 포함하며 학습/검증/테스트 세트로 8000/1000/1000개씩 나눕니다.

• MS MARCO, ORCAS-I, Natural Questions: Bing과 Google의 실제 사용자 질의에서 나온 것으로 검색 엔진 연구에서 자주 쓰는 대표적인 세 가지 데이터셋입니다.
• AllSouls(옥스퍼드대학교 All Souls College의 논술 문제), LIMA(추론과 창작 능력을 요구하는 고난도 질문), Davinci-Debate(토론형 질문), Perplexity.ai Discover(플랫폼의 인기·트렌드 질의), ELI5(‘다섯 살 아이에게 설명하듯’ 쉽게 답해야 하는 복잡한 질문), GPT-4 생성 질의(과학·역사 등 여러 분야를 아우르며 탐색형·거래형 등 다양한 검색 의도도 포함).

전체 질의 분포는 실제 사용 환경에 최대한 가깝게 구성했습니다. 정보형이 80%, 거래형과 탐색형이 각각 10%입니다. 각 질의에는 Google 검색 상위 5개 출처 페이지를 정제한 텍스트가 포함됩니다. 또한 GPT-4로 난이도, 질의 성격, 분야, 구체적 주제, 민감성, 사용자 의도, 답변 유형의 7가지 라벨을 부여하고 정밀도와 재현율을 사람이 검증했습니다. GEO-bench는 예술·건강·게임 등 25개 분야, 9개 데이터 출처, 7개 분류 차원을 아우르는, 규모와 다양성이 풍부한 생성형 엔진 전용 벤치마크입니다.

실험에 사용한 생성형 엔진 프로토타입은 선행 연구(Liu et al., 2023)의 두 단계 설계를 따릅니다. 먼저 Google에서 상위 5개 출처를 검색하고, 다음으로 gpt-3.5-turbo 모델로 동일한 프롬프트 템플릿에 따라 답변을 생성합니다. 원문 부록에 전체 프롬프트가 있으며 핵심 지시는 ‘주어진 검색 결과만으로 답하고 모든 문장 바로 뒤에 인라인 인용을 붙일 것’입니다. 무작위성을 줄이기 위해 각 질의를 온도 0.7에서 5회 샘플링한 뒤 평균을 구했습니다.

핵심 결과: 실제로 효과가 있는 전략은 무엇인가

아래 표는 논문의 주요 결과표(원문의 Table 1)로, 9가지 전략의 두 지표군 절대 점수를 ‘최적화 없음’ 기준과 비교합니다. 모든 인용의 노출도 합이 1이 되도록 정규화한 뒤 읽기 쉽게 상수를 곱했습니다. 값이 클수록 노출도가 높습니다.

뚜렷하게 드러나는 결론은 다음과 같습니다.

• 기존 SEO 기법은 여기서 거의 통하지 않습니다. 키워드 채우기는 개선 효과가 없었고 위치 가중 단어 수에서는 최적화하지 않았을 때보다 낮았습니다. 생성형 엔진의 모델은 키워드 일치가 아니라 의미로 텍스트를 이해하므로 단순한 키워드 나열은 저품질 콘텐츠로 인식되기 쉽다는 뜻입니다.
• 가장 효과적인 전략은 ‘인용문 추가’, ‘통계 데이터 추가’, ‘출처 인용’의 세 가지입니다. 기준선 대비 향상 폭은 위치 가중 단어 수에서 30%~40%, 주관적 인상에서 15%~30%였습니다. 세 전략의 공통점은 문체를 포장하는 대신 콘텐츠 자체의 신뢰도와 정보 밀도를 높인다는 것입니다. 권위 있는 출처 하나, 직접 인용문 한 문장, 구체적인 숫자 하나를 보태는 비용은 작지만 효과는 상당했습니다.
• 다소 의외인 점은,문체만 개선하는 ‘유창성 향상’과 ‘쉬운 표현’만으로도 15%~30% 향상이 나타났다는 것입니다. 생성형 엔진은 ‘무엇을 말하는가’뿐 아니라 ‘얼마나 잘 전달하는가’도 중요하게 여긴다는 점을 보여 줍니다.
• 반면 문체를 더 권위 있고 설득력 있게 바꾸는 Authoritative의 개선은 두드러지지 않았습니다. 논문은 생성형 엔진이 어조만으로 설득하려는 시도에 어느 정도 강건함을 갖추었다고 해석합니다. 제작자는 말투를 포장하기보다 콘텐츠 자체의 신뢰도에 힘을 써야 합니다.

추가 분석

분야마다 적합한 전략이 다르다

실제 SEO에 만능 기법이 없듯 GEO도 마찬가지입니다. 논문은 GEO-bench의 라벨별로 분석해(원문의 Table 3) 다음과 같은 경향을 확인했습니다.

이러한 경향은 직관에도 잘 맞습니다. 토론형 질문에는 설득력 있는 논증이 유리하고 사실형 질문에는 검증 가능성을 뒷받침하는 인용이 필요합니다. 법률과 정부처럼 데이터와 조문을 중시하는 분야에서는 통계 수치가 추상적인 설명보다 설득력 있습니다. 개인의 경험이나 역사적 사건에는 직접 인용이 현실감과 깊이를 더합니다. 이는 논문이 반복해서 강조한 관점과도 일치합니다. 제작자는 ‘만능 전략’을 맹목적으로 적용하지 말고 자신의 웹사이트가 다루는 분야에 따라 전략을 선택해야 합니다.

모두가 GEO를 사용하면 누가 가장 큰 이익을 얻을까?

모든 제작자가 GEO를 사용하면 효과가 서로 상쇄되어 헛수고가 되는 것은 아닐까요? 저자들은 하나의 질의에 대한 모든 후보 출처를 동시에 최적화한 뒤 각 검색 순위에 있는 웹사이트의 상대적 개선 폭을 관찰했습니다(원문의 Table 2).

결과는 뚜렷했습니다. 순위가 낮은 웹사이트일수록 GEO의 혜택이 컸습니다. 반면 최상위 사이트는 노출이 낮아질 수도 있었습니다. 예를 들어 출처 인용 전략은 기존 다섯 번째 사이트의 가시성을 115% 높였지만 첫 번째 사이트는 평균 30.3% 하락했습니다. 이유는 이해하기 쉽습니다. 기존 검색 순위는 백링크 수와 도메인 권위처럼 강자가 더 유리해지는 요소에 크게 의존합니다. 중소 제작자는 대형 기관이 축적한 자원에 맞서기 어렵습니다. 하지만 생성형 엔진은 콘텐츠 자체를 바탕으로 정보를 이해하고 구성하므로 인용·데이터·직접 인용문 같은 품질이 노출로 바로 이어지고 구조적 장벽의 제약이 줄어듭니다. 다시 말해, GEO는 대형 웹사이트와 소규모 제작자 사이의 디지털 격차를 줄이는 도구가 될 가능성이 있습니다. 개인 사업자와 독립 콘텐츠 제작자에게 매우 긍정적인 신호입니다.

전략을 결합하면 효과가 더 좋아진다

실제로 제작자가 한 가지 기법만 쓰지는 않습니다. 논문은 효과가 좋았던 네 가지 전략인 출처 인용, 유창성 최적화, 통계 데이터 추가, 인용문 추가를 두 개씩 결합해 테스트했습니다(원문 Figure 4의 히트맵). 그 결과, ‘유창성 최적화’와 ‘통계 데이터 추가’가 최적의 조합이었습니다. 어느 한 전략만 쓸 때보다 5.5% 이상 높았습니다. 더 흥미로운 점은 출처 인용이 단독으로는 네 전략 중 최하위로, 인용문 추가보다 약 8% 낮았지만 다른 전략과 결합하면 평균 향상률이 31.4%에 이르렀다는 것입니다. 네 가지 중 결합에 따른 추가 이득이 가장 뚜렷했습니다. 이는 제작자에게 다음을 시사합니다. 일부 전략은 조합 안에서 비로소 가치를 충분히 발휘합니다. 단독 사용 성적만 보고 가치를 부정해서는 안 됩니다.

아래 표는 두 전략을 결합했을 때의 향상률을 재현한 것입니다. 데이터는 원문 Figure 4의 히트맵에서 가져왔으며 행과 열의 교차점은 두 전략을 결합한 뒤 기준선 대비 평균 향상률을 나타냅니다.

대각선 값, 예를 들어 ‘유창성+유창성’의 22.4%는 같은 전략을 두 번 적용한 비교 기준입니다. 대각선 밖은 서로 다른 두 전략을 결합한 효과입니다. ‘행 평균’은 원문 히트맵의 맨 오른쪽 열에 해당합니다. 출처 인용은 단독으로는 최하위지만 다른 전략과 결합하면 평균 향상률이 세 번째로 높아짐을 보여 줍니다.

위 그림은 원문 Figure 4의 데이터를 바탕으로 다시 그렸습니다. 색이 진할수록 결합 후 향상 폭이 큽니다.

실제 최적화 사례

논문은 이해하기 쉬운 최적화 사례를 제시합니다(원문 Table 4). 각각 출처 인용, 통계 데이터 추가, 권위 강화에 해당하는 세 사례의 공통점은 작은 수정만으로 가시성이 크게 높아졌다는 것입니다. 스위스의 일인당 초콜릿 소비량을 설명하는 문장에 조사 기관의 출처만 추가해도 가시성이 132.4% 향상되었습니다. 로봇의 인력 대체에 관한 문장에 구체적인 증가율을 넣자 65.5%, 한 팀의 성적에 관한 평범한 서술을 기존 성과를 강조하는 단정적인 문장으로 바꾸자 89.1% 향상되었습니다. 이 사례들은 GEO 최적화에서 흔히 새 콘텐츠를 만들 필요 없이 기존 콘텐츠에 출처나 숫자를 보태거나 어조의 확신 정도만 조정하면 된다는 점을 보여 줍니다. 일반 제작자도 충분히 시도할 수 있는 낮은 진입 장벽의 방법입니다.

실험실 밖으로: Perplexity.ai에서의 실제 검증

연구 결과가 실험실 안에서만 통하는 이야기가 아님을 확인하기 위해 저자들은 많은 사용자가 이용하는 실제 생성형 엔진 제품인 Perplexity.ai 환경에서 같은 방법을 검증했습니다. Perplexity.ai가 출처 URL을 직접 지정하는 방식을 지원하지 않아 원문을 파일로 업로드하고 업로드한 파일만으로 답변하도록 제한했습니다. 질의 200개를 표본 추출해 테스트했습니다(원문 Table 5).

결과는 실험실 환경과 매우 일치했습니다. 키워드 채우기는 위치 가중 단어 수에서 여전히 부정적인 효과를 보였습니다(기준선보다 약 10% 낮음). 반면 인용문 추가와 통계 데이터 추가 같은 콘텐츠 신뢰 강화 전략은 계속 뛰어난 성과를 보여 각각 약 22%와 37%의 향상을 가져왔습니다. 이 결과에는 세 가지 의미가 있습니다. 생성형 엔진 전용 최적화의 필요성을 다시 확인했고, 특정 실험용 엔진에 의존하지 않고 제품 간 일반화가 가능함을 입증했으며, 제작자가 이런 간단한 전략을 실제 제품에도 적용해 실질적인 성과를 얻을 수 있음을 보여 주었습니다.

더 넓은 연구 흐름 속에서의 위치

논문은 세 가지 선행 연구 분야와의 차이를 정리합니다.

• 근거 기반 답변 생성: WebGPT처럼 모델이 웹 환경을 탐색하고 출처에 근거한 답변을 생성하도록 학습시키는 연구와 검색 결과 기반 답변 생성 방법이 있습니다. GEO는 이런 시스템 위에 통일된 평가 기준을 제공합니다. 또한 적대적 텍스트로 LLM 추천을 조작해 상품 노출을 높이는 최근 연구와 달리, GEO가 제안하는 것은 비적대적이며 모든 웹사이트 콘텐츠에 적용할 수 있는 최적화 전략입니다.
• 검색 증강 생성: RAG와 REALM 등은 주로 언어 모델이 지식을 충분히 기억하지 못하는 문제를 해결합니다. 생성형 엔진은 더 넓은 범위를 담당합니다. 답변 생성과 전 과정의 출처 표시에 더해 질의 재작성, 출처 선별 등 여러 하위 작업을 포함하며 단순 검색에 그치지 않습니다.
• 기존 SEO: 지난 약 25년간 SEO 연구는 콘텐츠와 경험을 개선하는 사이트 내부 최적화, 백링크와 도메인 권위를 높이는 외부 최적화로 나뉩니다. 그러나 이는 검색 엔진이 키워드를 일치시킨다는 가정에 기반합니다. 생성 모델이 작동하며 키워드 일치에 국한되지 않는 생성형 엔진 환경에는 그대로 적용하기 어렵습니다. 이것이 GEO의 존재 이유입니다.

결론과 한계

정리하면 이 논문은 세 가지 일을 했습니다. 생성형 엔진을 형식적으로 정의했으며, 생성형 엔진에 맞춘 제작자용 최초의 최적화 프레임워크 GEO를 제안했습니다(가시성 지표 체계와 9가지 구체적인 최적화 전략 포함). 또한 평가 벤치마크 GEO-bench를 구축하고 오픈소스로 공개했습니다. 핵심 발견은 출처, 인용문, 통계 데이터처럼 신뢰를 보강하는 수정으로 생성형 엔진 답변에서 웹사이트 가시성을 최대 40% 높일 수 있다는 것입니다. 분야마다 적합한 전략이 다르고 여러 전략의 조합은 대체로 단독 사용보다 효과적입니다. 특히 순위가 낮은 소규모 사이트의 혜택이 커 개인 제작자와 중소 사이트에 긍정적인 신호입니다.

저자들은 한계도 솔직히 밝힙니다. 첫째, 생성형 엔진 자체가 빠르게 발전하므로 과거 SEO가 그랬듯 GEO 방법도 지속적으로 개선해야 할 가능성이 큽니다. 둘째, GEO-bench는 실제 질의 분포에 가깝게 설계했지만 질의의 성격은 시간에 따라 변하므로 벤치마크도 계속 업데이트해야 합니다. 셋째, 검색 순위 알고리즘이 블랙박스이므로 GEO 수정이 기존 검색 순위에 역으로 영향을 미치는지는 평가하지 않았습니다. 저자들은 수정이 주로 텍스트에 한정되고 도메인이나 백링크 같은 기존 순위 요소를 건드리지 않아 영향이 제한적일 것으로 판단합니다. 마지막으로 모델의 컨텍스트 길이가 늘어나면 생성형 엔진이 처리할 수 있는 출처가 많아져 검색 순위 자체의 중요성이 더 낮아질 수도 있습니다. 전체적으로 이 논문은 새로운 연구 분야의 기반을 닦는 작업입니다. 프레임워크와 지표, 벤치마크를 제시하여 후속 연구자가 공통 기준 위에서 연구를 이어 갈 수 있게 합니다.