과거에는 사람들이 Google에 두세 개의 키워드를 입력하고 여러 웹사이트를 수동으로 비교하며 서비스를 찾았습니다. 오늘날에는 점점 더 많은 잠재 고객이 ChatGPT, Perplexity, Claude, Gemini 또는 Google AI Overviews 내에서 직접 완전한 질문을 던집니다.
"시내에 위치하고 대관 예약이 가능하며 프로젝션 장비가 있는 프랑스식 개인 주방을 추천해 주세요. 1인당 예산은 2,000 이하이며, 전화번호와 예약 방법을 포함해 주세요."
이처럼 "AI 답변 엔진 및 생성형 검색이 귀하의 웹사이트를 이해하고, 답변 내에서 귀하의 브랜드를 직접 추천하며, 인용 링크를 포함하도록 하는 것"을 현재 AEO(Answer Engine Optimization, 답변 엔진 최적화) 및 GEO(Generative Engine Optimization, 생성 엔진 최적화)라고 합니다.
Kanorio는 이미 AEO와 GEO를 위한 가장 어려운 기술적 아키텍처를 시스템 수준에서 처리했습니다. 이 글의 전반부에서는 Kanorio가 자동으로 준비하는 5가지 AI 검색 핵심 요소와 4가지 실용적인 콘텐츠 팁을 소개하며, 후반부에서는 AI 봇 차단 규칙을 정밀하게 관리하는 방법(무료 모델 학습을 거부하면서도 AI 검색 가시성을 유지하는 방법)을 알려드립니다.
많은 전통적인 웹사이트나 현대적인 단일 페이지 애플리케이션(SPA)은 Google에서는 보이지만 ChatGPT나 Perplexity에서는 전혀 검색되지 않습니다. 그 이유는 AI 검색 도구가 웹 페이지를 크롤링할 때 시간과 형식에 엄격한 제약을 두기 때문입니다. Kanorio는 귀하의 웹사이트에 다음과 같은 5가지 핵심 기능을 기저 수준에서 자동으로 탑재합니다.
대부분의 실시간 AI 검색 봇(OpenAI의 OAI-SearchBot, Perplexity의 PerplexityBot, Anthropic의 Claude-SearchBot 등)은 사용자의 질문에 몇 초 안에 답변하기 위해 브라우저가 프론트엔드 JavaScript 코드를 실행할 때까지 기다리지 않습니다. 웹사이트가 텍스트를 표시하기 위해 브라우저의 코드 실행 완료를 기다려야 한다면, AI 봇은 빈 페이지만 보게 됩니다.
Kanorio는 서버 사이드 렌더링 아키텍처를 사용합니다. AI 봇이 귀하의 URL에 연결되는 순간, 페이지 제목, 모든 단락 내용, 이동 경로 탐색(Breadcrumb), 구조화된 데이터가 이미 첫 번째 응답에 완전히 포함되어 있어( 참조), 모든 AI 도구가 장애 없이 귀하의 웹 페이지를 읽을 수 있습니다.
/llms.txt 자동 생성 (구조화된 "비즈니스 팩트" 포함)일반 웹 페이지에는 메뉴, 버튼, 레이아웃 태그가 포함되어 있어 AI가 초점을 잃을 수 있습니다. Kanorio는 최신 llms.txt 표준을 따르며, 대규모 언어 모델을 위해 특별히 제작된 "브랜드 요약 매뉴얼"을 your-domain/llms.txt에서 자동으로 유지 관리합니다. 여기에는 4가지 섹션이 포함됩니다.
## Pages): 공개적으로 인덱싱 가능한 모든 페이지의 제목, URL 및 한 문장 요약을 나열합니다.## Blog): 게시된 모든 게시물의 제목, URL 및 요약을 나열합니다.## Business Info): 에디터의 "브랜드" 패널에 연락처 전화번호, 이메일, 영업 시간, 가격대 또는 매장 주소를 입력하기만 하면, 시스템이 자동으로 /llms.txt 내에 전용 ## Business Info 섹션을 구성합니다(주요 위치 및 지점 이름, 전체 주소, 전화번호를 명확하게 라벨링). 이를 통해 AI는 지역 추천, 전화번호 및 영업 시간을 답변할 때 추측하지 않고 정확하게 인용할 수 있습니다./llms-full.txt 자동 생성 (노이즈 없는 사이트 전체 Markdown 지식 베이스)간결한 탐색 외에도 시스템은 모든 공개 페이지와 블로그 게시물을 추출하여 your-domain/llms-full.txt에 완전한 일반 텍스트 지식 베이스로 생성합니다.
- **질문**: 답변 형식으로 자동 변환하고, 핵심 지표, 브랜드 마일스톤, 비즈니스 위치, 제품/포트폴리오 카드를 명확하게 구조화된 Markdown 목록으로 변환하여 AI 검색 도구가 최소한의 리소스로 깊이 있는 콘텐츠를 읽을 수 있도록 합니다.accessPolicy) 자동 준수: 게시되지 않은 초안, 숨겨진 페이지, "noindex"로 표시된 페이지, 전역 인덱싱이 꺼진 웹사이트, 멤버 또는 유료 구독 전용(accessPolicy)으로 설정된 보호된 블로그 게시물은 /llms.txt 및 /llms-full.txt에서 자동으로 제외되어 페이월 뒤의 콘텐츠가 AI에 의해 무료로 스크래핑되지 않도록 합니다.sameAs)AI와 검색 엔진은 브랜드를 추천할지 결정할 때 구조화된 데이터(JSON-LD)의 무결성과 신뢰성을 중요하게 생각합니다. Kanorio는 모든 페이지에서 연결된 @graph 지식 그래프를 자동으로 조립합니다.
Restaurant, Store, BeautySalon, MedicalClinic, ProfessionalService, EducationalOrganization, LodgingBusiness 또는 SportsActivityLocation과 같은 유형을 자동으로 결정하고, 주소와 전화번호가 포함된 표준 LocalBusiness 태그를 출력합니다(식당의 경우 카드 목록이 자동으로 Menu 태그도 출력합니다).FAQPage를 출력하고, 제품 모듈은 Product 및 Offer(가격 및 통화 포함), YouTube 동영상은 VideoObject, 블로그 게시물은 BlogPosting(작성자, 게시일, 최종 업데이트 시간 포함)을 출력합니다.sameAs): "브랜드" 에디터에서 Instagram, Facebook, YouTube, LinkedIn 및 기타 소셜 링크를 입력하면 시스템이 자동으로 이러한 URL을 Organization 구조화 데이터의 sameAs 필드에 기록하여 Google AI와 ChatGPT에게 "이 공식 웹사이트와 이러한 소셜 계정은 동일한 실제 브랜드입니다"라고 알림으로써 브랜드 권위와 신뢰도를 크게 높입니다.ChatGPT Search 및 Microsoft Copilot과 같은 주류 AI 검색 도구는 최신 페이지를 검색할 때 Bing의 실시간 인덱스에 크게 의존합니다. Kanorio에서 새 페이지를 게시하거나, 게시물을 업데이트하거나, SEO 제목 및 설명을 수정할 때마다 시스템은 IndexNow 프로토콜을 통해 5분 이내에 Bing, Naver, Yandex 및 기타 검색 엔진에 알림을 보내 귀하의 최신 콘텐츠가 가능한 한 빨리 AI 검색 후보 목록에 진입하도록 합니다.
Kanorio가 준비한 기반 아키텍처를 활용하여 콘텐츠를 작성할 때 다음 4가지 습관을 익히면 AI가 추천할 확률을 크게 높일 수 있습니다.
AI 답변 도구는 "질문과 답변, 첫 문장에 명확한 결론" 형식을 따르는 단락을 선호합니다. 홈페이지와 주요 서비스 페이지에 FAQ 모듈을 추가하는 것을 권장합니다(시스템이 자동으로 FAQPage 구조화 데이터 및 llms-full.txt Q&A 항목으로 변환합니다).
사용자가 AI에게 "초보자를 위한 핸드드립 커피 수업을 추천해 줘"라고 물었을 때, "훌륭한 강사와 쾌적한 환경"이라고만 적힌 웹사이트는 선택될 가능성이 낮습니다. 페이지 콘텐츠에 다음을 명확히 기재하세요.
웹사이트 에디터 상단의 "브랜드" 패널로 이동하여 비즈니스 전화번호(국가 코드 포함), 이메일, 영업 시간, 실제 위치 주소 및 공식 소셜 링크를 입력하고 저장하세요(즉시 적용). 이 데이터는 푸터, Schema.org 지식 그래프 및 /llms.txt의 ## Business Info 섹션에 주입되어 웹 전반에서 정보의 일관성을 보장합니다.
포괄적인 질문(예: "생화 웨딩 장식과 프리저브드 플라워 장식의 차이점은? 예산은 어떻게 세우나요?")에 답변할 때 AI는 구조화된 소제목(H2, H3)과 비교표가 포함된 특집 기사를 인용하는 것을 선호합니다. 실제 고객의 고민을 해결하는 기사를 에 정기적으로 게시하면 장기적으로 브랜드에 고가치의 AI 인용 트래픽이 축적됩니다.
주요 AI 기업은 공개 웹사이트를 읽기 위해 다양한 자동 프로그램(봇)을 보냅니다. 많은 사이트 소유자는 "내 원본 콘텐츠가 AI 모델을 무료로 학습시키는 데 사용되는 것은 원치 않지만, ChatGPT나 Perplexity에서 검색할 때 고객이 나를 찾을 수 있게 하고 싶습니다. 가능한가요?"라고 걱정합니다.
Kanorio라면 충분히 가능합니다! 시스템은 수십 개의 일반적인 봇을 "실제 목적"에 따라 3가지 유형으로 명확하게 분류하여 개별적으로 제어할 수 있도록 했습니다.
| 봇 유형 | 대표적인 봇 이름 | 차단 시 영향 |
|---|---|---|
| 1. AI 학습 | GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, Meta-ExternalAgent, Bytespider, CCBot, Amazonbot, Applebot-Extended 등 | 이러한 봇이 대규모 언어 모델 학습을 위해 공개된 웹 콘텐츠를 수집하는 것을 방지합니다. 이는 Google이나 Bing의 일반적인 검색 순위는 물론, AI가 생성하는 검색 답변 및 인용에는 영향을 주지 않습니다. |
| 2. AI 검색 검색 | OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Google-Agent, DuckAssistBot, Amzn-SearchBot 등 | 차단할 경우, ChatGPT, Perplexity, Claude와 같은 AI 도구 내의 실시간 검색 답변이나 인용에 귀하의 웹사이트가 표시되지 않습니다. (AEO/GEO 검색 노출을 원하신다면, 이 봇들을 허용 상태로 유지해 주십시오.) |
| 3. 기존 검색 엔진 | Googlebot, , |
Robots.txt 카드에 있는 링크를 통해서도 이 패널을 열 수 있습니다)."AI 봇 방문 로그"로 성능 관찰: "분석 › AI 봇" 보고서에서 시스템은 어떤 AI 봇이 실제로 귀하의 페이지 중 무엇을 읽었는지 독립적으로 추적하고, 공식 IP와 자동으로 비교하여 "검증됨" 또는 "사칭 의심"으로 라벨을 지정합니다. 순위 목록에서 봇 옆의 "⋯"를 클릭하여 차단 또는 허용을 전환할 수도 있습니다. 자세한 내용은 를 참조하세요.
robots.txt 선언 + Edge 403 강제 차단일반적인 웹사이트 빌더는 /robots.txt에 봇이 들어오지 말라는 한 줄을 작성할 뿐이지만, 일부 비준수 크롤러는 텍스트 선언을 무시할 수 있습니다. 따라서 Kanorio는 차단 규칙을 저장한 후 2단계 보호를 활성화합니다.
robots.txt 정중한 선언 업데이트): 자동으로 생성되는 /robots.txt 끝에 차단된 봇에 대한 Disallow: / 규칙을 자동으로 작성하여 준수하는 AI 기업에게 크롤링하지 말라고 알립니다.403 Forbidden 강제 차단): 차단된 봇이 귀하의 웹사이트에 연결을 시도하면 Kanorio는 글로벌 엣지 노드에서 직접 403 Forbidden을 반환하여 페이지 콘텐츠가 전송되기 전에 차단합니다(이 강제 차단은 고급 설정에서 robots.txt를 사용자 정의했더라도 유효하게 유지됩니다). 또한 이 차단은 "분석 › AI 봇"의 "차단됨" 통계에 집계됩니다.전혀 그렇지 않습니다. 웹사이트가 게시되고 전역 인덱싱이 활성화되어 있다면, 사이트, 게시물 또는 브랜드 비즈니스 정보를 업데이트할 때마다 시스템이 자동으로 최신 /llms.txt 및 /llms-full.txt를 생성합니다. 기본 "자동 생성" 설정을 그대로 유지하세요.
"AI 봇 차단 규칙" 패널을 열고 "AI 학습" 카테고리를 체크하여 차단하고, 모든 "AI 검색 검색" 봇은 허용(차단 해제) 상태로 유지하세요. 이렇게 하면 모델 학습 크롤러(예: GPTBot, Google-Extended)는 거부하면서 실시간 검색 봇(예: OAI-SearchBot, PerplexityBot)이 귀하의 웹사이트를 읽고 인용하도록 허용할 수 있습니다.
전혀 그렇지 않습니다. Google의 일반 웹 검색 순위 및 인덱싱은 Googlebot(시스템에 의해 보호되고 허용됨)을 사용합니다. Google-Extended는 Google이 Gemini 모델 학습 및 확장 목적을 관리하기 위해 사용하는 별도의 태그일 뿐입니다. 이를 차단해도 일반 Google 검색 결과에는 영향을 주지 않습니다.
BingbotApplebot| Google 및 Bing의 일일 웹 색인 생성을 담당합니다. 검색 엔진에서 웹사이트가 사라지는 것을 방지하기 위해, 시스템은 이러한 봇을 항상 허용하며 차단 설정을 제공하지 않습니다. |