Що AI бачить на вашій сторінці?
Більшість AI-краулерів не виконують JavaScript. Ми завантажуємо сторінку як AI-бот, перетворюємо сирий HTML на Markdown і позначаємо вміст, що з’являється лише після рендерингу.
Як користуватися
- 1
Введіть URL і виберіть бота
Ми запитуємо сторінку з user-agent цього бота з мережі Cloudflare.
- 2
Прочитайте Markdown
Це близько до того, що отримує мовна модель після того, як краулер очистить ваш HTML.
- 3
Закрийте прогалини
Якщо важливого тексту бракує, рендерте його на сервері або використовуйте пре-рендеринг.
Які AI-краулери виконують JavaScript
Це головне питання перевірки AI-сканованості: що отримує кожен бот до запуску будь-яких скриптів?
| Краулер | Виконує JavaScript | Що читає |
|---|---|---|
GPTBot, OAI-SearchBot | ні | Сирий HTML від сервера |
ClaudeBot | ні | Сирий HTML |
PerplexityBot | ні | Сирий HTML |
CCBot (Common Crawl) | ні | Сирий HTML |
Googlebot (Gemini, AI Overviews) | так | Відрендерену сторінку, із затримкою |
Bingbot (Copilot) | так, обмежено | Відрендерену сторінку для більшості сайтів |
За публічною документацією краулерів і дослідженнями логів, як-от аналіз AI-трафіку від Vercel.
Як виглядає «порожньо без JavaScript»
Клієнтський застосунок на React, Vue чи Angular часто віддає майже порожню HTML-оболонку. Браузер завантажує скрипти й будує сторінку. AI-краулер зупиняється на оболонці.
У підсумку сторінка існує для людей і Google, але ChatGPT, Claude і Perplexity бачать заголовок і більше нічого. Процитувати текст, якого вони не отримали, неможливо.
Ні заголовків, ні тексту, ні посилань.
<body>
<div id="root"></div>
<script src="/app.js"></script>
</body>Рендер на сервері або статична генерація: Next.js, Nuxt, Astro, SvelteKit, Remix.
Як ми будуємо погляд AI
- Запит як бот
Сторінку запитуємо з user-agent GPTBot, ClaudeBot чи PerplexityBot. Скрипти не виконуються.
- Основний вміст
Беремо
<main>чи<article>, або body без nav, header, footer і aside. - У Markdown
Заголовки, абзаци, списки, таблиці й посилання — структура, яку зберігає модель.
- Вимірювання
Слова, частка тексту в HTML, токени й попередження про JS.
Як зробити сторінку читабельною для AI
- Основний текст є в HTML, який віддає сервер
- Один
<h1>і логічна структура<h2>/<h3> - Основний вміст у
<main>або<article> - Таблиці — це
<table>, а не сітки з<div> - Змістовні зображення мають
alt - Вміст вкладок і акордеонів є в DOM і лише прихований CSS
- Ціни й характеристики — текстом, а не картинкою
- Не лише «Увімкніть JavaScript» як увесь вміст
Додатково
Часті питання
AI-краулери виконують JavaScript?
Більшість — ні. За наявними даними, GPTBot, ClaudeBot і PerplexityBot читають лише HTML, який повертає сервер. Googlebot рендерить JavaScript, тому Gemini та AI Overviews — виняток.
Мій сайт на React. AI його не бачить?
Бачить, якщо є серверний рендеринг (Next.js, Remix, Astro, Nuxt з SSR). Застосунок React чи Vue лише на клієнті часто віддає порожній <div id="root">, і AI-краулер бачить порожню сторінку.
Навіщо перетворювати на Markdown?
AI-пайплайни прибирають теги, меню й скрипти та залишають заголовки, абзаци, списки й посилання. Markdown показує цю структуру так, як її читає модель.