Google XML Search (живая выдача)

Google XML Search — инструмент XMLstock для автоматического получения данных из живой поисковой выдачи Google.

Сервис подходит для SEO-специалистов, разработчиков и аналитических систем, которым необходимо регулярно получать органические результаты поиска Google, изображения, новости, видео и дополнительные элементы поисковой страницы.

Результаты предоставляются в структурированном виде и доступны в форматах XML, JSON и HTML.

Для каких задач подходит Google XML Search

Инструмент можно использовать для:

• проверки позиций сайтов в поисковой выдаче Google;
• сбора результатов поиска для разных стран, регионов и городов;
• анализа десктопной и мобильной выдачи;
• проверка контента на уникальность;
• поиска изображений, новостей и видео;
• анализа конкурентов и состава поисковой страницы;
• получения связанных запросов и вопросов по теме;
• сбора рейтингов, количества отзывов, цен и других данных из результатов поиска;
• создания собственных программ, скриптов и аналитических сервисов.

Основные возможности

• получение данных из живой поисковой выдачи Google;
• поддержка форматов XML, JSON и HTML;
• сбор органической поисковой выдачи;
• поиск изображений, новостей и видео;
• поддержка десктопных и мобильных результатов;
• настройка страны, региона, города и домена Google;
• фильтрация результатов по периоду времени;
• получение связанных запросов и вопросов по теме;
• получение скрытых и дополнительных результатов;
• совместимость с популярными SEO-программами и сервисами;

Живая поисковая выдача Google

Google XML Search получает данные из поисковой выдачи, которую Google формирует для пользователей с учётом страны, региона, языка, устройства и других параметров запроса.

Инструмент позволяет получать готовые данные без самостоятельной настройки прокси-серверов, обработки капчи и постоянной адаптации собственных программ к изменениям поисковой страницы.

Состав выдачи может изменяться от одной проверки к другой. На результаты влияют геолокация, язык, тип устройства, период поиска, настройки фильтрации и внутренние алгоритмы Google.

Количество результатов

Для обычной поисковой выдачи Google за один запрос возвращается до 10 органических результатов.

Для получения первых 100 результатов необходимо последовательно запросить до 10 страниц выдачи. Каждая страница считается отдельным запросом.

Для изображений, новостей и видео за один запрос может быть возвращено до 100 результатов в зависимости от типа поиска и фактического ответа Google.

Количество доступных результатов может меняться и зависит от поискового запроса, региона, типа поиска и ограничений самой поисковой системы.

Типы поиска

Google XML Search поддерживает несколько типов результатов:

• Поисковая выдача — обычные органические результаты Google;
• Изображения — результаты поиска Google Картинок;
• Новости — материалы из новостной выдачи Google;
• Видео — видеорезультаты, отображаемые в поиске.

Тип поиска выбирается в настройках инструмента или передаётся соответствующим параметром в URL запроса.

Форматы результатов

Google XML Search поддерживает три формата ответа:

• XML — структурированный формат, удобный для SEO-программ и систем, работающих с форматом Яндекс XML;
• JSON — формат для собственных приложений, скриптов и API-интеграций;
• HTML — исходное представление поисковой страницы для самостоятельного анализа и извлечения дополнительных данных.

Для большинства собственных интеграций удобнее использовать JSON. XML подходит для совместимости с существующими SEO-программами, а HTML — для задач, где требуется самостоятельно обрабатывать элементы поисковой страницы.

Регион, язык и устройство

Поисковая выдача Google существенно зависит от местоположения пользователя, языка интерфейса и типа устройства.

В настройках инструмента можно указать:

• доменную зону Google;
• страну поиска;
• область или регион;
• город пользователя;
• язык интерфейса;
• десктопное или мобильное устройство;
• период, за который необходимо получить результаты.

Если параметры передаются непосредственно в URL запроса, они имеют приоритет над значениями, сохранёнными в личном кабинете.

Дополнительные данные выдачи

В зависимости от типа запроса и переданных параметров Google XML Search может дополнительно возвращать:

• блок «Вопросы по теме»;
• связанные поисковые запросы;
• видеоблоки в обычной поисковой выдаче;
• скрытые результаты, исключённые стандартной фильтрацией Google;
• подсвеченные ключевые слова;
• кириллические домены в формате Punycode;
• рейтинг сайта или организации;
• количество отзывов;
• цены товаров и предложений;
• другие данные, присутствующие в поисковой выдаче.

Наличие конкретных данных зависит от поискового запроса, региона, устройства и фактической страницы результатов Google.

Поиск по периоду времени

Инструмент позволяет ограничивать результаты определённым периодом: например, последним днём, неделей, месяцем, годом или произвольным интервалом дат.

Это удобно для мониторинга свежих публикаций, новостей, изменений в индексе и появления новых страниц по заданной теме.

Совместимость с программами

Google XML Search поддерживается популярными SEO-программами и сервисами для проверки позиций и анализа поисковой выдачи.

Часть программ имеет отдельную интеграцию с XMLstock. В других случаях можно использовать формат, совместимый с Яндекс XML, и указать персональный URL Google XML Search в соответствующем поле программы.

Совместимость и доступные функции зависят от конкретной программы и её версии. Подробные инструкции находятся в разделе Настройки программ.

Использование в собственных проектах

Разработчики могут подключать Google XML Search к собственным приложениям, сайтам, скриптам и аналитическим системам через HTTP-запросы.

Полученные данные можно сохранять в базе данных, использовать для мониторинга позиций, анализа конкурентов, отслеживания изменений выдачи, сбора изображений и новостей, а также построения SEO-отчётов.

Особенности работы

• для обычного поиска возвращается до 10 результатов за один запрос;
• для получения TOP-100 требуется выполнить до 10 запросов;
• живая выдача может изменяться между повторными проверками;
• состав результатов зависит от страны, региона, языка и устройства;
• не все дополнительные блоки присутствуют по каждому запросу;
• часть запросов в периоды повышенной нагрузки может потребовать повторной отправки;
• формат и состав результатов могут меняться при обновлениях Google.

Форматы URL, обязательные параметры и примеры запросов описаны в разделе Формат запроса.

Структура XML, JSON и HTML-ответов описана в разделе Формат ответа.

Стоимость запросов и действующие ограничения скорости указаны в разделе Тарифные планы и ограничения.