Уважаемые пользователи!

С 1 марта 2025 года Яндекс вносит глобальные изменения в работу SearchAPI, разделяя его на два формата выдачи:

• Синхронный (в реальном времени)
• Асинхронный (с задержкой)

Стоимость синхронных запросов составит 480 рублей за 1000 запросов, что выходит за рамки нашего понимания и здравого смысла. В связи с этим мы приняли решение полностью отказаться от этого формата и перейти на асинхронный режим.

Что изменится для пользователей?

Мы сделали всё возможное, чтобы для наших пользователей переход был максимально комфортным.
В течение месяца мы обновляли систему и подготовили два варианта работы с нашим API:

• Гибридный режим (начнет работать с 1 марта)
• Асинхронный режим (работает уже сейчас)

Новая стоимость ЯндексXML с 1 марта 2025 года

• ТП Базовый — 24 рубля за 1000 запросов
• ТП Оптимальный — 22 рубля за 1000 запросов
• ТП Максимум — 20 рублей за 1000 запросов

Индивидуальные тарифные планы для оптовых клиентов будут пересмотрены. Также отменяются скидки на ночные запросы.

Описание режимов работы

Гибридный режим:

Этот режим максимально близок к синхронному и в большинстве случаев не потребует доработки вашего софта. Программы Key Collector, Top-Site и другие также будут с ним работать. Вы получите результаты сразу, как и раньше, но время обработки запроса будет слегка увеличено.

Включен по умолчанию в инструменте Яндекс XML Proxy на основном URL для совершения запросов.

1. Отправляете запрос, как обычно.
2. В течение 2-5 секунд получаете либо сразу готовый результат, либо ошибку 210 (запрос поставлен в очередь).
3. Через 5–10 секунд делаете перепроверку тех запросов, которые не получилось обработать с первого раза и которые были поставлены в очередь: Если данные готовы, то моментально получаете результат. Если нет — ошибку 202 (запрос еще не обработан).
4. Запросы, поставленные в очередь с ошибкой 210, будут закешированы системой и обработаны по мере готовности. Повторные запрос закешированных запросов в течение 3-х часов - бесплатные.
5. Повторяете запрос с интервалом 10-20 секунд, пока не получите результат.
6. Тарификация происходит в момент первой отправки запроса на наше API, независимо от того получили вы ответ сразу или отправили запрос в очередь.

Асинхронный режим:

Процесс поиска выполняется в два этапа.

1. Отправляете запрос с параметром &delayed=1.
2. Получаете req_id в ответе.
3. Через 5–10 секунд запрашиваете результат по этому req_id.
4. Если данные еще не готовы, повторяете запрос с интервалом 10–60 секунд.
5. Тарификация происходит в момент отправки запроса на наше API.
6. Запрос результатов через req_id - бесплатный. Он хранится в течение 3-х часов

Будущее Яндекс SearchAPI

Яндекс пока что снизил задержку асинхронной выдачи: вместо заявленных 5 минут, она варьируется в зависимости от загрузки сервисов, и запрос может быть обработан уже через несколько секунд. Однако в будущем задержка получения результатов может быть увеличена.

К сожалению, Яндекс SearchAPI как приемник Яндекс XML перестал быть надежным и быстрым инструментом получения поисковой выдачи:

• Вводятся жесткие требования к объему потребления
• Меняются условия, ужесточаются лимиты и ограничения
• Повышаются тарифы
• Отсутствует определенность и стабильность.

По итогам марта мы проанализируем работу нового формата и примем решение о дальнейшей судьбе этого инструмента в рамках нашего сервиса. Также из-за роста затрат на парсинг живой выдачи, с 1 апреля планируется пересмотр стоимости и других инструментов.

По всем вопросам пишите в наш чат или телеграм, мы поможем вам с переходом на новое API.
Спасибо, что остаётесь с нами!

Уважаемые пользователи! В конце прошлого года Яндекс анонсировал в своем Search Api ввод асинхронных (отложенных) запросов. Новость об этом мы публиковали в ноябре.

Уже сейчас мы добавили поддержку асинхронных запросов в нашу систему и рекомендуем заранее протестировать и адаптировать свой софт для работы с асинхронной выдачей, так как цены на синхронную выдачу Яндекс может поднять в несколько раз уже в марте.

Как это работает?

Асинхронный режим позволяет выполнять поиск в два этапа:
1. Отправляете запрос с параметром &delayed=1.
2. Получаете req_id в ответе.
3. Через 5 минут запрашиваете результат с этим req_id.
4. Если ответ не готов, повторяете запрос результатов с интервалом 10-60 секунд.

Пример запроса:

Пример ответа с req_id:

<?xml version="1.0" encoding="UTF-8"?>
<yandexsearch version="2.0">
<response date="20250204T185502">
<req_id>spr3s0ngc4citnd30muk</req_id>
</response>
</yandexsearch>

Забираем результаты через 5 минут:

Важные моменты:

- Ответ обычно готов через 5 минут, но в редких случаях может занять несколько часов (зависит от нагрузки на стороне Яндекса).
- Запросить результат можно не чаще чем раз в 10 секунд.
- Ответ хранится 24 часа.
- Стоимость на асинхронные запросы сейчас такая же как на синхронные. Окончательные цены, которые будут в марте, пока неизвестны.
- Функционал на стадии тестирования. При обнаружении ошибок и багов, просьба сообщить нам в чате поддержки.

Коды ошибок для асинхронных запросов:

201 - Повторный запрос результатов можно совершать не чаще одного раза в минуту
202 - Запрос еще не обработан, попробуйте позже
203 - Запроса c заданным ID не существует либо вышло время его хранения

Подробнее о формате запросов в документации

Обновленный список кодов ошибок

Также можно переключать режимы работы по умолчанию в настройках инструмента Яндекс XML Proxy, выбирая тип поиска Синхронный (delayed=0), Асинхронный (delayed=1).

Уважаемые пользователи! Рады сообщить, что на данный момент мы практически полностью восстановили работу наших инструментов для парсинга ПС Google, несмотря на серьезные изменения, внедренные Google 15 января, приведшие к временным перебоям в работе сервиса.

Что сейчас работает:

Парсинг Google поиска (десктоп): доступен XML, JSON и HTML. Обратите внимание: в теге found priority="all" для XML и JSON формата теперь отображается количество документов на текущей странице, а блоки «Вопросы по теме», «Запросы по теме» и «Другие также ищут» временно не выводятся. В HTML формате эти данные присутствуют.

Обновление: для корректного определения количества проиндексированных страниц сайта в теге found priority="all", необходимо сделать запрос &query=site:domain.com

Парсинг мобильной выдачи Google: функционирует полностью, поддерживаются форматы XML, JSON и HTML.

Парсинг Google Картинок: полностью восстановлен, доступны XML, JSON и HTML.

Парсинг Google Новостей: полностью восстановлен, доступны XML, JSON и HTML.

Парсинг Google Видео: полностью восстановлен, доступны XML, JSON и HTML.

Важное замечание

Из-за новых требований Google к протоколам взаимодействия мы временно ограничили скорость совершения запросов до 15 запросов в секунду на одного пользователя, этого вполне достаточно для большинства сценариев использования. Мы активно работаем над оптимизацией системы и устранением оставшихся ограничений.

Изменения Google включают новые меры защиты, использование JavaScript и пересмотренные требования к обработке сессий, что усложняет обработку данных, но мы готовы адаптироваться и развивать наши инструменты для предоставления надежных решений.

Если вы нашли какие то ошибки в работе инструмента пишите в поддержку чтобы мы могли оперативно исправить!

Наблюдаются проблемы с парсингом Google. Срабатывает новая защита от поисковой системы на наличие включенного javascript, вследствие чего обычный парсинг теперь невозможен, происходит редирект на https://www.google.com/httpservice/retry/enablejs?sei=deSPZ5aHJM-nwPAPi__N0A0. Инструмент Google XML временно остановлен. Приносим извинения за доставленные неудобства.

UPD. В данный момент мы занимаемся восстановлением работоспособности инструмента Google XML и переводим всю систему на новые алгоритмы работы. На это потребуется какое-то время.

UPD2. Частично восстановили работу сервиса для всех пользователей с ограничением на количество запросов в секунду. Новых пользователей будем подключать по мере возможностей. Проблема в том, что новый метод потребляет значительные ресурсы сервера (В десятки раз больше), поэтому нам не хватает мощностей обслужить все запросы. Для стабильной работы, при превышении определенных порогов нагрузки, сбор может отключаться на короткий промежуток времени и выдавать ошибку 101. В ближайшие дни будем работать над оптимизацией алгоритмов и увеличением количества серверов.

Дорогие друзья!

Поздравляем вас с Новым 2025 годом! Спасибо, что были с нами весь этот год — вместе мы преодолевали трудности, добивались успехов и становились лучше.

От всей команды XMLstock желаем вам здоровья, новых идей, стабильности и радости в каждом дне. Пусть в 2025 году сбываются планы, проекты приносят прибыль, а жизнь радует приятными сюрпризами. Спасибо за ваше доверие и участие — с вами мы двигаемся вперед!

В январе, после праздников, мы планируем запустить функционал асинхронных запросов ЯндексXML. О дате старта подключения сообщим дополнительно и обязательно отправим рассылку, чтобы вы не пропустили это важное обновление.

Счастливого Нового года!