Новости
07.02
Добавили асинхронные запросы в ЯндексXML Search Api
Уважаемые пользователи! В конце прошлого года Яндекс анонсировал в своем Search Api ввод асинхронных (отложенных) запросов. Новость об этом мы публиковали в ноябре.
Уже сейчас мы добавили поддержку асинхронных запросов в нашу систему и рекомендуем заранее протестировать и адаптировать свой софт для работы с асинхронной выдачей, так как цены на синхронную выдачу Яндекс может поднять в несколько раз уже в марте.
Как это работает?
Асинхронный режим позволяет выполнять поиск в два этапа:
1. Отправляете запрос с параметром &delayed=1.
2. Получаете req_id в ответе.
3. Через 5 минут запрашиваете результат с этим req_id.
4. Если ответ не готов, повторяете запрос результатов с интервалом 10-60 секунд.
Пример запроса:
https://xmlstock.com/yandex/xml/?user=ID&key=KEY&query=окна&delayed=1
Пример ответа с req_id:
<?xml version="1.0" encoding="UTF-8"?>
<yandexsearch version="2.0">
<response date="20250204T185502">
<req_id>spr3s0ngc4citnd30muk</req_id>
</response>
</yandexsearch>
Забираем результаты через 5 минут:
https://xmlstock.com/yandex/xml/?user=ID&key=KEY&req_id=spr3s0ngc4citnd30muk
Важные моменты:
- Ответ обычно готов через 5 минут, но в редких случаях может занять несколько часов (зависит от нагрузки на стороне Яндекса).
- Запросить результат можно не чаще чем раз в 10 секунд.
- Ответ хранится 24 часа.
- Стоимость на асинхронные запросы сейчас такая же как на синхронные. Окончательные цены, которые будут в марте, пока неизвестны.
- Функционал на стадии тестирования. При обнаружении ошибок и багов, просьба сообщить нам в чате поддержки.
Коды ошибок для асинхронных запросов:
201 - Повторный запрос результатов можно совершать не чаще одного раза в минуту
202 - Запрос еще не обработан, попробуйте позже
203 - Запроса c заданным ID не существует либо вышло время его хранения
Подробнее о формате запросов в документации
Обновленный список кодов ошибок
Также можно переключать режимы работы по умолчанию в настройках инструмента Яндекс XML Proxy, выбирая тип поиска Синхронный (delayed=0), Асинхронный (delayed=1).
21.01
Восстановили парсинг Google: обходим JavaScript защиту
Уважаемые пользователи!
Рады сообщить, что на данный момент мы практически полностью восстановили работу наших инструментов для парсинга ПС Google, несмотря на серьезные изменения, внедренные Google 15 января, приведшие к временным перебоям в работе сервиса.
Что сейчас работает:
Парсинг Google поиска (десктоп): доступен XML, JSON и HTML. Обратите внимание: в теге found priority="all" для XML и JSON формата теперь отображается количество документов на текущей странице, а блоки «Вопросы по теме», «Запросы по теме» и «Другие также ищут» временно не выводятся. В HTML формате эти данные присутствуют.
Обновление: для корректного определения количества проиндексированных страниц сайта в теге found priority="all", необходимо сделать запрос &query=site:domain.com
Парсинг мобильной выдачи Google: функционирует полностью, поддерживаются форматы XML, JSON и HTML.
Парсинг Google Картинок: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Новостей: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Видео: полностью восстановлен, доступны XML, JSON и HTML.
Важное замечание
Из-за новых требований Google к протоколам взаимодействия мы временно ограничили скорость совершения запросов до 15 запросов в секунду на одного пользователя, этого вполне достаточно для большинства сценариев использования. Мы активно работаем над оптимизацией системы и устранением оставшихся ограничений.
Изменения Google включают новые меры защиты, использование JavaScript и пересмотренные требования к обработке сессий, что усложняет обработку данных, но мы готовы адаптироваться и развивать наши инструменты для предоставления надежных решений.
Если вы нашли какие то ошибки в работе инструмента пишите в поддержку чтобы мы могли оперативно исправить!
16.01
Проблемы с Google
Наблюдаются проблемы с парсингом Google. Срабатывает новая защита от поисковой системы на наличие включенного javascript, вследствие чего обычный парсинг теперь невозможен, происходит редирект на https://www.google.com/httpservice/retry/enablejs?sei=deSPZ5aHJM-nwPAPi__N0A0. Инструмент Google XML временно остановлен. Приносим извинения за доставленные неудобства.

UPD. В данный момент мы занимаемся восстановлением работоспособности инструмента Google XML и переводим всю систему на новые алгоритмы работы. На это потребуется какое-то время.
UPD2. Частично восстановили работу сервиса для всех пользователей с ограничением на количество запросов в секунду. Новых пользователей будем подключать по мере возможностей. Проблема в том, что новый метод потребляет значительные ресурсы сервера (В десятки раз больше), поэтому нам не хватает мощностей обслужить все запросы. Для стабильной работы, при превышении определенных порогов нагрузки, сбор может отключаться на короткий промежуток времени и выдавать ошибку 101. В ближайшие дни будем работать над оптимизацией алгоритмов и увеличением количества серверов.
01.01
Поздравляем с Новым 2025 годом!
Дорогие друзья!
Поздравляем вас с Новым 2025 годом! Спасибо, что были с нами весь этот год — вместе мы преодолевали трудности, добивались успехов и становились лучше.
От всей команды XMLstock желаем вам здоровья, новых идей, стабильности и радости в каждом дне. Пусть в 2025 году сбываются планы, проекты приносят прибыль, а жизнь радует приятными сюрпризами. Спасибо за ваше доверие и участие — с вами мы двигаемся вперед!
В январе, после праздников, мы планируем запустить функционал асинхронных запросов ЯндексXML. О дате старта подключения сообщим дополнительно и обязательно отправим рассылку, чтобы вы не пропустили это важное обновление.
Счастливого Нового года!
^
Уважаемые пользователи! В конце прошлого года Яндекс анонсировал в своем Search Api ввод асинхронных (отложенных) запросов. Новость об этом мы публиковали в ноябре.
Уже сейчас мы добавили поддержку асинхронных запросов в нашу систему и рекомендуем заранее протестировать и адаптировать свой софт для работы с асинхронной выдачей, так как цены на синхронную выдачу Яндекс может поднять в несколько раз уже в марте.
Как это работает?
Асинхронный режим позволяет выполнять поиск в два этапа:1. Отправляете запрос с параметром &delayed=1.
2. Получаете req_id в ответе.
3. Через 5 минут запрашиваете результат с этим req_id.
4. Если ответ не готов, повторяете запрос результатов с интервалом 10-60 секунд.
Пример запроса:
Пример ответа с req_id:
<?xml version="1.0" encoding="UTF-8"?>
<yandexsearch version="2.0">
<response date="20250204T185502">
<req_id>spr3s0ngc4citnd30muk</req_id>
</response>
</yandexsearch>
Забираем результаты через 5 минут:
Важные моменты:
- Ответ обычно готов через 5 минут, но в редких случаях может занять несколько часов (зависит от нагрузки на стороне Яндекса).- Запросить результат можно не чаще чем раз в 10 секунд.
- Ответ хранится 24 часа.
- Стоимость на асинхронные запросы сейчас такая же как на синхронные. Окончательные цены, которые будут в марте, пока неизвестны.
- Функционал на стадии тестирования. При обнаружении ошибок и багов, просьба сообщить нам в чате поддержки.
Коды ошибок для асинхронных запросов:
201 - Повторный запрос результатов можно совершать не чаще одного раза в минуту202 - Запрос еще не обработан, попробуйте позже
203 - Запроса c заданным ID не существует либо вышло время его хранения
Подробнее о формате запросов в документации
Обновленный список кодов ошибок
Также можно переключать режимы работы по умолчанию в настройках инструмента Яндекс XML Proxy, выбирая тип поиска Синхронный (delayed=0), Асинхронный (delayed=1).
21.01
Восстановили парсинг Google: обходим JavaScript защиту
Уважаемые пользователи!
Рады сообщить, что на данный момент мы практически полностью восстановили работу наших инструментов для парсинга ПС Google, несмотря на серьезные изменения, внедренные Google 15 января, приведшие к временным перебоям в работе сервиса.
Что сейчас работает:
Парсинг Google поиска (десктоп): доступен XML, JSON и HTML. Обратите внимание: в теге found priority="all" для XML и JSON формата теперь отображается количество документов на текущей странице, а блоки «Вопросы по теме», «Запросы по теме» и «Другие также ищут» временно не выводятся. В HTML формате эти данные присутствуют.
Обновление: для корректного определения количества проиндексированных страниц сайта в теге found priority="all", необходимо сделать запрос &query=site:domain.com
Парсинг мобильной выдачи Google: функционирует полностью, поддерживаются форматы XML, JSON и HTML.
Парсинг Google Картинок: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Новостей: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Видео: полностью восстановлен, доступны XML, JSON и HTML.
Важное замечание
Из-за новых требований Google к протоколам взаимодействия мы временно ограничили скорость совершения запросов до 15 запросов в секунду на одного пользователя, этого вполне достаточно для большинства сценариев использования. Мы активно работаем над оптимизацией системы и устранением оставшихся ограничений.
Изменения Google включают новые меры защиты, использование JavaScript и пересмотренные требования к обработке сессий, что усложняет обработку данных, но мы готовы адаптироваться и развивать наши инструменты для предоставления надежных решений.
Если вы нашли какие то ошибки в работе инструмента пишите в поддержку чтобы мы могли оперативно исправить!
16.01
Проблемы с Google
Наблюдаются проблемы с парсингом Google. Срабатывает новая защита от поисковой системы на наличие включенного javascript, вследствие чего обычный парсинг теперь невозможен, происходит редирект на https://www.google.com/httpservice/retry/enablejs?sei=deSPZ5aHJM-nwPAPi__N0A0. Инструмент Google XML временно остановлен. Приносим извинения за доставленные неудобства.

UPD. В данный момент мы занимаемся восстановлением работоспособности инструмента Google XML и переводим всю систему на новые алгоритмы работы. На это потребуется какое-то время.
UPD2. Частично восстановили работу сервиса для всех пользователей с ограничением на количество запросов в секунду. Новых пользователей будем подключать по мере возможностей. Проблема в том, что новый метод потребляет значительные ресурсы сервера (В десятки раз больше), поэтому нам не хватает мощностей обслужить все запросы. Для стабильной работы, при превышении определенных порогов нагрузки, сбор может отключаться на короткий промежуток времени и выдавать ошибку 101. В ближайшие дни будем работать над оптимизацией алгоритмов и увеличением количества серверов.
01.01
Поздравляем с Новым 2025 годом!
Дорогие друзья!
Поздравляем вас с Новым 2025 годом! Спасибо, что были с нами весь этот год — вместе мы преодолевали трудности, добивались успехов и становились лучше.
От всей команды XMLstock желаем вам здоровья, новых идей, стабильности и радости в каждом дне. Пусть в 2025 году сбываются планы, проекты приносят прибыль, а жизнь радует приятными сюрпризами. Спасибо за ваше доверие и участие — с вами мы двигаемся вперед!
В январе, после праздников, мы планируем запустить функционал асинхронных запросов ЯндексXML. О дате старта подключения сообщим дополнительно и обязательно отправим рассылку, чтобы вы не пропустили это важное обновление.
Счастливого Нового года!
Что сейчас работает:
Парсинг Google поиска (десктоп): доступен XML, JSON и HTML. Обратите внимание: в теге found priority="all" для XML и JSON формата теперь отображается количество документов на текущей странице, а блоки «Вопросы по теме», «Запросы по теме» и «Другие также ищут» временно не выводятся. В HTML формате эти данные присутствуют.
Обновление: для корректного определения количества проиндексированных страниц сайта в теге found priority="all", необходимо сделать запрос &query=site:domain.com
Парсинг мобильной выдачи Google: функционирует полностью, поддерживаются форматы XML, JSON и HTML.
Парсинг Google Картинок: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Новостей: полностью восстановлен, доступны XML, JSON и HTML.
Парсинг Google Видео: полностью восстановлен, доступны XML, JSON и HTML.
Важное замечание
Из-за новых требований Google к протоколам взаимодействия мы временно ограничили скорость совершения запросов до 15 запросов в секунду на одного пользователя, этого вполне достаточно для большинства сценариев использования. Мы активно работаем над оптимизацией системы и устранением оставшихся ограничений.
Изменения Google включают новые меры защиты, использование JavaScript и пересмотренные требования к обработке сессий, что усложняет обработку данных, но мы готовы адаптироваться и развивать наши инструменты для предоставления надежных решений.
Если вы нашли какие то ошибки в работе инструмента пишите в поддержку чтобы мы могли оперативно исправить!
16.01
Проблемы с Google
Наблюдаются проблемы с парсингом Google. Срабатывает новая защита от поисковой системы на наличие включенного javascript, вследствие чего обычный парсинг теперь невозможен, происходит редирект на https://www.google.com/httpservice/retry/enablejs?sei=deSPZ5aHJM-nwPAPi__N0A0. Инструмент Google XML временно остановлен. Приносим извинения за доставленные неудобства.

UPD. В данный момент мы занимаемся восстановлением работоспособности инструмента Google XML и переводим всю систему на новые алгоритмы работы. На это потребуется какое-то время.
UPD2. Частично восстановили работу сервиса для всех пользователей с ограничением на количество запросов в секунду. Новых пользователей будем подключать по мере возможностей. Проблема в том, что новый метод потребляет значительные ресурсы сервера (В десятки раз больше), поэтому нам не хватает мощностей обслужить все запросы. Для стабильной работы, при превышении определенных порогов нагрузки, сбор может отключаться на короткий промежуток времени и выдавать ошибку 101. В ближайшие дни будем работать над оптимизацией алгоритмов и увеличением количества серверов.
01.01
Поздравляем с Новым 2025 годом!
Дорогие друзья!
Поздравляем вас с Новым 2025 годом! Спасибо, что были с нами весь этот год — вместе мы преодолевали трудности, добивались успехов и становились лучше.
От всей команды XMLstock желаем вам здоровья, новых идей, стабильности и радости в каждом дне. Пусть в 2025 году сбываются планы, проекты приносят прибыль, а жизнь радует приятными сюрпризами. Спасибо за ваше доверие и участие — с вами мы двигаемся вперед!
В январе, после праздников, мы планируем запустить функционал асинхронных запросов ЯндексXML. О дате старта подключения сообщим дополнительно и обязательно отправим рассылку, чтобы вы не пропустили это важное обновление.
Счастливого Нового года!
Наблюдаются проблемы с парсингом Google. Срабатывает новая защита от поисковой системы на наличие включенного javascript, вследствие чего обычный парсинг теперь невозможен, происходит редирект на https://www.google.com/httpservice/retry/enablejs?sei=deSPZ5aHJM-nwPAPi__N0A0. Инструмент Google XML временно остановлен. Приносим извинения за доставленные неудобства.
UPD. В данный момент мы занимаемся восстановлением работоспособности инструмента Google XML и переводим всю систему на новые алгоритмы работы. На это потребуется какое-то время.
UPD2. Частично восстановили работу сервиса для всех пользователей с ограничением на количество запросов в секунду. Новых пользователей будем подключать по мере возможностей. Проблема в том, что новый метод потребляет значительные ресурсы сервера (В десятки раз больше), поэтому нам не хватает мощностей обслужить все запросы. Для стабильной работы, при превышении определенных порогов нагрузки, сбор может отключаться на короткий промежуток времени и выдавать ошибку 101. В ближайшие дни будем работать над оптимизацией алгоритмов и увеличением количества серверов.
01.01
Поздравляем с Новым 2025 годом!
Дорогие друзья!
Поздравляем вас с Новым 2025 годом! Спасибо, что были с нами весь этот год — вместе мы преодолевали трудности, добивались успехов и становились лучше.
От всей команды XMLstock желаем вам здоровья, новых идей, стабильности и радости в каждом дне. Пусть в 2025 году сбываются планы, проекты приносят прибыль, а жизнь радует приятными сюрпризами. Спасибо за ваше доверие и участие — с вами мы двигаемся вперед!
В январе, после праздников, мы планируем запустить функционал асинхронных запросов ЯндексXML. О дате старта подключения сообщим дополнительно и обязательно отправим рассылку, чтобы вы не пропустили это важное обновление.
Счастливого Нового года!
Дорогие друзья!
Поздравляем вас с Новым 2025 годом! Спасибо, что были с нами весь этот год — вместе мы преодолевали трудности, добивались успехов и становились лучше.
От всей команды XMLstock желаем вам здоровья, новых идей, стабильности и радости в каждом дне. Пусть в 2025 году сбываются планы, проекты приносят прибыль, а жизнь радует приятными сюрпризами. Спасибо за ваше доверие и участие — с вами мы двигаемся вперед!
В январе, после праздников, мы планируем запустить функционал асинхронных запросов ЯндексXML. О дате старта подключения сообщим дополнительно и обязательно отправим рассылку, чтобы вы не пропустили это важное обновление.
Счастливого Нового года!