В Яндекс Cloud долго думали, как испортить то, что хорошо работает и придумали асинхронную, то есть отложенную выдачу. Выдача в реальном времени, как всегда было, теперь будет называться синхронной.

Принцип работы асинхронного метода следующий:

1. Вы отправляете запрос;

2. Получаете в ответ ID операции, запоминаете его;

3. Через 5 минут делаете повторный запрос с использованием полученного ранее ID-запроса и только тогда появится результат поиска, а может и не появится. Зависит от настроения Яндекса.

Каждая операция будет обрабатываться минимум 5 минут, однако возможны дополнительные задержки, так как точное время формирования ответа на стороне Яндекса предсказать невозможно.

Новые цены на асинхронную и синхронную выдачу пока неизвестны, но точно известно что стоимость синхронной выдачи будет значительно выше и станет фактически заградительной для обычных пользователей. Все изменения планируют окончательно ввести с начала следующего года. Пока работаем по-старому и есть время подготовиться.

Что мы можем спрогнозировать уже сейчас:

- Ваши скрипты и программы продолжат работать с синхронной выдачей, но стоимость запроса значительно вырастит.

- Для работы с асинхронным режимом необходимо будет доработать свой софт в соответствии с новым алгоритмом работы.

- KeyCollector для съема позиций в Яндексе в асинхронном режиме станет непригодным, т.к. программа больше не обновляется.

- Возможна нестабильная работа или длительное ожидание ответа асинхронной системы запросов при высоких нагрузках.

- Парсинг живой выдачи станет актуален как никогда.

В ближайшее время мы запустим тестовый функционал для асинхронных запросов с подробными инструкциями. Ожидайте анонсов и следите за обновлениями!

В инструмент Яндекс Live добавили возможность собирать данные в XML и JSON формате из карусели с товарами, расположенной вверху страницы с результатами поиска. Карусель встречается не во всех запросах, ее наличие сильно зависит от тематики запроса и региона поиска.

Позволяет собрать следующие данные: адрес сайта (магазина), ссылка на товар в зашифрованном виде, название товара, его изображение и цена; название и ИНН организации, разместившей данное объявление.

Чтобы включить вывод данных из карусели, необходимо в настройках по умолчанию поставить соответствующую галку, либо использовать параметр &scroller=1. Одним запросом можно парсить и карусель, и рекламные объявления, используя сочетание параметров &ads=1&scroller=1.

Пользователи, которые парсят живую выдачу Яндекса с помощью инструмента Яндекс Live наверняка обращали внимание на медленную скорость сбора и высокую загруженность в часы пик. Сегодня мы хотим анонсировать обновление системы Яндекс Live, а именно добавление режима "Turbo скорость".

Режим Turbo скорости позволяет парсить поисковую выдачу Яндекса в формате xml, json, а также html на огромной скорости без каптчи и ошибок.

Переключение режима сбора по умолчанию осуществляется в настройках инструмента Яндекс Live: выбор Типа поиска -> Поисковая выдача (Turbo скорость). Также можно выбирать режим, отправляя параметр &tbm=turbo в GET-параметрах запросов. Турбо режим доступен только для поисковой выдачи и недоступен для сбора картинок и видео.

Turbo режим обладает рядом существенных преимуществ:

• Моментальная скорость получения результатов
• Неограниченное количество потоков
• Никаких ошибок из-за высокой загрузки инструмента
• Десктоп и мобильная версия поиска
• Результаты поиска также доступны в HTML формате
• Возможность парсинга рекламных блоков Яндекс директ, карусели товаров и т.д.

Стоимость: +10 руб за 1000 запросов к стоимости Яндекс Live на вашем тарифном плане.

Добавили парсинг результатов выдачи из вкладки Видео в поисковой системе Google.

Для этого в нашем инструменте Google Xml Search необходимо использовать параметр &tbm=video или указать Результаты поиска - Видео в настройках по умолчанию. Для указания страны поиска и языка интерфейса необходимо задать параметры &gl=, &hl=

Обратите внимание, что для Google XML Search теперь доступен парсинг сразу 4-х видов поиска: Поисковая Выдача, Картинки, Новости и Видео.

Улучшили парсинг Яндекс Директ из живой выдачи.

Теперь в инструменте Яндекс Live дополнительно выводятся следующие данные из рекламных объявлений : номера телефонов, ссылка на профиль компании в Яндекс, город и станция метро; название и ИНН организации, разместившей данное объявление (прямые рекламодатели и рекламные агентства). Если какая-то информация отсутствует, то она не выводится.

Также номера телефонов теперь показываются и из основной выдачи (при наличии)

Эти данные пока доступны только в десктоп выдаче.

Добавили в XML и JSON выдачу вывод дополнительных результатов поиска из блоков "Люди Ищут" для Яндекс Live и "Запросы по теме" для Google XML Search. Теперь можно парсить ключевые слова и фразы по нужной тематике в обеих поисковых системах.

Активируется в обоих инструментах с помощью добавления параметра &related=1 или через настройки по умолчанию. В ПС Google также дополнительно показывается блок "Похожие Вопросы".

Поисковая система Яндекс:

Поисковая система Google:

Наши тарифные планы стали более универсальными! Мы включили во все тарифные планы траты по Яндекс XML Proxy, а это значит, что теперь можно подключить выгодный тариф и пользоваться всеми инструментами с общего баланса. Условия тарифных планов при этом не изменились!

При активации выбранного тарифного плана, с вашего баланса будет списана его стоимость и заморожена на 30 календарных дней. Зарезервированная сумма отобразится в строке "Тарифный счёт" и будет расходоваться в первую очередь при совершении запросов на любом из наших инструментов. При использовании всех средств с Тарифного счёта, дальнейшее списание за запросы будет происходить с основного баланса аккаунта по цене активного тарифного плана.

По окончании срока действия тарифа неиспользованные зарезервированные средства на новый период не переносятся.

В Российской части интернета наблюдаются глобальные проблемы с резолвом доменных имен. Проблемы затронули и наш сервис. Часть наших услуг может не работать или работать не стабильно.

Причиной проблемы являются глобальные неполадки в ru-зоне доменных имен, что может затрагивать работу всех сервисов, обращение к которым осуществляется с помощью доменов в зоне .RU

UPD 21.20 Похоже на данный момент времени аварию устранили. Сейчас наши сервисы работают в штатном режиме. Мы продолжаем следить за ситуацией.

Дорогие друзья!

От лица всей команды XMLstock хотим поздравить вас с Новым 2024 годом!

Прошлый год был особенным и неоднозначным. Хотим выразить искреннюю благодарность каждому из вас за то, что выбрали наш сервис, за ваше доверие и поддержку, которые вдохновляют нас к постоянному совершенствованию и улучшению нашего сервиса.

Пусть ваши проекты будут успешными и прибыльными. Пусть каждый день будет полон новых идей и креативных решений! Спасибо за ваш вклад в наше развитие, за ваши идеи и предложения. Пусть 2024 станет для вас годом технологических свершений, блеска и радости!

С Новым Годом!