Яндекс XML. Руководство разработчика
Яндекс XML - Порядок подключения
1. Для начала необходимо определиться с тарифным планом. По умолчанию установлен тарифный план "Базовый" с оплатой за каждый запрос. Стоимость запросов данного инструмента одинакова на всех тарифных планах.
2. В разделе Настроек укажите необходимые параметры поиска по умолчанию. Обратите внимание на то, что в зависимости от настроек региональности - позиции сайтов могут значительно меняться. Почти все параметры из настроек можно передавать в URL для совершения запросов, тогда они имеют приоритет над настройками по умолчанию.
3. Для совершения запросов и получения результатов поиска в формате XML, используйте свой уникальный URL
&key=[key] - ваш уникальный ключ
При необходимости ключ можно поменять в любой момент.
4. Скопируйте URL для запросов в любую программу, которая поддерживает наш сервис для ЯндексXML (SearchAPI). (Topsite, Key Collector 4, Site-Control и другие). Более подробная инструкция есть на странице Настройка программ.
5. Получение результатов поиска в формате JSON или HTML недоступно в данном инструменте.
6. Со статистикой совершения запросов можно ознакомиться на странице "Статистика запросов".
Рекомендуемые настройки скорости парсинга
Чтобы избежать ошибок, связанных с излишней нагрузкой на сервис Яндекс XML, мы рекомендуем собирать результаты не более чем в 50 одновременных потоков и отправлять следующий запрос сразу после получения результата на предыдущий. Если такая реализаия не представляется возможной, то нужно слать не более 100 запросов каждую секунду.
Не рекомендуем слать запросы большими пакетами, выдерживая интервал времени. Например одномоментно отправлять пакет из 1000 запросов. Часть из этих запросов обработаются, часть встанет в очередь на обработку, а остальные отсекутся. В результате чего вы создадите излишнюю нагрузку на сервер, а скорость парсинга будет значительно ниже, по сравнению с тем, если бы вы распределяли запросы равномерно.
Если вам необходимо собрать большой объем данных и требуется заведомо большее количество потоков, рекомендуем сначала написать в нашу техподдержку, мы сориентируем и подскажем как лучше сделать.