Google XML Search. Руководство разработчика
Google XML Search - Порядок подключения
1. Для начала необходимо определиться с тарифным планом. По умолчанию установлен тарифный план "Базовый" с оплатой за каждый запрос. Если вам необходимо совершать большое количество запросов к Google на регулярной основе, то вам подойдут пакетные тарифы "Оптимальный" или "Максимум", цена на них значительно ниже.
2. В разделе Настроек укажите необходимые параметры поиска по умолчанию. Обратите внимание на то, что в зависимости от настроек региональности - позиции сайтов могут значительно меняться. Почти все параметры из настроек можно передавать в URL для совершения запросов, тогда они имеют приоритет над настройками по умолчанию.
3. Для совершения запросов и получения результатов поиска в формате XML, используйте свой уникальный URL
&key=[key] - ваш уникальный ключ
При необходимости ключ можно поменять в любой момент.
4. Скопируйте URL для запросов в любую программу, которая поддерживает наш сервис для Google. (Topsite, Key Collector 4, Site-Control и другие). Более подробная инструкция есть на странице Настрйока программ.
Если вы используете софт, который напрямую не подключен к нашему сервису, но у которого есть поддержка Яндекс.XML, можно скопировать в поле для Яндекс.XML URL для Google. Тогда вы будете получать результаты поиска для Google. Это не очень удобно, но работает! Но лучше обратиться в разработчикам софта, чтобы они добавили поддержку нашего сервиса в своей программе.
5. Для получения результатов поиска в формате JSON или HTML используйте соответствующий URL
Получение результатов поиска в формате HTML позволит вам, при должном уровне программирования, распарсить результаты самостоятельно и извлечь любые необходимые данные, которые есть на странице и которые мы не предоставляем для XML и JSON.
На основе данных, полученных с помощью Google XML Search, вы можете писать свои собственные скрипты, создавать базы данных и предоставлять различные сервисы.
6. Со статистикой совершения запросов можно ознакомиться на странице "Статистика запросов".
Рекомендуемые настройки скорости парсинга
Чтобы избежать ошибок, связанных с излишней нагрузкой на сервис Google XML Search, мы рекомендуем собирать результаты не более чем в 15 одновременных потоков и отправлять следующий запрос сразу после получения результата на предыдущий. Если такая реализаия не представляется возможной, то нужно слать не более 15 запросов каждую секунду.
Не рекомендуем слать запросы большими пакетами, выдерживая интервал времени. Например одномоментно отправлять пакет из 500 запросов. Часть из этих запросов обработаются, часть встанет в очередь на обработку, а остальные отсекутся. В результате чего вы создадите излишнюю нагрузку на сервер, а скорость парсинга будет значительно ниже, по сравнению с тем, если бы вы распределяли запросы равномерно.
Если вам необходимо собрать большой объем данных и требуется заведомо большее количество потоков, рекомендуем сначала написать в нашу техподдержку, мы сориентируем и подскажем как лучше сделать.
