Документация

Задания для парсера формулируются в виде файлов специального формата. Файл может быть формата XLS, XLSX, CSV (допустим такой же файл с расширением *.TXT) либо JSON.
Для файлов вида XLS или CSV обязательно сохранение заголовков и их порядка в том виде, в каком они есть в примерах (пример файла-задания XLSX)
Очень важно правильно выбрать маркетплейс в форме загрузки.

Обязательные поля в заданиях:

  • category – категория товара, для удобства обработки (сортировка, фильтр), парсером не используется, будет отображена в отчетах без изменений
  • code – код товара из вашей базы, для удобства обратной связки результатов парсинга с вашими товарами, будет отображена в отчетах без изменений
  • productid – общеупотребительный на рынке артикул, будет использован парсером при поисковых запросах, если отсутствует в поле name
  • brand – бренд товара, будет использован парсером при поисковых запросах, если отсутствует в поле name
  • name – название товара, будет использован парсером при поисковых запросах. Значение поля не должно быть пустым, парсер воспримет это как ошибку!
  • linkset – одна или несколько ссылок на карточки товара или ссылок для поисковых запросов
  • marketid – id карточки товара, поддерживается в некоторых вариантах парсера
  • price – цена, с которой Вы хотели бы сравнить полученные результаты, будет отображена в отчетах без изменений
  • donotsearch – количество найденных результатов, после которых поиск прекращается. В некоторых случаях – параметры.
  • textsearch – уточнение запроса, например, если Вам желательно сохранить свое название, а поиск будет производиться по штрих-коду

Регионы:

Парсер поддерживает сбор информации ценах с учетом региона.
Для Яндекс-маркета, Яндекс-товаров в качестве региона введите его цифровой код по этой инструкции.
Для OZON, Wildberries введите название столицы региона (без опечаток) региона из списка поддерживаемых регионов:
Москва, Санкт-Петербург, Владивосток, Екатеринбург, Казань, Калининград, Новороссийск, Новосибирск, Ростов-на-Дону, Тверь, Хабаровск.
Если интересующий Вас регион не входит в этот список – свяжитесь с поддержкой.

Особенности формата JSON:

Формат JSON можно использовать как для загрузки задания через форму на сайте, так и для отправке задания через API. В JSON-файле или API-запросе требуются также общие поля для характеристики всего задания:
Подробнее о заданиях JSON и API.

  • apikey – ваш API ключ, его можно сгенерировать на этой странице
  • regionid – код региона для яндекс-маркета, яндекс-товаров
  • market – маркетплейс из списка предлагаемых на странице загрузки, означает также варианты парсинга, например для озона 3 варианта: ozon, ozonid, ozons
  • userlabel – ваш идентификатор задания, для удобства, например “смартфоны_ЯМ”, до 20 символов, символы ” “, “/”, “\”, “:”, “*”, “?”, “>”, “<“, “|” заменяются на “-“.

Яндекс-маркет:

В большинстве случаев метод парсинга распознается автоматически по ссылке из linkset.

Собирается информация о первых 20 предложениях из карточки товара (сортировка по цене, предложения магазинов группируются). Ссылка в поле linkset должна содержать подстроку “https://market.yandex.ru/product”.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
name*строкадаКофемолка Bosch MKM 6000/6003, белыйне должен быть пустым
linkset*строкадаhttps://market.yandex.ru/product–mkm-6000-6003/116335/offers?sku=100237657892ссылка на карточку товара, содержащая подстроку “https://market.yandex.ru/product”
marketidстроканетпри наличии ссылки игнорируется
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетМаксимум 20 (по умолчанию)
textsearchстроканетигнорируется

Стоимость – 1 проверка за каждую ссылку.

Собирается информация о первых 20 предложениях из карточки товара (сортировка по цене, предложения магазинов группируются). На одной карточке товара могут быть собраны sku с разными потребительскими свойствами (цвет, расфасовка, размер, технические характеристики и т.п.). Рекомендуется использовать ссылку, содержащую оба параметра (парсер карточек товара по ссылке).
Пример: https://market.yandex.ru/product–mkm-6000-6003/116335/offers?sku=100237657892, короткий вариант: https://market.yandex.ru/product/116335/offers?sku=100237657892.
Здесь 116335 – id карточки, 100237657892 – sku. Сформировать ссылку на карточку только по sku невозможно.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
name*строкадаКофемолка Bosch MKM 6000/6003, белыйне должен быть пустым
linksetстрокане заполнятьЕсли ссылка заполнена – id карточки игнорируется
marketidстроканет116335productid (не путайте с sku) ЯМ
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенет10Максимум 20 (по умолчанию)
textsearchстроканетигнорируется

Стоимость – 1 проверка за каждую ссылку.

Поиск карточки по названию товара (name). Так же используются поля productid (общеупотребительный на рынке артикул) и brand (бренд), если их нет в названии. Вы можете уточнить поисковую фразу, задав ее в поле textsearch. Для первого найденного результата будут показаны первые 10 предложений из карточки товара. Используйте этот вариант для поиска первичного поиска ссылок на карточки товара.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
nameстрокадаКофемолка Bosch MKM 6003не должен быть пустым
linksetстрокане заполнятьне заполнять
marketidстрокане заполнятьне заполнять
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетне заполнять, 10 результвтов по умолчанию
textsearchстроканет100237657892Заполняется, если требуется уточнить запрос

Стоимость – 1 проверка за каждый запрос.

Поиск предложений Яндекс-Маркета по запросу. Будут показаны результаты с первой страницы поиска.
Обязательной является поисковая ссылка. Выполните запрос в браузере, примените необходимые фильтры и скопируйте ссылку из адресной строки.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
nameстрокадаКофемолка Bosch MKM 6003не должно быть пустым
linksetстрокадаhttps://market.yandex.ru/search?text=mkm%206003ссылка на карточку товара, содержащая подстроку “https://”market.yandex.ru/search” или “https://”market.yandex.ru/catalog”
marketidстрокане заполнятьигнорируется
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость – 1 проверка за каждый запрос.

Парсинг цен по ссылке на карточку товара.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
nameстрокадаКофемолка Bosch MKM 6003не должно быть пустым
linksetстрокадаhttps://market.yandex.ru/product/116335/spec?sku=100237657892ссылка страницу характеристик товара, содержащая подстроки “https://”market.yandex.ru/product” и “/spec”
marketidстрокане заполнятьигнорируется
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость – 1 проверка за каждый запрос.

Озон:

Парсинг цен по ссылке на карточку товара.
Выбор маркетплейса в форме загрузки: ozon, ozonid.*

ПараметрТипОбязателенПримерОписание
categoryстроканетСмартфоныпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетSM-S711B/DSигнорируется
brandстроканетBoschигнорируется
nameстрокадаSamsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленыйне должно быть пустым
linksetстрокадаhttps://www.ozon.ru/product/samsung-smartfon-galaxy-s23-fe-5g-sm-s711b-ds-8-256-gb-svetlo-zelenyy-1246574185/ссылка на карточку товара, содержащая подстроку “https://www.ozon.ru/product”
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

* ozon – сбор цен с карточки товара,
ozonid – то же самое + цены из блока “предложения других продавцов”.

Стоимость: ozon: 1 проверка за каждую ссылку, В одной позиции может быть до 5 ссылок, должны начинаться с “https://” и быть разделены пробелом.
ozonid: 1 проверка за каждые полные или не полные 5 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.

Выбор маркетплейса в форме загрузки: ozon, ozonid.*

ПараметрТипОбязателенПримерОписание
categoryстроканетСмартфоныпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетSM-S711B/DSигнорируется
brandстроканетBoschигнорируется
nameстрокадаSamsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленыйне должно быть пустым
linksetстрокане заполнятьне заполнять
marketidстрокада1246574185id карточки товара на ощоне
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

* ozon – сбор цен с карточки товара,
ozonid – то же самое + цены из блока “предложения других продавцов”.

Стоимость: ozon: 1 проверка за каждую ссылку, В одной позиции может быть до 5 ссылок, должны начинаться с “https://” и быть разделены пробелом.
ozonid: 1 проверка за каждые полные или не полные 5 цен в найденных предложениях (карточки и других продавцов). В одной позиции может быть 1 ссылка.

Выбор маркетплейса в форме загрузки: ozons *

ПараметрТипОбязателенПримерОписание
categoryстроканетпередается в отчет для удобства сортировки
codeстроканетпередается в отчет для обратной связки
productidстроканетигнорируется
brandстроканетигнорируется
nameстрокадане знаю чтоне должно быть пустым
linksetстроканетпоисковая ссылка, рекомендуется**
marketidстрокадаигнорируется
priceчислонет5000Передается в отчет для удобства сравнения
donotsearchцелоенет4000максимальное количество результатов***
textsearchстроканетигнорируется

* под поисковой выдачей применительно к озону понимаются не только результаты поиска, но и любой ссылки, которая приводит к выдаче, похожей на поисковую, например:
https://www.ozon.ru/search/?text=%D0%BD%D0%B5+%D0%B7%D0%BD%D0%B0%D1%8E+%D1%87%D1%82%D0%BE&from_global=true
https://www.ozon.ru/seller/gauf-rus-8145/products/?currency_price=10000.000%3B25000.000&miniapp=seller_8145
https://www.ozon.ru/seller/gauf-rus-8145/products/?miniapp=seller_8145
** при отсутствии ссылки парсер будет искать по названию (name)
*** парсер будет обходить страницы поисковой выдачи, пока не наберет нужное количество уникальных результатов, не кончится выборка или результаты с очередной страницы не будут полностью дублировать предыдущие; при отсутствии параметра будут показаны результаты только с первой страницы поиска

Стоимость:1 проверка за каждую пройденную страницу выборки. При многостраничном поиске точное количество страниц предсказать невозможно.

Выбор маркетплейса в форме загрузки: ozon *

ПараметрТипОбязателенПримерОписание
categoryстроканетСмартфоныпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетSM-S711B/DSигнорируется
brandстроканетBoschигнорируется
nameстрокадаSamsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленыйне должно быть пустым
linksetстрокада, или idhttps://www.ozon.ru/product/samsung-smartfon-galaxy-s23-fe-5g-sm-s711b-ds-8-256-gb-svetlo-zelenyy-1246574185/ссылка на карточку товара
marketidстрокада, или ссылка1246574185id карточки товара
priceчислонетигнорируется
donotsearchцелоедаreviews200параметры*
textsearchстроканетигнорируется

* варианты параметров:
reviews200 – 200 последних отзывов (максимум 1000)
reviews200,days30 – до 200 последних отзывов за последние 30 дней (максимум 1000)
reviews200,startdate20240401,stopdate20240410– до 200 последних отзывов c 1 апреля по 10 апреля (максимум 1000). В исторические даты залезать не стоит, озон их часто не показывает.

Стоимость:1 проверка за каждую страницу отзывов. На 1 странице может быть от 20 до 60 отзывов.
При парсинге за период (3й вариант) стоимость увеличивается – парсер делает запросы отзывов, начиная с самых свежих, игнорируя результаты, не попадающие в период.

Wildberries:

Выбор маркетплейса в форме загрузки: wb, wbid*

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетСАИ 160Кигнорируется
brandстроканетResantaигнорируется
nameстрокадаСварочный аппарат инверторный САИ 160Кне должно быть пустым
linksetстрокадаhttps://www.wildberries.ru/catalog/4356790/detail.aspxссылка на карточку товара
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

* wb – сбор цен с карточки товара,
wbid – то же самое + цены из блока “предложения других продавцов”.

Стоимость: wb: 1 проверка за каждую ссылку, В одной позиции может быть до 10 ссылок, должны начинаться с “https://” и быть разделены пробелом.
wbid: 1 проверка за каждые полные или не полные 10 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.

Выбор маркетплейса в форме загрузки: wb, wbid*

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетСАИ 160Кигнорируется
brandстроканетResantaигнорируется
nameстрокадаСварочный аппарат инверторный САИ 160Кне должно быть пустым
linksetстрокане заполнятьне заполнять
marketidстрокада4356790id карточки товара
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

* wb – сбор цен с карточки товара,
wbid – то же самое + цены из блока “предложения других продавцов”.

Стоимость: wb: 1 проверка за каждую ссылку, В одной позиции может быть до 10 ссылок, должны начинаться с “https://” и быть разделены пробелом.
wbid: 1 проверка за каждые полные или не полные 10 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.

Выбор маркетплейса в форме загрузки: wbs *

ПараметрТипОбязателенПримерОписание
categoryстроканетпередается в отчет для удобства сортировки
codeстроканетпередается в отчет для обратной связки
productidстроканетформирует поисковый запрос (если заполнено)
brandстроканетформирует поисковый запрос (если заполнено)
nameстрокадане знаю чтоне должно быть пустым, формирует поисковый запрос
linksetстроканетhttps://www.wildberries.ru/catalog/0/search.aspx?search=%D0%A1%D0%90%D0%98-185%20BEпоисковая ссылка, рекомендуется **
marketidстрокадаигнорируется
priceчислонет5000Передается в отчет для удобства сравнения
donotsearchцелоенет4000максимальное количество результатов ***
textsearchстроканетнастольные игрызаполните, если поисковый запрос не должен формироваться по названию

* поддерживаются только определенные виды ссылок, примеры:
поиск: https://www.wildberries.ru/catalog/0/search.aspx?search=%D0%A1%D0%90%D0%98-185%20BE
товары продавца: https://www.wildberries.ru/seller/276020
товары бренда: https://www.wildberries.ru/brands/resanta/
** при отсутствии ссылки парсер будет искать по названию (brand + name + productid), если заполнено поле textsearch – по его содержимому.
*** парсер будет обходить страницы поисковой выдачи, пока не наберет нужное количество уникальных результатов, не кончится выборка или результаты с очередной страницы не будут полностью дублировать предыдущие; при отсутствии параметра будут показаны результаты только с первой страницы поиска

Стоимость:1 проверка за каждую пройденную страницу выборки. При многостраничном поиске точное количество страниц предсказать невозможно.

Яндекс-товары:

Выбор маркетплейса в форме загрузки: yt

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетСАИ 160Кформирует поисковый запрос (если заполнено)
brandстроканетResantaформирует поисковый запрос (если заполнено)
nameстрокадаСварочный аппарат инверторный САИ 160Кне должно быть пустым, формирует поисковый запрос
linksetстроканетhttps://yandex.ru/products/search?disauto=glfilter&glfilter=7893318%3A13331734&order=dpop&text=%D0%A1%D0%90%D0%98+160%D0%9Aпоисковая ссылка *
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенет2максимальное количество результатов **
textsearchстроканетнастольные игрызаполните, если поисковый запрос не должен формироваться по названию

* Необходима, если поисковый запрос содержит фильтры, в данном примере – бренд.
** Поисковая выдача содержит карточки товаров (product) и отдельные предложения (offer). Сортировка – по убыванию релевантности. Парсер соберет предложения в указанном количестве карточек (одна, если не указано) , а также отдельные предложения до последней требуемой карточки.

Стоимость: 1 проверка за предложения, собранные с каждой карточки из указанного количества. 1 проверка, если на поисковой выдаче только offers. Пагинации (прокрутки страницы) нет.

Выбор маркетплейса в форме загрузки: yt

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетигнорируется
brandстроканетигнорируется
nameстрокадаРесанта САИ-220 Сварочный аппаратне должно быть пустым
linksetстрокадаhttps://yandex.ru/products/product/1780174001/sku/11616457?lr=213ссылка на карточку товара, содержащая подстроку “yandex.ru/products/product”
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется


Стоимость: 1 проверка за предложения, собранные с одной карточки товара.