Документация

Задания для парсера формулируются в виде файлов специального формата. Файл может быть формата XLS, XLSX, CSV (допустим такой же файл с расширением *.TXT) либо JSON.
Для файлов вида XLS или CSV обязательно сохранение заголовков и их порядка в том виде, в каком они есть в примерах (пример файла-задания XLSX)
Очень важно правильно выбрать маркетплейс в форме загрузки.

Обязательные поля в заданиях:

  • category — категория товара, для удобства обработки (сортировка, фильтр), парсером не используется, будет отображена в отчетах без изменений
  • code — код товара из вашей базы, для удобства обратной связки результатов парсинга с вашими товарами, будет отображена в отчетах без изменений
  • productid — общеупотребительный на рынке артикул, будет использован парсером при поисковых запросах, если отсутствует в поле name
  • brand — бренд товара, будет использован парсером при поисковых запросах, если отсутствует в поле name
  • name — название товара, будет использован парсером при поисковых запросах. Значение поля не должно быть пустым, парсер воспримет это как ошибку!
  • linkset — одна или несколько ссылок на карточки товара или ссылок для поисковых запросов
  • marketid — id карточки товара, поддерживается в некоторых вариантах парсера
  • price — цена, с которой Вы хотели бы сравнить полученные результаты, будет отображена в отчетах без изменений
  • donotsearch — количество найденных результатов, после которых поиск прекращается. В некоторых случаях — параметры.
  • textsearch — уточнение запроса, например, если Вам желательно сохранить свое название, а поиск будет производиться по штрих-коду

Регионы:

Парсер поддерживает сбор информации ценах с учетом региона.
Регион вводится в поле «Регион» формы загрузки, или же указывается в параметр
Для Яндекс-маркета, Яндекс-товаров в качестве региона введите его цифровой код по этой инструкции.
Для OZON, Wildberries введите название столицы региона (без опечаток) региона.

Спискок поддерживаемых регионов, в том числе и Яндекс-маркета, Яндекс-товаров:
Москва (код региона для Яндекс-маркета 213, задается по умолчанию в случае ошибочного написания кода либо столицы региона),
Санкт-Петербург (2), Владивосток (75), Екатеринбург (54), Казань (43), Калининград (22), Новороссийск (970), Новосибирск (65), Ростов-на-Дону (39), Тверь (14), Хабаровск (76).
Если интересующий Вас регион не входит в этот список — свяжитесь с поддержкой.

Особенности формата JSON:

Формат JSON можно использовать как для загрузки задания через форму на сайте, так и для отправке задания через API.
В JSON-файле или API-запросе требуются также общие поля для характеристики всего задания:
Подробнее о заданиях JSON и API.

  • apikey (строка) — ваш API ключ, его можно сгенерировать на этой странице
  • regionid (строка) — код региона для яндекс-маркета, яндекс-товаров
  • market (строка) — маркетплейс из списка предлагаемых на странице загрузки, означает также варианты парсинга, например для озона 3 варианта: ozon, ozonid, ozons
  • userlabel (строка, до 20 символов) — ваш идентификатор задания, для удобства, например «смартфоны_ЯМ», символы » «, «/», «\», «:», «*», «?», «>», «<«, «|» заменяются на «-«.

Яндекс-маркет:

В большинстве случаев метод парсинга распознается автоматически по ссылке из linkset.

Смена регионов для Яндекс Маркета временно не поддерживается. Результаты будут для Москвы.

Собирается информация о первых 10 предложениях из карточки товара (сортировка по цене, предложения магазинов группируются). Ссылка в поле linkset должна содержать подстроку «https://market.yandex.ru/product».

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
name*строкадаКофемолка Bosch MKM 6000/6003, белыйне должен быть пустым
linkset*строка¹даhttps://market.yandex.ru/product—mkm-6000-6003/116335/offers?sku=100237657892ссылка на карточку товара, содержащая подстроку «https://market.yandex.ru/product»
marketidстроканетпри наличии ссылки игнорируется
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетМаксимум 20 (по умолчанию)
textsearchстроканетигнорируется

Стоимость — 1 проверка за каждую ссылку.
¹ в JSON — массив строк (даже, если один элемент)

Собирается информация о первых 10 предложениях из карточки товара (сортировка по цене, предложения магазинов группируются). На одной карточке товара могут быть собраны sku с разными потребительскими свойствами (цвет, расфасовка, размер, технические характеристики и т.п.). Рекомендуется использовать ссылку, содержащую оба параметра (парсер карточек товара по ссылке).
Пример: https://market.yandex.ru/product—mkm-6000-6003/116335/offers?sku=100237657892, короткий вариант: https://market.yandex.ru/product/116335/offers?sku=100237657892.
Здесь 116335 — id карточки, 100237657892 — sku. Сформировать ссылку на карточку только по sku невозможно.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
name*строка¹даКофемолка Bosch MKM 6000/6003, белыйне должен быть пустым
linksetстрокане заполнятьЕсли ссылка заполнена — id карточки игнорируется
marketidстроканет116335productid (не путайте с sku) ЯМ
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенет10Максимум 20 (по умолчанию)
textsearchстроканетигнорируется

Стоимость — 1 проверка за каждую ссылку.
¹ в JSON — массив строк (даже, если один элемент)

Поиск карточки по названию товара (name). Так же используются поля productid (общеупотребительный на рынке артикул) и brand (бренд), если их нет в названии. Вы можете уточнить поисковую фразу, задав ее в поле textsearch. Для первого найденного результата будут показаны первые 10 предложений из карточки товара. Используйте этот вариант для поиска первичного поиска ссылок на карточки товара.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
nameстрока¹даКофемолка Bosch MKM 6003не должен быть пустым
linksetстрокане заполнятьне заполнять
marketidстрокане заполнятьне заполнять
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетне заполнять, 10 результвтов по умолчанию
textsearchстроканет100237657892Заполняется, если требуется уточнить запрос

Стоимость — 1 проверка за каждый запрос.
¹ в JSON — массив строк (даже, если один элемент)

Поиск предложений Яндекс-Маркета по запросу. Будут показаны результаты с первой страницы поиска.
Обязательной является поисковая ссылка. Выполните запрос в браузере, примените необходимые фильтры и скопируйте ссылку из адресной строки.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
nameстрокадаКофемолка Bosch MKM 6003не должно быть пустым
linksetстрока¹даhttps://market.yandex.ru/search?text=mkm%206003ссылка на карточку товара, содержащая подстроку «https://»market.yandex.ru/search» или «https://»market.yandex.ru/catalog»
marketidстрокане заполнятьигнорируется
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость — 1 проверка за каждый запрос.
¹ в JSON — массив строк (даже, если один элемент)

Парсинг цен по ссылке на карточку товара.

ПараметрТипОбязателенПримерОписание
categoryстроканетКофемолкипередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетMKM 6003игнорируется
brandстроканетBoschигнорируется
nameстрокадаКофемолка Bosch MKM 6003не должно быть пустым
linksetстрока¹даhttps://market.yandex.ru/product/116335/spec?sku=100237657892ссылка страницу характеристик товара, содержащая подстроки «https://»market.yandex.ru/product» и «/spec»
marketidстрокане заполнятьигнорируется
priceчислонет1000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость — 1 проверка за каждый запрос.
¹ в JSON — массив строк (даже, если один элемент)

Озон:

Парсинг цен по ссылке на карточку товара.
Выбор маркетплейса в форме загрузки: ozon, ozonid.*

ПараметрТипОбязателенПримерОписание
categoryстроканетСмартфоныпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетSM-S711B/DSигнорируется
brandстроканетBoschигнорируется
nameстрокадаSamsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленыйне должно быть пустым
linksetстрока¹даhttps://www.ozon.ru/product/samsung-smartfon-galaxy-s23-fe-5g-sm-s711b-ds-8-256-gb-svetlo-zelenyy-1246574185/ссылка на карточку товара, содержащая подстроку «https://www.ozon.ru/product»
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость: ozon: 1 проверка за каждую ссылку, В одной позиции может быть до 5 ссылок, должны начинаться с «https://» и быть разделены пробелом.
ozonid: 1 проверка за каждые полные или не полные 5 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)

* ozon — сбор цен с карточки товара,
ozonid — то же самое + цены из блока «предложения других продавцов».

Выбор маркетплейса в форме загрузки: ozon, ozonid.*

ПараметрТипОбязателенПримерОписание
categoryстроканетСмартфоныпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетSM-S711B/DSигнорируется
brandстроканетBoschигнорируется
nameстрокадаSamsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленыйне должно быть пустым
linksetстрока¹не заполнятьне заполнять
marketidстрокада1246574185id карточки товара на ощоне
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость: ozon: 1 проверка за каждую ссылку, В одной позиции может быть до 5 ссылок, должны начинаться с «https://» и быть разделены пробелом.
ozonid: 1 проверка за каждые полные или не полные 5 цен в найденных предложениях (карточки и других продавцов). В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)

* ozon — сбор цен с карточки товара,
ozonid — то же самое + цены из блока «предложения других продавцов».

Выбор маркетплейса в форме загрузки: ozons *

ПараметрТипОбязателенПримерОписание
categoryстроканетпередается в отчет для удобства сортировки
codeстроканетпередается в отчет для обратной связки
productidстроканетигнорируется
brandстроканетигнорируется
nameстрокадане знаю чтоне должно быть пустым
linksetстрока¹нетпоисковая ссылка, рекомендуется**
marketidстрокадаигнорируется
priceчислонет5000Передается в отчет для удобства сравнения
donotsearchцелоенет4000максимальное количество результатов***
textsearchстроканетигнорируется

Стоимость:1 проверка за каждую пройденную страницу выборки. При многостраничном поиске точное количество страниц предсказать невозможно.
UPD В связи с изменением способа загрузки контента на страницу для мониторинга поисковой выдачи требуется большее количество запросов. Стоимость запроса временно установлена в размере 1 проверки за каждые 16 результатов поиска. При отсутствии результатов по заданному запросу также списывается 1 проверка.
¹ в JSON — массив строк (даже, если один элемент)

* под поисковой выдачей применительно к озону понимаются не только результаты поиска, но и любой ссылки, которая приводит к выдаче, похожей на поисковую, например:
https://www.ozon.ru/search/?text=%D0%BD%D0%B5+%D0%B7%D0%BD%D0%B0%D1%8E+%D1%87%D1%82%D0%BE&from_global=true
https://www.ozon.ru/seller/gauf-rus-8145/products/?currency_price=10000.000%3B25000.000&miniapp=seller_8145
https://www.ozon.ru/seller/gauf-rus-8145/products/?miniapp=seller_8145
** при отсутствии ссылки парсер будет искать по названию (name)
*** парсер будет обходить страницы поисковой выдачи, пока не наберет нужное количество уникальных результатов, не кончится выборка или результаты с очередной страницы не будут полностью дублировать предыдущие; при отсутствии параметра будут показаны результаты только с первой страницы поиска

Выбор маркетплейса в форме загрузки: ozon *

ПараметрТипОбязателенПримерОписание
categoryстроканетСмартфоныпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетSM-S711B/DSигнорируется
brandстроканетBoschигнорируется
nameстрокадаSamsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленыйне должно быть пустым
linksetстрока¹да, или idhttps://www.ozon.ru/product/samsung-smartfon-galaxy-s23-fe-5g-sm-s711b-ds-8-256-gb-svetlo-zelenyy-1246574185/ссылка на карточку товара
marketidстрокада, или ссылка1246574185id карточки товара
priceчислонетигнорируется
donotsearchцелоедаreviews200параметры*
textsearchстроканетигнорируется

Стоимость:1 проверка за каждую страницу отзывов. На 1 странице может быть от 20 до 60 отзывов.
При парсинге за период (3й вариант) стоимость увеличивается — парсер делает запросы отзывов, начиная с самых свежих, игнорируя результаты, не попадающие в период.
¹ в JSON — массив строк (даже, если один элемент)

* варианты параметров:
reviews200 — 200 последних отзывов (максимум 1000)
reviews200,days30 — до 200 последних отзывов за последние 30 дней (максимум 1000)
reviews200,startdate20240401,stopdate20240410— до 200 последних отзывов c 1 апреля по 10 апреля (максимум 1000). В исторические даты залезать не стоит, озон их часто не показывает.

Wildberries:

Выбор маркетплейса в форме загрузки: wb, wbid*

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетСАИ 160Кигнорируется
brandстроканетResantaигнорируется
nameстрокадаСварочный аппарат инверторный САИ 160Кне должно быть пустым
linksetстрока¹даhttps://www.wildberries.ru/catalog/4356790/detail.aspxссылка на карточку товара
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость: wb: 1 проверка за каждую ссылку, В одной позиции может быть до 10 ссылок, должны начинаться с «https://» и быть разделены пробелом.
wbid: 1 проверка за каждые полные или не полные 10 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)

* wb — сбор цен с карточки товара,
wbid — то же самое + цены из блока «предложения других продавцов».

Выбор маркетплейса в форме загрузки: wb, wbid*

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетСАИ 160Кигнорируется
brandстроканетResantaигнорируется
nameстрокадаСварочный аппарат инверторный САИ 160Кне должно быть пустым
linksetстрока¹не заполнятьне заполнять
marketidстрокада4356790id карточки товара
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется

Стоимость: wb: 1 проверка за каждую ссылку, В одной позиции может быть до 10 ссылок, должны начинаться с «https://» и быть разделены пробелом.
wbid: 1 проверка за каждые полные или не полные 10 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)

* wb — сбор цен с карточки товара,
wbid — то же самое + цены из блока «предложения других продавцов».

Выбор маркетплейса в форме загрузки: wbs *

ПараметрТипОбязателенПримерОписание
categoryстроканетпередается в отчет для удобства сортировки
codeстроканетпередается в отчет для обратной связки
productidстроканетформирует поисковый запрос (если заполнено)
brandстроканетформирует поисковый запрос (если заполнено)
nameстрокадане знаю чтоне должно быть пустым, формирует поисковый запрос
linksetстрока¹нетhttps://www.wildberries.ru/catalog/0/search.aspx?search=%D0%A1%D0%90%D0%98-185%20BEпоисковая ссылка, рекомендуется **
marketidстрокадаигнорируется
priceчислонет5000Передается в отчет для удобства сравнения
donotsearchцелоенет4000максимальное количество результатов ***
textsearchстроканетнастольные игрызаполните, если поисковый запрос не должен формироваться по названию

Стоимость:1 проверка за каждую пройденную страницу выборки. При многостраничном поиске точное количество страниц предсказать невозможно.
¹ в JSON — массив строк (даже, если один элемент)

* поддерживаются только определенные виды ссылок, примеры:
поиск: https://www.wildberries.ru/catalog/0/search.aspx?search=%D0%A1%D0%90%D0%98-185%20BE
товары продавца: https://www.wildberries.ru/seller/276020
товары бренда: https://www.wildberries.ru/brands/resanta/
** при отсутствии ссылки парсер будет искать по названию (brand + name + productid), если заполнено поле textsearch — по его содержимому.
*** парсер будет обходить страницы поисковой выдачи, пока не наберет нужное количество уникальных результатов, не кончится выборка или результаты с очередной страницы не будут полностью дублировать предыдущие; при отсутствии параметра будут показаны результаты только с первой страницы поиска

Яндекс-товары:

Выбор маркетплейса в форме загрузки: yt

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетСАИ 160Кформирует поисковый запрос (если заполнено)
brandстроканетResantaформирует поисковый запрос (если заполнено)
nameстрокадаСварочный аппарат инверторный САИ 160Кне должно быть пустым, формирует поисковый запрос
linksetстрока¹нетhttps://yandex.ru/products/search?disauto=glfilter&glfilter=7893318%3A13331734&order=dpop&text=%D0%A1%D0%90%D0%98+160%D0%9Aпоисковая ссылка *
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенет2максимальное количество результатов **
textsearchстроканетнастольные игрызаполните, если поисковый запрос не должен формироваться по названию

Стоимость: 1 проверка за предложения, собранные с каждой карточки из указанного количества. 1 проверка, если на поисковой выдаче только offers. Пагинации (прокрутки страницы) нет.
¹ в JSON — массив строк (даже, если один элемент)

* Необходима, если поисковый запрос содержит фильтры, в данном примере — бренд.
** Поисковая выдача содержит карточки товаров (product) и отдельные предложения (offer). Сортировка — по убыванию релевантности. Парсер соберет предложения в указанном количестве карточек (одна, если не указано) , а также отдельные предложения до последней требуемой карточки.

Выбор маркетплейса в форме загрузки: yt

ПараметрТипОбязателенПримерОписание
categoryстроканетСварочные аппаратыпередается в отчет для удобства сортировки
codeстроканетУТ-12345678передается в отчет для обратной связки
productidстроканетигнорируется
brandстроканетигнорируется
nameстрокадаРесанта САИ-220 Сварочный аппаратне должно быть пустым
linksetстрока¹даhttps://yandex.ru/products/product/1780174001/sku/11616457?lr=213ссылка на карточку товара, содержащая подстроку «yandex.ru/products/product»
marketidстрокане заполнятьигнорируется
priceчислонет50000Передается в отчет для удобства сравнения
donotsearchцелоенетигнорируется
textsearchстроканетигнорируется


Стоимость: 1 проверка за предложения, собранные с одной карточки товара.
¹ в JSON — массив строк (даже, если один элемент)