Документация
Общие сведения
Задания для парсера формулируются в виде файлов специального формата. Файл может быть формата XLS, XLSX, CSV (допустим такой же файл с расширением *.TXT) либо JSON.
Для файлов вида XLS или CSV обязательно сохранение заголовков и их порядка в том виде, в каком они есть в примерах (пример файла-задания XLSX)
Очень важно правильно выбрать маркетплейс в форме загрузки.
Обязательные поля в заданиях:
- category — категория товара, для удобства обработки (сортировка, фильтр), парсером не используется, будет отображена в отчетах без изменений
- code — код товара из вашей базы, для удобства обратной связки результатов парсинга с вашими товарами, будет отображена в отчетах без изменений
- productid — общеупотребительный на рынке артикул, будет использован парсером при поисковых запросах, если отсутствует в поле name
- brand — бренд товара, будет использован парсером при поисковых запросах, если отсутствует в поле name
- name — название товара, будет использован парсером при поисковых запросах. Значение поля не должно быть пустым, парсер воспримет это как ошибку!
- linkset — одна или несколько ссылок на карточки товара или ссылок для поисковых запросов
- marketid — id карточки товара, поддерживается в некоторых вариантах парсера
- price — цена, с которой Вы хотели бы сравнить полученные результаты, будет отображена в отчетах без изменений
- donotsearch — количество найденных результатов, после которых поиск прекращается. В некоторых случаях — параметры.
- textsearch — уточнение запроса, например, если Вам желательно сохранить свое название, а поиск будет производиться по штрих-коду
Регионы:
Парсер поддерживает сбор информации ценах с учетом региона.
Регион вводится в поле «Регион» формы загрузки, или же указывается в параметр
Для Яндекс-маркета, Яндекс-товаров в качестве региона введите его цифровой код по этой инструкции.
Для OZON, Wildberries введите название столицы региона (без опечаток) региона.
Спискок поддерживаемых регионов, в том числе и Яндекс-маркета, Яндекс-товаров:
Москва (код региона для Яндекс-маркета 213, задается по умолчанию в случае ошибочного написания кода либо столицы региона),
Санкт-Петербург (2), Владивосток (75), Екатеринбург (54), Казань (43), Калининград (22), Новороссийск (970), Новосибирск (65), Ростов-на-Дону (39), Тверь (14), Хабаровск (76).
Если интересующий Вас регион не входит в этот список — свяжитесь с поддержкой.
Особенности формата JSON:
Формат JSON можно использовать как для загрузки задания через форму на сайте, так и для отправке задания через API.
В JSON-файле или API-запросе требуются также общие поля для характеристики всего задания:
Подробнее о заданиях JSON и API.
- apikey (строка) — ваш API ключ, его можно сгенерировать на этой странице
- regionid (строка) — код региона для яндекс-маркета, яндекс-товаров
- market (строка) — маркетплейс из списка предлагаемых на странице загрузки, означает также варианты парсинга, например для озона 3 варианта: ozon, ozonid, ozons
- userlabel (строка, до 20 символов) — ваш идентификатор задания, для удобства, например «смартфоны_ЯМ», символы » «, «/», «\», «:», «*», «?», «>», «<«, «|» заменяются на «-«.
Яндекс-маркет:
В большинстве случаев метод парсинга распознается автоматически по ссылке из linkset.
Собирается информация о первых 10 предложениях из карточки товара (сортировка по цене, предложения магазинов группируются). Ссылка в поле linkset должна содержать подстроку «https://market.yandex.ru/product».
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Кофемолки | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | MKM 6003 | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name* | строка | да | Кофемолка Bosch MKM 6000/6003, белый | не должен быть пустым |
| linkset* | строка¹ | да | https://market.yandex.ru/product—mkm-6000-6003/116335/offers?sku=100237657892 | ссылка на карточку товара, содержащая подстроку «https://market.yandex.ru/product» |
| marketid | строка | нет | при наличии ссылки игнорируется | |
| price | число | нет | 1000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | Максимум 20 (по умолчанию) | |
| textsearch | строка | нет | игнорируется |
Стоимость — 1 проверка за каждую ссылку.
¹ в JSON — массив строк (даже, если один элемент)
Собирается информация о первых 10 предложениях из карточки товара (сортировка по цене, предложения магазинов группируются). На одной карточке товара могут быть собраны sku с разными потребительскими свойствами (цвет, расфасовка, размер, технические характеристики и т.п.). Рекомендуется использовать ссылку, содержащую оба параметра (парсер карточек товара по ссылке).
Пример: https://market.yandex.ru/product—mkm-6000-6003/116335/offers?sku=100237657892, короткий вариант: https://market.yandex.ru/product/116335/offers?sku=100237657892.
Здесь 116335 — id карточки, 100237657892 — sku. Сформировать ссылку на карточку только по sku невозможно.
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Кофемолки | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | MKM 6003 | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name* | строка¹ | да | Кофемолка Bosch MKM 6000/6003, белый | не должен быть пустым |
| linkset | строка | не заполнять | Если ссылка заполнена — id карточки игнорируется | |
| marketid | строка | нет | 116335 | productid (не путайте с sku) ЯМ |
| price | число | нет | 1000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | 10 | Максимум 20 (по умолчанию) |
| textsearch | строка | нет | игнорируется |
Стоимость — 1 проверка за каждую ссылку.
¹ в JSON — массив строк (даже, если один элемент)
Поиск карточки по названию товара (name). Так же используются поля productid (общеупотребительный на рынке артикул) и brand (бренд), если их нет в названии. Вы можете уточнить поисковую фразу, задав ее в поле textsearch. Для первого найденного результата будут показаны первые 10 предложений из карточки товара. Используйте этот вариант для поиска первичного поиска ссылок на карточки товара.
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Кофемолки | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | MKM 6003 | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name | строка¹ | да | Кофемолка Bosch MKM 6003 | не должен быть пустым |
| linkset | строка | не заполнять | не заполнять | |
| marketid | строка | не заполнять | не заполнять | |
| price | число | нет | 1000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | не заполнять, 10 результвтов по умолчанию | |
| textsearch | строка | нет | 100237657892 | Заполняется, если требуется уточнить запрос |
Стоимость — 1 проверка за каждый запрос.
¹ в JSON — массив строк (даже, если один элемент)
Поиск предложений Яндекс-Маркета по запросу. Будут показаны результаты с первой страницы поиска.
Обязательной является поисковая ссылка. Выполните запрос в браузере, примените необходимые фильтры и скопируйте ссылку из адресной строки.
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Кофемолки | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | MKM 6003 | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name | строка | да | Кофемолка Bosch MKM 6003 | не должно быть пустым |
| linkset | строка¹ | да | https://market.yandex.ru/search?text=mkm%206003 | ссылка на карточку товара, содержащая подстроку «https://»market.yandex.ru/search» или «https://»market.yandex.ru/catalog» |
| marketid | строка | не заполнять | игнорируется | |
| price | число | нет | 1000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость — 1 проверка за каждый запрос.
¹ в JSON — массив строк (даже, если один элемент)
Парсинг цен по ссылке на карточку товара.
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Кофемолки | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | MKM 6003 | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name | строка | да | Кофемолка Bosch MKM 6003 | не должно быть пустым |
| linkset | строка¹ | да | https://market.yandex.ru/product/116335/spec?sku=100237657892 | ссылка страницу характеристик товара, содержащая подстроки «https://»market.yandex.ru/product» и «/spec» |
| marketid | строка | не заполнять | игнорируется | |
| price | число | нет | 1000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость — 1 проверка за каждый запрос.
¹ в JSON — массив строк (даже, если один элемент)
Озон:
Парсинг цен по ссылке на карточку товара.
Выбор маркетплейса в форме загрузки: ozon, ozonid.*
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Смартфоны | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | SM-S711B/DS | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name | строка | да | Samsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленый | не должно быть пустым |
| linkset | строка¹ | да | https://www.ozon.ru/product/samsung-smartfon-galaxy-s23-fe-5g-sm-s711b-ds-8-256-gb-svetlo-zelenyy-1246574185/ | ссылка на карточку товара, содержащая подстроку «https://www.ozon.ru/product» |
| marketid | строка | не заполнять | игнорируется | |
| price | число | нет | 50000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость: ozon: 1 проверка за каждую ссылку, В одной позиции может быть до 5 ссылок, должны начинаться с «https://» и быть разделены пробелом.
ozonid: 1 проверка за каждые полные или не полные 5 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)
* ozon — сбор цен с карточки товара,
ozonid — то же самое + цены из блока «предложения других продавцов».
Выбор маркетплейса в форме загрузки: ozon, ozonid.*
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Смартфоны | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | SM-S711B/DS | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name | строка | да | Samsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленый | не должно быть пустым |
| linkset | строка¹ | не заполнять | не заполнять | |
| marketid | строка | да | 1246574185 | id карточки товара на ощоне |
| price | число | нет | 50000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость: ozon: 1 проверка за каждую ссылку, В одной позиции может быть до 5 ссылок, должны начинаться с «https://» и быть разделены пробелом.
ozonid: 1 проверка за каждые полные или не полные 5 цен в найденных предложениях (карточки и других продавцов). В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)
* ozon — сбор цен с карточки товара,
ozonid — то же самое + цены из блока «предложения других продавцов».
Выбор маркетплейса в форме загрузки: ozons *
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | передается в отчет для удобства сортировки | |
| code | строка | нет | передается в отчет для обратной связки | |
| productid | строка | нет | игнорируется | |
| brand | строка | нет | игнорируется | |
| name | строка | да | не знаю что | не должно быть пустым |
| linkset | строка¹ | нет | поисковая ссылка, рекомендуется** | |
| marketid | строка | да | игнорируется | |
| price | число | нет | 5000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | 4000 | максимальное количество результатов*** |
| textsearch | строка | нет | игнорируется |
Стоимость:1 проверка за каждую пройденную страницу выборки. При многостраничном поиске точное количество страниц предсказать невозможно.
UPD В связи с изменением способа загрузки контента на страницу для мониторинга поисковой выдачи требуется большее количество запросов. Стоимость запроса временно установлена в размере 1 проверки за каждые 16 результатов поиска. При отсутствии результатов по заданному запросу также списывается 1 проверка.
¹ в JSON — массив строк (даже, если один элемент)
* под поисковой выдачей применительно к озону понимаются не только результаты поиска, но и любой ссылки, которая приводит к выдаче, похожей на поисковую, например:
https://www.ozon.ru/search/?text=%D0%BD%D0%B5+%D0%B7%D0%BD%D0%B0%D1%8E+%D1%87%D1%82%D0%BE&from_global=true
https://www.ozon.ru/seller/gauf-rus-8145/products/?currency_price=10000.000%3B25000.000&miniapp=seller_8145
https://www.ozon.ru/seller/gauf-rus-8145/products/?miniapp=seller_8145
** при отсутствии ссылки парсер будет искать по названию (name)
*** парсер будет обходить страницы поисковой выдачи, пока не наберет нужное количество уникальных результатов, не кончится выборка или результаты с очередной страницы не будут полностью дублировать предыдущие; при отсутствии параметра будут показаны результаты только с первой страницы поиска
Выбор маркетплейса в форме загрузки: ozon *
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Смартфоны | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | SM-S711B/DS | игнорируется |
| brand | строка | нет | Bosch | игнорируется |
| name | строка | да | Samsung Смартфон Galaxy S23 FE 5G (SM-S711B/DS) 8/256 ГБ, светло-зеленый | не должно быть пустым |
| linkset | строка¹ | да, или id | https://www.ozon.ru/product/samsung-smartfon-galaxy-s23-fe-5g-sm-s711b-ds-8-256-gb-svetlo-zelenyy-1246574185/ | ссылка на карточку товара |
| marketid | строка | да, или ссылка | 1246574185 | id карточки товара |
| price | число | нет | игнорируется | |
| donotsearch | целое | да | reviews200 | параметры* |
| textsearch | строка | нет | игнорируется |
Стоимость:1 проверка за каждую страницу отзывов. На 1 странице может быть от 20 до 60 отзывов.
При парсинге за период (3й вариант) стоимость увеличивается — парсер делает запросы отзывов, начиная с самых свежих, игнорируя результаты, не попадающие в период.
¹ в JSON — массив строк (даже, если один элемент)
* варианты параметров:
reviews200 — 200 последних отзывов (максимум 1000)
reviews200,days30 — до 200 последних отзывов за последние 30 дней (максимум 1000)
reviews200,startdate20240401,stopdate20240410— до 200 последних отзывов c 1 апреля по 10 апреля (максимум 1000). В исторические даты залезать не стоит, озон их часто не показывает.
Wildberries:
Выбор маркетплейса в форме загрузки: wb, wbid*
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Сварочные аппараты | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | САИ 160К | игнорируется |
| brand | строка | нет | Resanta | игнорируется |
| name | строка | да | Сварочный аппарат инверторный САИ 160К | не должно быть пустым |
| linkset | строка¹ | да | https://www.wildberries.ru/catalog/4356790/detail.aspx | ссылка на карточку товара |
| marketid | строка | не заполнять | игнорируется | |
| price | число | нет | 50000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость: wb: 1 проверка за каждую ссылку, В одной позиции может быть до 10 ссылок, должны начинаться с «https://» и быть разделены пробелом.
wbid: 1 проверка за каждые полные или не полные 10 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)
* wb — сбор цен с карточки товара,
wbid — то же самое + цены из блока «предложения других продавцов».
Выбор маркетплейса в форме загрузки: wb, wbid*
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Сварочные аппараты | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | САИ 160К | игнорируется |
| brand | строка | нет | Resanta | игнорируется |
| name | строка | да | Сварочный аппарат инверторный САИ 160К | не должно быть пустым |
| linkset | строка¹ | не заполнять | не заполнять | |
| marketid | строка | да | 4356790 | id карточки товара |
| price | число | нет | 50000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость: wb: 1 проверка за каждую ссылку, В одной позиции может быть до 10 ссылок, должны начинаться с «https://» и быть разделены пробелом.
wbid: 1 проверка за каждые полные или не полные 10 цен в предложениях других продавцов. В одной позиции может быть 1 ссылка.
¹ в JSON — массив строк (даже, если один элемент)
* wb — сбор цен с карточки товара,
wbid — то же самое + цены из блока «предложения других продавцов».
Выбор маркетплейса в форме загрузки: wbs *
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | передается в отчет для удобства сортировки | |
| code | строка | нет | передается в отчет для обратной связки | |
| productid | строка | нет | формирует поисковый запрос (если заполнено) | |
| brand | строка | нет | формирует поисковый запрос (если заполнено) | |
| name | строка | да | не знаю что | не должно быть пустым, формирует поисковый запрос |
| linkset | строка¹ | нет | https://www.wildberries.ru/catalog/0/search.aspx?search=%D0%A1%D0%90%D0%98-185%20BE | поисковая ссылка, рекомендуется ** |
| marketid | строка | да | игнорируется | |
| price | число | нет | 5000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | 4000 | максимальное количество результатов *** |
| textsearch | строка | нет | настольные игры | заполните, если поисковый запрос не должен формироваться по названию |
Стоимость:1 проверка за каждую пройденную страницу выборки. При многостраничном поиске точное количество страниц предсказать невозможно.
¹ в JSON — массив строк (даже, если один элемент)
* поддерживаются только определенные виды ссылок, примеры:
поиск: https://www.wildberries.ru/catalog/0/search.aspx?search=%D0%A1%D0%90%D0%98-185%20BE
товары продавца: https://www.wildberries.ru/seller/276020
товары бренда: https://www.wildberries.ru/brands/resanta/
** при отсутствии ссылки парсер будет искать по названию (brand + name + productid), если заполнено поле textsearch — по его содержимому.
*** парсер будет обходить страницы поисковой выдачи, пока не наберет нужное количество уникальных результатов, не кончится выборка или результаты с очередной страницы не будут полностью дублировать предыдущие; при отсутствии параметра будут показаны результаты только с первой страницы поиска
Яндекс-товары:
Выбор маркетплейса в форме загрузки: yt
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Сварочные аппараты | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | САИ 160К | формирует поисковый запрос (если заполнено) |
| brand | строка | нет | Resanta | формирует поисковый запрос (если заполнено) |
| name | строка | да | Сварочный аппарат инверторный САИ 160К | не должно быть пустым, формирует поисковый запрос |
| linkset | строка¹ | нет | https://yandex.ru/products/search?disauto=glfilter&glfilter=7893318%3A13331734&order=dpop&text=%D0%A1%D0%90%D0%98+160%D0%9A | поисковая ссылка * |
| marketid | строка | не заполнять | игнорируется | |
| price | число | нет | 50000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | 2 | максимальное количество результатов ** |
| textsearch | строка | нет | настольные игры | заполните, если поисковый запрос не должен формироваться по названию |
Стоимость: 1 проверка за предложения, собранные с каждой карточки из указанного количества. 1 проверка, если на поисковой выдаче только offers. Пагинации (прокрутки страницы) нет.
¹ в JSON — массив строк (даже, если один элемент)
* Необходима, если поисковый запрос содержит фильтры, в данном примере — бренд.
** Поисковая выдача содержит карточки товаров (product) и отдельные предложения (offer). Сортировка — по убыванию релевантности. Парсер соберет предложения в указанном количестве карточек (одна, если не указано) , а также отдельные предложения до последней требуемой карточки.
Выбор маркетплейса в форме загрузки: yt
| Параметр | Тип | Обязателен | Пример | Описание |
|---|---|---|---|---|
| category | строка | нет | Сварочные аппараты | передается в отчет для удобства сортировки |
| code | строка | нет | УТ-12345678 | передается в отчет для обратной связки |
| productid | строка | нет | игнорируется | |
| brand | строка | нет | игнорируется | |
| name | строка | да | Ресанта САИ-220 Сварочный аппарат | не должно быть пустым |
| linkset | строка¹ | да | https://yandex.ru/products/product/1780174001/sku/11616457?lr=213 | ссылка на карточку товара, содержащая подстроку «yandex.ru/products/product» |
| marketid | строка | не заполнять | игнорируется | |
| price | число | нет | 50000 | Передается в отчет для удобства сравнения |
| donotsearch | целое | нет | игнорируется | |
| textsearch | строка | нет | игнорируется |
Стоимость: 1 проверка за предложения, собранные с одной карточки товара.
¹ в JSON — массив строк (даже, если один элемент)