Облачный парсер - мониторинг цен

Программа для парсинга, парсинг сайтов или маркетплейсов – методы анализа конкурентов

Выбор способа отслеживания цен:

зайти в магазин конкурента – ничего смешного, такие сервисы существуют. *
ручной обход сайтов конкурентов – метод, в общем, качественный, но при совпадении двух условий: небольшое число товарных позиций и небольшое количество конкурентов. Например, если в вашем прайсе две товарных позиции (к примеру, песок и щебень) и два конкурента – для мониторинга достаточно открыть 4 страницы в браузере и записать цены. Если позиций 40 и 40 конкурентов – 1600 страниц, чтобы получить полную картинку. Подходит для точечного выяснения, уточнения ситуации по отдельным позициям.
анализ сайта конкурента. Парсинг цен конкурентов с их собственных сайтов – не самый плохой вариант, отличается точностью (правда, нужно заранее запастись набором ссылок на страницах всех сайтов-конкурентов), относительно прост в реализации, поскольку мониторить интернет-магазины обычно не очень сложно (не так часто у них вообще есть какая-то защита от автоматического сбора информации). Требует, правда, наличие квалифицированного сотрудника, способного написать и поддерживать такой парсер цен либо настроить и пользоваться универсальной офлайн-программой или облачным сервисом парсинга.
Метод хорош, если есть ключевой конкурент, сильно пересекающийся с Вами по товарным категориям и/или клиентской базе, и за этим конкурентом нужно постоянно и внимательно следить.
парсинг прайс-листов конкурентов – отличная, куда более дешевая во всех смыслах замена предыдущему методу, если конкурент публикует свой прайс-лист либо есть возможность регулярно его добывать.

В целом, для понимания ситуации на рынке эти методы зачастую оказывается малоэффективными по следующим причинам:

многие торговые компании, чтобы выжить, вынуждены регулярно обновлять часть ассортимента, искать новые ниши, где можно заработать. В результате, даже сбор необходимой для парсинга информации по новому ассортименту (конкуренты и ссылки на их товар) превращается в непрерывный достаточно трудоемкий (как следствие – дорогой) процесс. Для небольших компаний эти затраты часто оказываются неподъемными.
список конкурентов по товарным категориям также нестабилен. Частично это следствие предыдущего пункта – какую-то из ваших товарных категорий осваивает тот, от которого Вы этого совсем не ждали. Еще один фактор – компании из соседних регионов появляются с ценовыми предложениями на вашем рынке (чему способствует развитие сервисов доставки). Дальше перечислять бесполезно – жизнь изобретательнее любых предположений и прогнозов.

Не оспаривая право на жизнь первых трех методов, стоит признать, что большинство компаний выбирает выбирает мониторинг или парсинг маркетплейсов как основной метод мониторинга цен.

* Кроме похода в магазин конкурента, вне рамок сервиса parser.market остались SEO анализ сайта конкурента, анализ рекламы конкурентов и активности в соцсетях, пробные закупки и многие другие интересные темы.

Какой маркетплейс выбрать для мониторинга цен?

Ответ очевиден – тот (или те), на котором Вы торгуете сами.

Отслеживать несколько площадок вполне возможно на нашем сервисе, вопрос только в готовности к дополнительным затратам.

Нужно учитывать, что у каждой площадки есть свои особенности, что создает некоторые трудности при интерпретации результатов.

Яндекс-маркет: группировка предложений по карточкам товара сильно облегчает предварительную подготовку. Достаточно собрать id карточек или (что предпочтительнее) ссылки на них, и можно быть уверенным в адекватности результатов.
К тому же, на нашем сервисе реализован автоматический поиск карточек, который, в большинстве случаев, работает адекватно.
OZON отличается хорошим алгоритмом поиска (зависит от товара), что дает возможность собирать информацию прямо с поисковых страниц, без обхода карточек товара (парсинг по карточкам тоже возможен, даже в двух вариантах). Парсинг с поиска дешевле и позволяет по цене одной проверки получать несколько (до трех десятков) цен конкурентов.
Wildberries, к сожалению, не отличается хорошей поисковой системой, к тому же карточки товара все же приходится обходить, чтобы получить хотя бы нормальные названия товара.

Парсинг отдельных магазинов по запросу также возможен, цена определяется по результатам тестирования конкретного сайта.

В любом случае, сервис parser.market предлагает бесплатный пакет проверок – Вы можете убедиться, что наш сервис соответствует вашим задачам.

Можно ли делать все то же самое самостоятельно?

Можно, но выйдет, скорее всего дороже (это зависит от предполагаемых масштабов мониторинга).

Уже упоминалось про необходимость наличия сотрудника, который способен все это сделать и поддерживать. Для небольших компаний – актуальная проблема.
Либо второй вариант – фриланс, но кто-то должен ставить ТЗ и контролировать проект.
И то, и другое – прямые затраты весьма дорогостоящего рабочего времени (денег компании).
Стоит помнить, что в данном случае нельзя написать программу пользоваться ей долгое время. На интересующих Вас сайтах могут (и будут) происходить какие-то изменения, что потребует доработки.
Это примерно как с 1С – меняются формы отчетности и добро пожаловать обновляться.
Возможно, этот вариант еще более или менее приемлем для парсинга отдельных сайтов, где изменения происходят не так часто.

Еще один подводный камень – сотрудник может решить продолжить карьеру в другой компании, фрилансер – потерять интерес к проекту (не такое уж редкое явление).
С компаниями и сервисами такое тоже случается, но тут есть вариант прочитать следующий абзац, а последствия минимальны – перестройка импорта данных в учетную систему компании и привыкание к особенностям.

Есть еще парсеры-комбайны (облачные и десктопные, с повременной и пожизненной лицензией). Тоже вариант, правда, не самый простой в использовании.
Они готовы парсить все, что захотите, но объяснить им, что вы хотите без каких-то хотя бы начальных навыков программирования, знания основ XML/HTML затруднительно. Многие подобные сервисы требуют набор ссылок на страницы с товарами, собирать которые – довольно-таки трудоемкий процесс (особенно, если товарных позиций много и они обновляются).

Есть ли другие похожие сервисы мониторинга цен?

Есть, и за это им огромное спасибо, ведь именно они дают возможность получить ответы на главные вопросы:

как надо делать?
как делать не надо?
что еще надо сделать?

Впрочем, сервисы очень разные, с разным ценообразованием и подходами, и, в общем, их не так уж много.