Парсеры и данные
Парсер цен конкурентов: готовый сервис или собственная разработка?
Собрать цифры со страниц проще, чем получить пригодное сравнение. Цена другого объёма упаковки, региональная скидка или устаревшая карточка могут привести к неверному решению. Начните с правил сравнения.
Сервис или разработка: критерии
Начните с теста на вашем каталоге. Готовый сервис подходит, если он поддерживает нужные источники, регион, расписание и формат выгрузки. Собственная разработка полезна, когда условия сопоставления или обмена не укладываются в доступные настройки.
На рынке уже есть инструменты мониторинга: например, MarketParser и Pricer24 описывают сбор цен и товарных данных. Это примеры существующих решений, а не рейтинг. Поддержку конкретного источника и условия использования проверяйте на момент выбора.
| Вопрос | Проверка сервиса | Проверка разработки |
|---|---|---|
| Ваши источники | Есть ли они и нужный регион? | Можно ли устойчиво получать данные? |
| Сопоставление | Поддерживаются ли ваши правила? | Кто подтверждает спорные пары? |
| Выгрузка | Есть ли нужные поля и API? | Кто поддерживает интеграцию? |
| Эксплуатация | Лимиты, история, экспорт при уходе | Сервер, мониторинг, исправления источников |
Сравнивайте полную стоимость за выбранный период: запуск, плату за сервис или инфраструктуру, ручное сопоставление и поддержку. Без числа товаров, источников и частоты обхода универсальная цена мало о чём говорит.
Как сопоставлять товары
Одинаковые названия ещё не означают одинаковые предложения. Сравнивать нужно модель, комплектацию, размер упаковки, единицы измерения и доступность в выбранном регионе. Разница между одной штукой и коробкой легко выглядит как резкое снижение цены.
Если есть устойчивые идентификаторы — используйте их вместе с характеристиками. Поиск по похожему названию может предложить кандидатов, но спорную пару лучше подтвердить. Подтверждённое соответствие сохраняйте отдельно от очередного результата сбора, с возможностью отменить его.
- Зафиксируйте собственный артикул и ссылку на конкретное предложение конкурента.
- Разделяйте обычную цену, скидку по карте, промокод и стоимость доставки.
- Записывайте валюту, регион и время получения данных.
- Изменение варианта товара проверяйте до сравнения цен.
Пример: цена пропала, но не стала нулём
Учебный каталог содержит три ситуации. Значения условные; они показывают правила отчёта и не сняты с действующих магазинов.
| Артикул | Было, ₽ | Стало, ₽ | Результат |
|---|---|---|---|
| DS-001 | 5 000 | 4 750 | Снижение на 5%, товар тот же |
| DS-002 | 3 200 | — | Цена не получена, проверить источник |
| DS-003 | 900 | 850 | Другая фасовка: сравнение остановлено |
Для DS-001 изменение считается как (4 750 − 5 000) / 5 000 × 100 = −5%. Для DS-002 процента нет: отсутствие данных не является падением до нуля. Для DS-003 расчёт бессмысленен, пока не подтверждены сопоставимые единицы и вариант товара.
Какие уведомления полезны
Сигнал должен помогать принять решение. Например: сопоставленный товар подешевел минимум на заданный процент; данные по важному источнику устарели; прежняя карточка стала недоступна. Для каждого события определите получателя и действие.
Повтор одного и того же состояния не должен отправлять новое уведомление при каждом запуске. Храните идентификатор события и отдельно уведомляйте о восстановлении. Перед реакцией на необычно большой скачок можно повторить проверку — это помогает отличить реальное изменение от временного сбоя.
Автоматическое изменение собственной цены — отдельный проект. Оно требует ограничений по марже, минимальной цене и полномочиям. Для первого запуска достаточно отчёта и решения человека: правильное наблюдение ещё не задаёт правильную стратегию продажи.
Что делать при сбоях источника
Сайт может поменять вёрстку, отвечать медленно, вернуть страницу ошибки или показывать цену только после выбора города. Даже HTTP 200 не означает, что получена карточка товара. Проверяйте ожидаемые признаки страницы и полноту полей.
Ограничивайте число запросов, используйте доступные API или выгрузки и согласованный режим доступа. Для временных сбоев нужны пауза и ограниченные повторы. Для изменившегося формата — уведомление и исправление правил, а не бесконечный повтор неработающего запроса.
У каждого запуска храните количество ожидаемых, успешных и ошибочных карточек. Если половина источника исчезла, это повод проверить сбор. Не смешивайте ошибки сети со статусом «нет в наличии»: такой статус должен следовать из данных о товаре.
Что включить в задание
Укажите каталог своих товаров, источники, регион, правила сравнения, периодичность, историю и место выгрузки. Отдельно опишите отсутствие цены, смену упаковки, удалённую карточку и повторный запуск.
Для приёмки подготовьте набор заранее сопоставленных товаров. Проверьте не только цены, но и ошибки: пустую карточку, недоступный источник, другой вариант, устаревшее значение. Отчёт должен объяснять, что известно о товаре и когда это проверено. Если данные нужны в таблице, смежный материал о проверке выгрузок в Excel поможет составить правила контроля.