Як стежити за цінами магазинів на Hotline.ua

Що вміє парсер Hotline

• Два модулі на вибір — звичайний розбір сторінок або швидкісний «Hotline (API)», по сорок товарів за запит.
• Пропозиції магазинів — ціна, наявність, гарантія, доставка й рейтинг кожного продавця.
• Ціни вашого міста — стабільні й порівнянні між прогонами.
• Моніторинг своїх товарів — картка на Hotline знаходиться один раз і далі тільки оновлює ціну.
• Прайс без дублів — кожен прогін перезбирає прайс, ручні зіставлення й позначки продавців лишаються.
• Контент для каталогу — характеристики з групами, фото, опис і штрихкод.

Де це і хто має доступ

Меню

Довідники → Обробка прайс-листів → Список прайс-листів

Створити

майстер підключення → крок «Звідки» → «Парсер сайту» → «Готові парсери» → Hotline

Налаштувати

рядок джерела у списку → кнопка «Налаштування» у шапці правої панелі

Право доступу

вікно «Прайс-листи» (у меню — «Список прайс-листів»)

Підготувати

адреси розділів Hotline або товари каталогу для моніторингу; код свого міста

Модуль розбору для Hotline уже написаний — селектори налаштовувати не потрібно, на відміну від довільного сайту постачальника.

Який модуль Hotline вибрати і скільки коштує прогін

У списку готових парсерів Hotline зустрічається двічі, і це не помилка. Це два різні способи взяти ті самі дані.

«Hotline»

звичайний розбір: програма завантажує сторінку й розкладає її за селекторами

«Hotline (API)»

швидкісний модуль: дані беруться з програмного інтерфейсу самого сайту пачками

Різниця не в налаштуваннях, а в одиниці роботи. Звичайний модуль отримує одну завантажену сторінку й розбирає її. Швидкісний питає сайт пачками: сорок товарів одним запитом (пропозиції магазинів — по двадцять, вони важчі), сторінки не завантажуються взагалі. На тій самій кількості товарів прогін іде в рази швидше.

У списку готових модулів майстра ці два рядки розрізняються тільки назвою — «Hotline» і «Hotline (API)», з однаковим логотипом і адресою hotline.ua. У вікні «Пошук контенту для товарів», де той самий перелік сайтів використовується для наповнення карток, швидкісний модуль додатково позначений міткою «⚡ Швидкісний».

Далі в статті все, що не позначене окремо, стосується обох модулів.

Скільки коштує прогін

Платять не за товари в прайсі, а за роботу нашого сервера — і одиниця оплати у двох модулів різна.

У швидкісного модуля рахунок складається з трьох доданків: свої товари зі списку спостереження, чужі товари з посилань на розділи і ті самі товари ще раз, якщо для них забирали пропозиції магазинів. Друга глибина — це окремий захід до сайту, а не безкоштовний додаток до ціни.

Обидва модулі рахуються за звичайною серверною ставкою: преміальний режим обходу захистів для Hotline не потрібен і не вмикається. Не тарифікується зовсім: обхід через розширення браузера — запити робить ваш браузер, а не наш сервер — і офлайн-встановлення. На тарифі з фіксованою ціною в рахунок не йде звичайний модуль; швидкісний рахується й там.

Витрачене видно у вікні «Баланс» на вкладці «Історія операцій» (про баланс — окрема стаття). Списання йде не в момент прогону: витрати накопичуються рядками, знімає їх з балансу окреме фонове завдання, і в історії вони з'являються вже зведеною сумою за типом операції.

Якщо грошей на балансі не вистачить, прогін від цього не зупиниться й попередження не покаже: наперед баланс перевіряє тільки преміальний режим обходу захистів, а Hotline його не використовує. Списання просто зробить баланс від'ємним — що буває далі, розібрано в статті про баланс.

Як завести джерело й обмежити обхід

Порядок такий самий, як у будь-якого джерела: майстер питає, від кого дані («Хто»), і звідки їх брати («Звідки»). На кроці «Хто» оберіть наявного контрагента або впишіть назву — наприклад, «Hotline, моніторинг». На кроці «Звідки» виберіть парсер сайту — розгорнеться блок «Готові парсери», у ньому знайдіть потрібний рядок Hotline.

1

Hotline

2

Hotline (API)

1. Hotline — звичайний модуль, розбирає завантажені сторінки сайту.
2. Hotline (API) — бере дані пачками через API сайту, працює в рази швидше, доступний лише в серверному режимі.

Список посилань

Вкладка «Список посилань» — перелік стартових адрес. Сюди вписують або адреси розділів Hotline, або адреси конкретних карток. Прапорець «Це посилання на товар» у рядку означає, що адреса йде одразу в розбір картки; без нього адреса вважається розділом, з якого спершу треба зібрати посилання на товари.

Скільки брати з розділу — задають на вкладці «Додатково»: «Макс. кількість сторінок із категорії» і «Макс. кількість товарів із категорії». Нуль в обох означає «без обмеження» — для першого знайомства це майже завжди не те, чого ви хочете.

Є й стеля, яку не обійти налаштуваннями: більше 200 сторінок з одного розділу швидкісний модуль не бере. Це дев'ять тисяч товарів — більше за найбільший розділ сайту, тож на практиці в неї впираються тільки тоді, коли в «Макс. кількість товарів із категорії» стоїть нуль.

Місто: чому ціни приходять не ті, що ви бачите

Hotline показує ціни й кількість пропозицій за регіоном. Якщо місто не задано, сайт визначає його за адресою запиту — а запити йдуть через проксі, і регіон щоразу може бути іншим. Наслідок неприємний: той самий товар у різних прогонах віддає різну ціну й різне число продавців, а ви шукаєте помилку в налаштуваннях.

Поле «ID міста» на вкладці налаштувань джерела закриває питання. У швидкісного модуля за замовчуванням стоїть 187 — Київ. Поставте код свого міста, і цифри стануть стабільними й порівнянними між прогонами.

Підказки з кодами міст в інтерфейсі немає — це внутрішні номери самого Hotline. Перевіряти простіше за результатом: візьміть один товар, подивіться його ціну на сайті з вибраним вашим містом і звірте з тим, що приїхало в прайс. Збіглося — код правильний.

Як зібрати пропозиції всіх магазинів

Звичайне оновлення приносить із картки одну ціну — мінімальну по товару. Прапорець «Збирати пропозиції магазинів» вмикає другу глибину: по кожному товару забирається список продавців.

Це вміє тільки швидкісний модуль. У звичайного розбір списку продавців вимкнений — сторінка Hotline стала динамічною, і з завантаженої сторінки продавці більше не витягуються; самого прапорця в його налаштуваннях теж немає.

Поле «Пропозицій на товар» обмежує довжину списку; типове значення — 200.

Як іде прогін і по чому видно, що він відпрацював

Джерело запускають із картки прайс-листа кнопкою «Завантажити» — відкривається вікно «Завантаження даних із сайту», а в ньому кнопка «Почати завантаження». У швидкісного модуля те саме робить кнопка «Оновити ціни» на вкладці «Мої товари» в налаштуваннях джерела.

Швидкісний модуль веде прайс двома шляхами, і порядок у нього такий:

1. прайс очищується — рядки попереднього прогону видаляються разом з їхніми фото, характеристиками й пропозиціями магазинів;
2. обходяться адреси зі «Списку посилань»: розділи — посторінково, окремі картки — поштучно;
3. товарам зі списку спостереження «Мої товари», яким картку на Hotline ще не знайшли, шукається відповідник за назвою;
4. по товарах спостереження з уже відомою карткою забираються ціни;
5. якщо ввімкнено прапорець пропозицій — забираються списки продавців, одним заходом по всьому, що лягло в прайс;
6. наприкінці застосовуються операції прайсу (наявність, націнки, зіставлення) і перераховується підсумкова таблиця.

Поки шостий крок не пройшов, робота не завершена, хоч ціни в прайсі вже видно.

По чому видно, що прогін відпрацював

Дивляться в журнал прогону — те саме вікно, що відкриває кнопка «Завантажити», — і на плитку «Останній прогін» в картці прайс-листа: у ній дата завершення, а натискання відкриває той самий журнал. Рядки журналу називають цифри прямо:

• «⚡ Моніторинг цін: оновлено товарів …, нових зіставлень …, запитів до джерела …» — підсумок швидкісного модуля: скільки рядків записано в прайс, скільком товарам уперше знайшли картку на сайті й скільки запитів пішло до Hotline.
• «📂 Розділ «…»: отримано товарів …» — окремим рядком по кожній адресі зі «Списку посилань».
• «🏬 Пропозиції магазинів: збережено …» — скільки пропозицій продавців лягло в прайс.
• «Завдання завершено» — останній рядок прогону. Доки її немає, операції прайсу ще не застосовані.

Ті самі цифри мають продовження в інтерфейсі. На вкладці «Мої товари» колонка «Перевірено» показує, коли по цьому товару востаннє забрали ціну (у товару з міткою «не знайдено на сайті» — коли його востаннє шукали), а колонка «Картка на сайті» — за чим знайшли відповідник: мітка «за артикулом», «за назвою» або «не знайдено на сайті».

1

За артикулом

2

За назвою

3

Перевірено

1. Мітка «за артикулом» — картку на сайті знайдено за артикулом товару.
2. Мітка «за назвою» — картку знайдено за назвою, її варто перевірити очима.
3. Колонка «Перевірено» — коли востаннє забирали ціну по цьому товару.

Якщо збирати не було чого, журнал так і скаже: «⚠️ Список спостереження порожній. Відберіть товари в базовому каталозі й оберіть у меню „Додати до моніторингу цін“». Прайс у цьому разі не чіпають — попередні дані лишаються на місці.

Два попередження про посилання означають різне. «⚠️ За посиланням … товарів немає. Перевірте адресу…» — Hotline на хибний шлях відповідає порожнім списком, а не помилкою, тож адресу варто перечитати. «⚠️ За відбором … товарів немає…» — адреса правильна, просто під усі вибрані на сайті фільтри разом нічого не підходить.

Як зупинити прогони: вимкнути чи видалити джерело

Вимкнений перемикач активності в шапці джерела прибирає прайс зі спільних операцій: коли пакетне оновлення каталогу запускають по всіх прайсах разом, рядки неактивного прайсу в розрахунок не йдуть. Зібрані ціни, «Мої товари», «Список посилань» і позначки продавців лишаються.

Видалення незворотне: разом із прайсом ідуть його рядки, «Список посилань», довідник продавців, правила зіставлення категорій та історія цін. Детальніше: Як тимчасово вимкнути або видалити джерело.

Що робити, якщо прогін обірвався

Прайс очищується на самому початку, тому обрив лишає в ньому рівно те, що встигло записатися, — старих цін під рукою вже немає. Якщо сайт не відповів на першому ж запиті, у журналі стане «⚠️ Джерело не відповіло, товари лишаються у черзі:» з текстом помилки, а прайс залишиться порожнім.

Повторний запуск безпечний і нічого не подвоює: він знову очищає прайс і збирає все наново. Те, що встигло записатися минулого разу, зникне разом з усім іншим, тож дублів товарів і дублів пропозицій магазинів не буває навіть після кількох обірваних спроб поспіль.

Ознака обірваного прогону — відсутність рядка «Завдання завершено». Операції прайсу (наявність, націнки, перерахунок) виконуються одним заходом у кінці, і на обірваному прогоні вони не виконувалися зовсім.

У звичайного модуля обхід іде чергою завдань, і поводиться він інакше. Завдання, від якого надто довго немає відповіді, повертається в чергу: при обході через розширення браузера — після 35 секунд, у серверному режимі — після 150 секунд. У журналі такий повтор записано як «немає відповіді понад 35 сек» — незалежно від режиму.

Кнопка «Продовжити» у вікні завантаження доганяє те, що лишилося в черзі, не чіпаючи вже зібране; кнопка «Скасувати» завершує прогін по-доброму — зібране лишається, і до нього застосовуються операції прайсу. У швидкісного модуля «Продовжити» робить те саме, що й «Почати завантаження»: прайс очищується і збирається з нуля.

Що перезапише повторний прогін, а що лишиться

Рядки прайсу не оновлюються по місцю. Швидкісний модуль перед кожним прогоном видаляє всі товари цього прайсу — разом з їхніми фото, характеристиками й пропозиціями магазинів — і записує зібране наново. Тому виправлення, зроблені руками просто в сітці товарів прайсу (ціна, назва, наявність), після наступного прогону зникають: у прайсі буде те, що віддав сайт.

У звичайного модуля це залежить від прапорця «Видаляти товари перед завантаженням» на вкладці «Додатково»:

• прапорець стоїть — прайс очищується так само, як у швидкісного, і збирається з нуля;
• прапорець знятий — адреси вже зібраних товарів ідуть у список ігнорування, і сторінки за ними вдруге не завантажуються. Старі рядки лишаються як були, разом із вашими правками — але й зі старими цінами. Приїдуть тільки товари, яких у прайсі ще не було; підказка під прапорцем каже про це прямо: «Якщо прапор не встановлений, тоді з сайту завантажуватимуться тільки нові товари».

Що прогін не губить:

• Ручне зіставлення товару прайсу з товаром каталогу. Воно живе в довіднику зіставлених товарів, окремо від рядків, і відновлюється на кожному прогоні. Ключ — поєднання артикула, назви й адреси товару: якщо на Hotline змінилася назва картки або її адреса, зв'язок доведеться проставити заново.
• Правила зіставлення категорій. Вони тримаються за назву розділу Hotline і застосовуються до щойно завантажених товарів — перезіставляти категорії після кожного прогону не треба.
• Позначки у «Списку продавців» — «Чорний список», «Білий список», «Джерело ціни». Довідник продавців разом із рядками прайсу не очищується.

Закріпити своє значення можна не в прайсі, а в картці товару каталогу: «Не оновлювати» виводить товар з-під пакетного оновлення повністю, «Фіксована ціна» лишає вашу ціну, коли з прайсу приїхала інша. У самому прайсі закріпити нема чим — рядок усе одно буде перезаписаний.

Товар зник з Hotline

Рядок просто не з'явиться в прайсі — ні зі старою ціною, ні з нулем: у прайсі лежить те, що джерело віддало на цьому прогоні, і нічого більше. У списку «Мої товари» товар лишається на місці, але дата в колонці «Перевірено» не оновиться — за нею такі позиції й відбирають.

Якщо картка на сайті ще є, але позначена архівною, рядок приїде, і в полі наявності стоятиме archive.

З пропозиціями магазинів так само: вони збираються наново щоразу. Магазин, який перестав продавати товар, зникає з пропозицій, але лишається у «Списку продавців» — з нулем у колонці «Всього товарів».

Якщо вже зібрали не те

Найдешевший спосіб — виправити причину (поставити своє «ID міста», прибрати зайве посилання) і запустити прогін заново: очищення на старті прибере все, зібране раніше. Окремо чистити нічого не треба.

Коли прибрати треба тільки частину:

• Зайві товари. У сітці товарів прайсу відберіть їх фільтром — назва розділу Hotline лежить у колонці «Категорія із прайсу», — позначте галочками й виберіть у меню «Видалити» → «Видалити товар». Пункт «Видалити всі товари» очищає прайс цілком. Разом із рядком ідуть його фото, характеристики й пропозиції магазинів.
• Непотрібний розділ. На вкладці «Список посилань» зніміть позначку в колонці «Статус»: рядок лишиться, але обхід за ним більше не піде. Видалення рядка робить те саме остаточно.
• Конкретний магазин. На вкладці «Список продавців» поставте йому «Чорний список» — наприкінці кожного прогону його пропозиції видаляються з прайсу, тобто вже зібрані зникнуть після наступного прогону. Запити на них при цьому витрачаються: пропозиції спершу забираються й лише потім відсіюються. Зворотний варіант — «Білий список»: у прайсі лишаються пропозиції тільки відмічених продавців.

Що приїжджає з Hotline і куди лягає

Набір керується прапорцями в налаштуваннях джерела: характеристики, фото, опис, ціна. Що саме дає Hotline:

• Назва й виробник — у тому вигляді, у якому їх веде агрегатор.
• Розділ сайту — стане в пригоді при зіставленні категорій.
• Мінімальна ціна по товару.
• Короткі характеристики — рядок, який на сайті стоїть під назвою.
• Повний опис — тільки у швидкісного модуля й тільки з увімкненим прапорцем опису.
• Характеристики — з розбивкою на групи, як вони згруповані на сайті.
• Фотографії.
• Штрихкод — тільки у швидкісного модуля. Річ рідкісна й корисна: за ним добре зіставляти товари.

Чого не буває: відгуків і відео. Ці прапорці для Hotline нічого не змінюють.

Куди лягають магазини, категорії та виробники

Прогін приносить не тільки ціни — він поповнює три різні списки, і чистяться вони по-різному.

Рядок продавця можна видалити — разом з ним із прайсу підуть усі його пропозиції. Але це не спосіб позбутися магазину назавжди: наступний прогін заведе його заново, уже з чистими позначками. Щоб він більше не потрапляв у прайс, ставлять «Чорний список» — позначка прогони переживає, а видалений рядок ні.

Список категорій прайсу чистити руками сенсу немає: він збирається заново на кожному прогоні з назв розділів, які приїхали. Правила зіставлення лежать окремо й тримаються за назву розділу — доки назва на Hotline не змінилася, ваші зв'язки з категоріями каталогу лишаються.

Категорій каталогу Hotline не створює: розділи сайту лишаються всередині прайсу, доки ви самі не зіставите їх зі своїми.

А от виробників програма може заводити сама — за це відповідає загальна настройка «Додавати нових виробників у довідник» (розділ «Обробка прайс-листів»). Те саме вручну робить пункт меню сітки товарів прайсу, який питає «Додати нових виробників товарів з прайс-листа до довідника?». Довідник виробників спільний для всього каталогу — назви з агрегатора потраплять туди поряд з вашими.

Hotline як джерело контенту

Другий сценарій, окрім моніторингу, — наповнити власний каталог. Схема така сама, як з будь-яким джерелом: зібрати товари, зіставити їх зі своїми, а далі перенести потрібні поля пакетним оновленням. Характеристики й фото агрегатора часто повніші за ті, що дає постачальник у прайсі.

Штрихкод, який приносить швидкісний модуль, робить зіставлення точнішим: збіг за штрихкодом надійніший за збіг за назвою.

Сценарії

Стежити за цінами на свої товари

Задача: знати, почому на Hotline продають товари з вашого каталогу.

Що ввімкнути. Джерело на модулі «Hotline (API)». У базовому каталозі відберіть товари й оберіть у меню «Додати до моніторингу цін», а у вікні — цей прайс. Далі кнопка «Оновити ціни» на вкладці «Мої товари». У полі «ID міста (код, назва)» — код свого міста; порожнє поле означає 187, Київ.

Що вийде. Картку на Hotline для товару шукають за назвою один раз: знайдена запам'ятовується, і наступні прогони беруть по ній ціну без пошуку. У рядок прайсу лягає мінімальна ціна по товару, поряд — максимальна, а в кількість — число пропозицій на Hotline. Рядок прив'язаний до вашого товару каталогу, зіставляти його вручну не треба.

Чого не буде. Товар, якому картку не знайшли, отримує мітку «не знайдено на сайті» і в прайс не потрапляє; на наступному прогоні його шукатимуть знову. Списку продавців теж не буде, поки не ввімкнено прапорець із наступного сценарію.

Бачити, хто з конкурентів скільки просить

Задача: по кожному товару — не одна ціна, а список магазинів із цінами, наявністю й гарантією.

Що ввімкнути. Прапорець «Збирати пропозиції магазинів» в налаштуваннях джерела (він є тільки у «Hotline (API)») і поле «Пропозицій на товар» — довжина списку, типово 200. Магазини, які не цікавлять, після першого прогону позначте на вкладці «Список продавців» як «Чорний список».

Що вийде. Пропозиції збираються по всьому, що лягло в прайс, — і по «Моїх товарах», і по товарах із посилань на розділи. Кожен новий магазин наприкінці прогону з'являється у «Списку продавців». Ціна в рядку прайсу після цього — найменша серед пропозицій.

Чого не буде. Пропозиції магазинів із «Чорного списку» в прайсі не лишаються: вони видаляються наприкінці прогону ще до того, як рахується ціна рядка. Запитів це не зменшує — пропозиції спершу забираються цілком і лише потім відсіюються.

Порівнювати себе з конкретним магазином

Задача: орієнтуватися не на мінімум ринку, а на одного-двох конкурентів.

Що ввімкнути. «Збирати пропозиції магазинів». Після першого такого прогону потрібний магазин з'явиться у «Списку продавців» — поставте йому позначку «Джерело ціни».

Що вийде. З наступного прогону в ціну рядка прайсу йде найменша ціна серед пропозицій відмічених магазинів, і в рядок записується назва магазину, який її дав.

Чого не буде. Товари, які відмічені магазини не продають, лишаються з мінімальною ціною Hotline. Інших продавців «Джерело ціни» з прайсу не прибирає — для цього є «Білий список»: коли він заданий, у прайсі лишаються пропозиції тільки відмічених у ньому магазинів.

1

Білий список

2

Чорний список

1. Білий список — у прайсі залишаються пропозиції лише відмічених магазинів.
2. Чорний список — пропозиції магазину видаляються з прайсу наприкінці прогону.

Зібрати асортимент розділу Hotline

Задача: побачити, що і почому продається в цілому розділі, а не тільки ваші товари.

Що ввімкнути. На вкладці «Список посилань» — адреса розділу, можна з уже вибраними на сайті фільтрами; окрема картка — з прапорцем «Це посилання на товар». На вкладці «Додатково» — «Макс. кількість товарів із категорії», щоб не забрати розділ цілком. «Мої товари» для цього заповнювати не треба.

Що вийде. Товари розділу лягають у прайс із назвою розділу Hotline, по кожній адресі в журналі — рядок «📂 Розділ «…»: отримано товарів …». До вашого каталогу вони не прив'язані: зіставлення йде так само, як у звичайного постачальника.

Чого не буде. Більше 200 сторінок по 48 товарів з одного розділу не береться. Якщо під адресу нічого не підійшло, прогін не мовчить: у журналі буде попередження з цією адресою.

Що робити, коли ціни чи товари не ті

Часті запитання

Чи потрібен акаунт на Hotline, щоб увімкнути парсер?

Ні. Збираються публічні дані карток і пропозицій, вхід на сайт не потрібен.

Скільки продавців збирається з одного товару?

Стільки, скільки задано в полі «Пропозицій на товар»; типово 200. Прапорець «Збирати пропозиції магазинів» має бути ввімкнений.

Чи можна оновлювати ціни автоматично?

Так, джерело ставлять на розклад так само, як звичайний прайс постачальника.

Чи знайде модуль на Hotline усі мої товари?

Ні. Пошук за назвою на агрегаторі знаходить не все: товар, якого немає на Hotline, отримує мітку «не знайдено на сайті», і на наступному прогоні його шукають знову.

Чи збирає модуль відгуки й відео?

Ні. Розбору відгуків і відео для Hotline немає, і прапорці їх збирання нічого не змінюють.

Чи можна через модуль продавати або замовляти на Hotline?

Ні. Це збір даних, а не інтеграція з майданчиком.

Суміжні теми

• Якщо потрібна загальна механіка обходу, розкладу й журналу — Парсинг сайтів.
• Якщо сервер недоступний і обхід іде з браузера — Розширення браузера.
• Якщо зібрані ціни треба прив'язати до своїх товарів — Зіставлення товарів постачальника.
• Якщо стежите за цінами на Kaspi.kz — Парсер Kaspi.kz.