Hotline.ua — прайс-агрегатор: по кожному товару там стоїть не одна ціна, а список магазинів, які його продають. Саме тому його парсять частіше за інші майданчики: з однієї картки приїжджає зріз ринку — хто скільки просить, у кого є в наявності, яка гарантія. Другий сценарій спокійніший: Hotline як джерело характеристик і фото для власного каталогу.
Модуль розбору для Hotline уже написаний — селектори налаштовувати не потрібно, на відміну від довільного сайту постачальника.
Два модулі Hotline: який брати
У списку готових парсерів Hotline зустрічається двічі, і це не помилка. Це два різні способи взяти ті самі дані.
- «Hotline»
- звичайний розбір: програма завантажує сторінку й розкладає її за селекторами
- «Hotline (API)»
- швидкісний модуль: дані беруться з програмного інтерфейсу самого сайту пачками
Різниця не в налаштуваннях, а в одиниці роботи. Звичайний модуль отримує одну завантажену сторінку й розбирає її. Швидкісний питає сайт пачками: сорок товарів одним запитом (пропозиції магазинів — по двадцять, вони важчі), сторінки не завантажуються взагалі. На тій самій кількості товарів прогін іде в рази швидше.
У списку готових модулів майстра ці два рядки розрізняються тільки назвою — «Hotline» і «Hotline (API)», з однаковим логотипом і адресою hotline.ua. У вікні «Пошук контенту для товарів», де той самий перелік сайтів використовується для наповнення карток, швидкісний модуль додатково позначений міткою «⚡ Швидкісний».
У швидкісного модуля є обмеження: він працює тільки в серверному режимі, через розширення браузера його не запустити. Якщо ваш тариф серверний обхід не включає, залишається звичайний модуль. Ще одна перевага швидкісного: він приносить штрихкод і повний опис, чого зі звичайної сторінки не витягти.
Далі в статті все, що не позначене окремо, стосується обох модулів.
Як завести джерело
Порядок такий самий, як у будь-якого джерела: майстер питає, від кого дані («Хто»), і звідки їх брати («Звідки»). На кроці «Хто» оберіть наявного контрагента або впишіть назву — наприклад, «Hotline, моніторинг». На кроці «Звідки» виберіть парсер сайту — розгорнеться блок «Готові парсери», у ньому знайдіть потрібний рядок Hotline.
1
Hotline2
Hotline (API)- Hotline — звичайний модуль, розбирає завантажені сторінки сайту.
- Hotline (API) — бере дані пачками через API сайту, працює в рази швидше, доступний лише в серверному режимі.
Налаштування готового модуля спільні для всіх джерел, які на ньому сидять. Копія під ваш прайс не створюється: якщо ви завели два джерела на «Hotline (API)», зміна прапорця в одному змінить поведінку другого. Коли джерел більше одного, вікно попереджає про це рядком над вкладками.
Список посилань
Вкладка «Список посилань» — перелік стартових адрес. Сюди вписують або адреси розділів Hotline, або адреси конкретних карток. Прапорець «Це посилання на товар» у рядку означає, що адреса йде одразу в розбір картки; без нього адреса вважається розділом, з якого спершу треба зібрати посилання на товари.
Скільки брати з розділу — задають на вкладці «Додатково»: «Макс. кількість сторінок із категорії» і «Макс. кількість товарів із категорії». Нуль в обох означає «без обмеження» — для першого знайомства це майже завжди не те, чого ви хочете.
Сторінка розділу Hotline віддає рівно 48 товарів, скільки не проси — перевірено запитами на 100, 200 і 500. Тому «максимум сторінок» перекладається в товари просто: 10 сторінок — це 480 позицій. Почніть із двох-трьох сторінок, подивіться, що приїхало, і лише потім знімайте межі.
Є й стеля, яку не обійти налаштуваннями: більше 200 сторінок з одного розділу швидкісний модуль не бере. Це дев'ять тисяч товарів — більше за найбільший розділ сайту, тож на практиці в неї впираються тільки тоді, коли в «максимумі сторінок» стоїть нуль.
Пропозиції магазинів: заради чого це роблять
Звичайне оновлення приносить із картки одну ціну — мінімальну по товару. Прапорець «Збирати пропозиції магазинів» вмикає другу глибину: по кожному товару забирається список продавців.
| Що приходить з пропозиції | Навіщо |
|---|---|
| ціна й валюта | власне зріз ринку |
| наявність | відрізнити реальну пропозицію від «під замовлення» |
| гарантія | порівнювати умови, а не тільки цифри |
| доставка | те саме |
| магазин: назва, сайт, логотип, рейтинг | розуміти, хто саме демпінгує |
| посилання на товар у магазині | перевірити ціну руками |
Поле «Пропозицій на товар» обмежує довжину списку; типове значення — 200.
Прапорець вимкнений за замовчуванням не випадково: даних приходить приблизно у сто разів більше, ніж при звичайному оновленні цін. На великому списку товарів це і час прогону, і обсяг у базі. Умикайте його тоді, коли вам справді потрібен розріз за конкурентами, а не просто «нехай буде».
Місто: чому ціни приходять не ті, що ви бачите
Hotline показує ціни й кількість пропозицій за регіоном. Якщо місто не задано, сайт визначає його за адресою запиту — а запити йдуть через проксі, і регіон щоразу може бути іншим. Наслідок неприємний: той самий товар у різних прогонах віддає різну ціну й різне число продавців, а ви шукаєте помилку в налаштуваннях.
Поле «ID міста» на вкладці налаштувань джерела закриває питання. У швидкісного модуля за замовчуванням стоїть 187 — Київ. Поставте код свого міста, і цифри стануть стабільними й порівнянними між прогонами.
Підказки з кодами міст в інтерфейсі немає — це внутрішні номери самого Hotline. Перевіряти простіше за результатом: візьміть один товар, подивіться його ціну на сайті з вибраним вашим містом і звірте з тим, що приїхало в прайс. Збіглося — код правильний.
Що приїжджає з картки товару
Набір керується прапорцями в налаштуваннях джерела: характеристики, фото, опис, ціна. Що саме дає Hotline:
- Назва й виробник — у тому вигляді, у якому їх веде агрегатор.
- Розділ сайту — стане в пригоді при зіставленні категорій.
- Мінімальна ціна по товару.
- Короткі характеристики — рядок, який на сайті стоїть під назвою.
- Повний опис — тільки у швидкісного модуля й тільки з увімкненим прапорцем опису.
- Характеристики — з розбивкою на групи, як вони згруповані на сайті.
- Фотографії.
- Штрихкод — тільки у швидкісного модуля. Річ рідкісна й корисна: за ним добре зіставляти товари.
Чого не буває: відгуків і відео. Ці прапорці для Hotline нічого не змінюють.
Hotline як джерело контенту
Другий сценарій, окрім моніторингу, — наповнити власний каталог. Схема така сама, як з будь-яким джерелом: зібрати товари, зіставити їх зі своїми, а далі перенести потрібні поля пакетним оновленням. Характеристики й фото агрегатора часто повніші за ті, що дає постачальник у прайсі.
Штрихкод, який приносить швидкісний модуль, робить зіставлення точнішим: збіг за штрихкодом надійніший за збіг за назвою.
Чого модуль не робить
- Не замовляє й не продає. Це збір даних, а не інтеграція з майданчиком.
- Не тягне відгуки й відео.
- Не працює без обмежень безкоштовно. Кожне звернення до сайту — це витрачений запит; саме тому межі на сторінки й товари стоять першими в налаштуваннях.
- Не гарантує, що всі товари знайдуться. Пошук за назвою на агрегаторі знаходить не все: те, чого немає на Hotline, не з'явиться.
Розбір частих проблем
| Що ви бачите | Чому так | Що зробити |
|---|---|---|
| Ціни стрибають між прогонами | місто не задано, регіон визначається за адресою запиту | заповніть «ID міста» |
| Прогін іде дуже довго | обрано звичайний модуль або не виставлені межі обходу | візьміть «Hotline (API)» і обмежте сторінки та товари з категорії |
| Швидкісний модуль не запускається | він працює тільки в серверному режимі | перемкніть джерело в серверний режим або користуйтеся звичайним модулем |
| Продавців немає, тільки одна ціна | вимкнено «Збирати пропозиції магазинів» | увімкніть прапорець; пам'ятайте про обсяг даних |
| Немає штрихкодів і описів | їх дає лише швидкісний модуль, і опис — за окремим прапорцем | перейдіть на «Hotline (API)» і ввімкніть прапорець опису |
| З розділу приїхало рівно 48 товарів | стільки віддає одна сторінка розділу | підніміть «Макс. кількість сторінок із категорії» |
| Змінив налаштування — змінилося в іншому джерелі | налаштування готового модуля спільні | розводьте сценарії різними модулями або погоджуйте налаштування |
Часті питання
Який із двох модулів Hotline вибрати?
Якщо джерело працює на сервері — «Hotline (API)»: він швидший і приносить більше (штрихкод, повний опис). Звичайний «Hotline» залишається для випадків, коли серверний обхід недоступний.
Чи потрібен акаунт на Hotline, щоб увімкнути парсер?
Ні. Збираються публічні дані карток і пропозицій, вхід на сайт не потрібен.
Навіщо заповнювати місто?
Hotline показує ціни за регіоном. Без міста регіон визначається за адресою запиту, і цифри пливуть від прогону до прогону.
Скільки продавців збирається з одного товару?
Стільки, скільки задано в полі «Пропозицій на товар»; типово 200. Прапорець збору пропозицій має бути ввімкнений.
Чи можна оновлювати ціни автоматично?
Так, джерело ставлять на розклад так само, як звичайний прайс постачальника.
Чи можна брати з Hotline характеристики й фото для свого каталогу?
Так, це другий типовий сценарій. Зберіть товари, зіставте їх зі своїми й перенесіть поля пакетним оновленням каталогу.
Суміжні теми
- Парсер сайту — як улаштовані джерела-парсери загалом.
- Парсер Kaspi.kz — той самий сценарій на іншому майданчику.
- Розширення браузера — коли обхід іде не з сервера.
- Зіставлення товарів — без нього зібрані ціни ні з чим не порівняти.
- Розклад і черга — як оновлювати джерело автоматично.