Elbuz заводить сайт постачальника звичайним джерелом у списку прайс-листів: майстер привʼязує його до готового парсера або створює універсальний парсер за адресою сайту й сам пробує підібрати правила розбору.
Коли це знадобиться:
- Сайт є серед готових парсерів — правила розбору вже написані, селектори вписувати не треба.
- Сайту в списку немає — універсальний парсер шукає карту сайту, підбирає селектори й збирає перші 300 товарів на пробу.
- Потрібні лише кілька розділів — адреси розділів у «Списку посилань» обмежують обхід ними.
- Адреси товарів є в карті сайту чи файлі — список посилань завантажується з XML або CSV.
З чого почати: «Список прайс-листів» → майстер підключення → плитка «Парсер сайту».
Що вміє майстер для парсера
- Привʼязати джерело до готового парсера — Rozetka, PROM, Hotline, Kaspi та інші майданчики без налаштування селекторів.
- Створити універсальний парсер — для будь-якого сайту за адресою, з автоналаштуванням і пробним прогоном.
- Задати стартові адреси обходу — вручну, з карти сайту XML або з файла CSV.
Де це і хто має доступ
- Меню
- Довідники → Обробка прайс-листів → Список прайс-листів
- Майстер
- майстер підключення джерела, крок «Звідки» → плитка «Парсер сайту»
- Стартові адреси
- вікно налаштувань джерела, вкладка «Список посилань»
- Право доступу
- вікно «Прайс-листи»
- Підготувати
- контрагента, під якого заводиться джерело, і адресу сайту
Як вибрати тип парсера в майстрі
Джерело заводиться тим самим майстром підключення, що й файловий прайс. На кроці «Хто» вибираєте контрагента, на кроці «Звідки» — плитку «Парсер сайту» з підписом «збір зі сторінок сайту». Під плитками зʼявляються два блоки, і вони взаємовиключні: вибір готового парсера гасить поле універсального й навпаки. Якщо не вибрати нічого, майстер скаже «Оберіть готовий парсер зі списку або вкажіть посилання на сайт».
1
Плитка «Парсер сайту»2
Готові парсери3
Універсальний парсер4
Автоматичне налаштування5
Завантажувати без відкриття картки- Плитка «Парсер сайту» — дані беруться зі сторінок сайту, а не з файлу.
- «Готові парсери» — майданчики, які підтримує Elbuz.
- «Універсальний парсер» — блок з полем адреси для будь-якого іншого сайту.
- Перемикач увімкнено за замовчуванням — після майстра збір товарів почнеться сам.
- Перемикач вирішує, чи відкривати кожну картку товару під час збору.
- Сайт є у списку готових парсерівRozetka, PROM, Hotline, Kaspi, eBay, Amazon та інші майданчики — правила розбору вже написані
- Сайту в списку немаєУніверсальний парсер: ви даєте адресу, а селектори підбираються автоматично або вручну
Готовий парсер зі списку
Блок «Готові парсери» з підказкою «Магазини та майданчики, які ми підтримуємо самі — оберіть і налаштуйте.» Зараз у списку чотирнадцять модулів, серед них Rozetka і Rozetka (API), PROM, Hotline і Hotline (API), Kaspi, eMAG, Black Red White, public.cy, eBay, Amazon, B&H Photo Video та «Прайс навигатор».
Вибрали модуль, натиснули «Далі» — джерело привʼязується до нього й одразу відкривається вікно налаштувань. Селектори писати не треба: у готового модуля вкладок «Налаштування завантаження» і «Тестування завантаження» немає взагалі, є «Список посилань», «Список продавців» і «Додатково». В окремих модулів із власним API попереду зʼявляється ще вкладка «Мої товари» — це стеження за цінами, тема іншої статті.
Вкладка «Список продавців» стосується лише майданчиків-агрегаторів, де той самий товар продають різні магазини: у ній ведуть білий і чорний списки продавців, націнку по кожному й вибір джерела ціни. Для звичайного сайту вона порожня.
Налаштування готового модуля спільні для всіх джерел, які на ньому сидять. Копія під ваш прайс не створюється: джерело привʼязується до того самого системного запису парсера. Тобто якщо ви завели два джерела на Rozetka — своє й для конкурента, — зміна прапорця в одному змінює поведінку другого. Коли джерел у запису більше одного, вікно налаштувань пише про це просто над вкладками: «Налаштування цього парсера спільні: їх використовують N джерел. Зміна тут торкнеться всіх.» Потрібні різні налаштування на той самий сайт — заведіть замість другого джерела універсальний парсер.
Універсальний парсер для будь-якого сайту
Блок «Універсальний парсер», підказка «Будь-який сайт: вкажіть посилання, селектори CSS налаштовуються вручну.» Поле «Посилання на сайт» із прикладом «наприклад https://site.com» — якщо схему не вписати, програма підставить https:// сама. Нижче два перемикачі, обидва увімкнені за замовчуванням:
- «Автоматичне налаштування (почати завантаження перших 300 товарів)» — програма перевірить, чи є в сайту , і спробує підібрати селектори сама;
- «Завантажувати товари та ціни без відкриття картки» — назви й ціни беруться прямо зі сторінки розділу, картки не відкриваються. Швидше, але з картки нічого не приїде: ні опис, ні характеристики.
Після «Далі» програма робить кілька речей за вас. Качає головну сторінку сайту й витягає з її розмітки картку організації — логотип, адресу, опис, телефон, e-mail; усе це дописується в картку контрагента, але тільки в порожні поля, ваші дані не затираються. Забирає favicon сайту — він стає значком парсера.
Створює 64 порожні правила розбору по чотирьох операціях. Заповнене з них рівно одне: селектор h1 для назви товару в картці. Далі, якщо автоналаштування залишили ввімкненим, шукає sitemap.xml, а не знайшовши — рядок Sitemap: у robots.txt, і вмикає .
- Дія або результат
- Розвилка: далі шлях залежить від відповіді
За налаштувань майстра за замовчуванням збір починається сам — і не тільки тоді, коли знайшлася карта сайту. Якщо ввімкнений другий перемикач, «Завантажувати товари та ціни без відкриття картки», карту взагалі не шукають і вважають знайденою, тож майстер відкриває вікно «Завантаження даних із сайту» з автозапуском у будь-якому разі. Єдиний спосіб цього уникнути — зняти «Автоматичне налаштування» перед «Далі»: тоді відкриється вікно налаштувань і збір чекатиме вашої кнопки.
Перший після автоналаштування навмисно короткий: не більше 50 посилань на розділи й не більше 300 збережених товарів, після чого черга завдань очищається й збір зупиняється сам. Сторінки пагінації в перший прогін теж не додаються — з кожного розділу береться тільки перша сторінка.
Це зроблено, щоб ви подивилися на результат до того, як обхід піде по всьому сайту. Обмеження діє рівно один раз — після завершення прогону воно знімається, і наступний запуск іде без стелі.
Як задати адреси, з яких почнеться обхід
Вкладка «Список посилань» — це перелік стартових адрес. Порожній список не помилка: для універсального парсера це означає «почни з головної сторінки й знайди розділи сам». Але якщо потрібні лише три розділи з тридцяти або сайт узагалі без каталогу, адреси вписують сюди.
Колонки сітки: «Статус», «Посилання», «Це посилання на товар», «Це посилання на список товарів», «Назва», «Артикул», «Вартість доставки», «Примітка». Для універсального парсера робочий тут один прапорець — «Це посилання на товар»: він відправляє адресу одразу в операцію «Картка товару». Адреса без цього прапорця йде в операцію «Список посилань на товари», тобто трактується як сторінка розділу. Колонка «Це посилання на список товарів» на обхід не впливає — її проставляє собі імпорт із CSV.
1
Кнопка «плюс»2
Колонка «Це посилання на товар»3
Колонка «Це посилання на список товарів»4
Бургер «Додаткові операції»- Кнопка «плюс»: сюди вставляють адреси розділів і товарів, можна пачкою.
- Колонка «Це посилання на товар» — адреса веде прямо в картку.
- Колонка «Це посилання на список товарів» — адреса веде в розділ, звідки збирають посилання на товари.
- Бургер «Додаткові операції»: у ньому три пункти — «Оновити список», «Скасувати фільтр» і «Видалити всі посилання»; журнал, розклад і проксі лежать не тут, а вгорі вкладки «Додатково».
Кнопка «плюс» відкриває діалог «Додати посилання» з полем «Список посилань» і галочкою «Всі посилання на товари». Адреси вставляються пачкою: роздільник програма визначає сама — чи то перенесення рядка, чи то крапка з комою, дивиться, чого більше. Дублі відкидаються. Якщо в рядку є табуляція, програма дивиться, у якій із двох частин є адреса, — друга піде в назву.
Другий спосіб наповнити список — акордеон «Налаштування завантаження посилань з файлу Sitemap (XML)» на вкладці «Додатково». Вписуєте «Посилання на карту сайту (файл XML)», за потреби — тексти, за якими адреси ігноруються або, навпаки, відбираються, і тиснете «Завантажити посилання». У стрічці при цьому йдуть рядки «Завантаження картки сайту:», «Завантажено посилання на карту сайту:» і «Завантажено посилання на сторінки сайту:».
Автоналаштування, до речі, вписує в поле ігнорування чотири шаблони — category, categori, article і /filter/, щоб у список не потрапляли статті й сторінки фільтрів, — але тільки якщо карту знайшли за прямою адресою сайт/sitemap.xml. Коли адресу взяли з robots.txt, поле лишається порожнім і шаблони вписують самі.
Третій спосіб — сусідній акордеон для файла CSV: номери колонок з артикулом, найменуванням, посиланням і прапорцем «це посилання на товар», роздільники стовпців і рядків, з якого рядка починати, і галочка «Очищати список посилань перед завантаженням файлу».
У бургері «Додаткові операції» на цій вкладці три пункти: «Оновити список», «Скасувати фільтр» і «Видалити всі посилання». Останній прибирає весь список одним рухом, і скасування немає. Якщо адреси набиралися руками, спершу вивантажте їх собі — відновлювати не буде звідки.
Сценарії
Потрібні кілька розділів сайту, а не весь каталог
На вкладці «Список посилань» кнопкою «плюс» вставте адреси потрібних розділів і не ставте галочку «Це посилання на товар». Кожна така адреса піде в операцію «Список посилань на товари»: програма збере з розділу товари й сторінки пагінації за правилами цієї групи.
Чого не буде: операція «Список посилань на категорії товарів» не запускається, поки в списку є хоч одна адреса, — інших розділів сайту програма не шукатиме. І якщо стоїть «Видаляти товари перед завантаженням», товари, зібрані раніше з інших розділів, з прайсу зникнуть на старті прогону.
Не запускати збір одразу після майстра
У блоці «Універсальний парсер» зніміть «Автоматичне налаштування (почати завантаження перших 300 товарів)» перед «Далі». Відкриється вікно налаштувань, і збір чекатиме вашої кнопки — спершу можна налаштувати правила розбору.
Чого не буде: селектори програма не підбере, заповненим лишиться тільки h1 для назви товару.
Адреси товарів уже є в карті сайту
На вкладці «Додатково» в акордеоні «Налаштування завантаження посилань з файлу Sitemap (XML)» впишіть «Посилання на карту сайту (файл XML)», за потреби — тексти для ігнорування чи відбору адрес, і натисніть «Завантажити посилання». Адреси з карти лягають у «Список посилань».
Чого не буде: якщо поле карти лишилося заповненим, карта завантажується заново на кожному прогоні, а не один раз.
Часті запитання
Чому після майстра збір почався сам, я нічого не натискав?
Так працює перемикач «Автоматичне налаштування», увімкнений за замовчуванням: разом із «Завантажувати товари та ціни без відкриття картки» він відкриває вікно збору з автозапуском. Щоб цього не сталося, зніміть перемикач перед «Далі» (про автоналаштування).
Скільки товарів забере перший прогін?
Після автоналаштування — не більше 50 посилань на розділи й 300 товарів, лише перші сторінки розділів. Обмеження діє один раз: наступний запуск іде без стелі.
Майстер пише «Оберіть готовий парсер зі списку або вкажіть посилання на сайт». Що не так?
Вибрано плитку «Парсер сайту», але ні модуль не відмічено, ні адресу не введено. Виберіть щось одне: варіанти взаємовиключні (про майстер).
Змінив налаштування одному джерелу — змінилися в іншого. Чому?
Обидва сидять на готовому модулі: копія налаштувань під ваш прайс не створюється. Якщо для того самого сайту потрібні різні налаштування, заведіть універсальний парсер — у нього запис свій (про готові парсери).
Майстер забирає з сайту картку організації. Мої дані контрагента затруться?
Ні. Логотип, адреса, опис, телефон і e-mail дописуються в картку контрагента тільки в порожні поля.
Суміжні теми
- Якщо потрібна загальна картина збору з сайтів — Парсинг сайтів.
- Якщо джерело заведене і треба вказати, де на сторінці назва й ціна, — Як налаштувати правила розбору сторінки.
- Якщо правила готові й час збирати — Як запустити збір із сайту.
- Якщо цікавлять інші типи джерел: файл, посилання, e-mail, FTP — Підключення джерела постачальника.