Parser produktów i cen ze stron przechodzi przez serwis dostawcy lub konkurenta i pobiera nazwy, ceny, dostępność, zdjęcia i parametry do cennika źródła — tak automatycznie zbierzesz produkty i ceny ze strony.
Kiedy to się przyda:
- Dostawca nie wysyła cennika, ale produkty są na jego stronie — strona staje się źródłem, reguły parsowania dobiera kreator lub AI.
- Serwis jest na liście gotowych parserów — dla Rozetka, PROM i Hotline selektory są już napisane.
- Ceny trzeba aktualizować co noc — w trybie serwerowym pobieranie działa według harmonogramu, bez otwartego okna.
- Pobieranie się zakończyło, ale przyszło nie to — dziennik parsowania pokazuje, na którym kroku łańcuch się przerwał.
Od czego zacząć: podłącz stronę kreatorem źródła — kafelek „Parser strony”.
Co potrafi parser strony
- Podłączyć stronę jako źródło — gotowym modułem z listy albo parserem uniwersalnym po adresie strony.
- Skonfigurować reguły parsowania — wskazać, w którym miejscu strony są nazwa, cena i zdjęcia; selektory dobiera kreator lub AI.
- Wziąć gotowy selektor — przykłady i XPath dla nazwy, ceny, kodu produktu, zdjęć i dostępności.
- Uruchamiać pobieranie ręcznie lub według harmonogramu — w Twojej przeglądarce albo na serwerze Elbuz w tle.
- Zainstalować rozszerzenie Elbuz dla Chrome — otwiera strony, gdy pobieranie działa bez serwera.
- Przeanalizować awarię — w dzienniku parsowania znaleźć przerwane ogniwo, CAPTCHA lub odmowę serwisu.
Czym parser różni się od zwykłego cennika
Dla reszty aplikacji źródło-parser to taki sam cennik: ma produkty, ceny, narzut, dopasowanie kategorii i dziennik przebiegów. Różni się tylko tym, skąd pochodzą dane i co dokładnie konfigurujesz.
| Plik, link, e-mail, FTP | Parser strony | |
|---|---|---|
| Skąd dane | jeden plik od dostawcy | strony serwisu, przez które aplikacja przechodzi sama |
| Co konfigurujesz | adresy kolumn pliku | reguły parsowania strony — y |
| Krok „Sprawdzenie” w kreatorze | jest: mapowanie kolumn | jest pomijany, zamiast niego otwiera się okno ustawień parsera |
| Uruchomienie | „Importuj” wczytuje plik | „Importuj” otwiera okno „Import danych ze strony” i przejście zaczyna się od razu |
| Dzienniki | dziennik przebiegów źródła | do tego „Dziennik parsowania” i podgląd pobierania na żywo |
Jak działa przejście przez serwis: cztery operacje
Aplikacja nigdy nie pobiera „całego serwisu” jednym ruchem. Pracuje kolejką: jedna strona — jedno . Każda przeanalizowana strona tworzy zadania następnego etapu: ze strony głównej powstają kategorie, z kategorii — karty produktów, z karty — strona parametrów. Dlatego konfiguracja parsera to nie jeden formularz, lecz cztery zestawy selektorów, po jednym na operację. I dlatego pusty wynik prawie zawsze oznacza, że przerwało się jedno konkretne ogniwo, a nie że „parser nie działa”.
| Operacja | Co robi aplikacja | Co podajesz Ty | Co pojawi się po niej |
|---|---|---|---|
| Lista linków do kategorii produktów | otwiera jedną stronę (główną lub stronę katalogu) i zbiera z niej adresy kategorii | selektor linków do kategorii | zadanie „Lista linków do produktów” dla każdej znalezionej kategorii |
| Lista linków do produktów | otwiera kategorię — — i zbiera adresy kart oraz adresy kolejnych stron | selektor bloku produktu, selektor paginacji, w razie potrzeby — pola nazwy i ceny | zadanie „Karta produktu” dla każdego produktu i zadania dla kolejnych stron kategorii |
| Karta produktu | otwiera kartę i wypełnia pola produktu, zdjęcia, wideo, pliki | selektory pól: nazwa, cena, kod produktu, opis, zdjęcia i inne | produkt w cenniku źródła; w razie potrzeby — zadania dla strony parametrów i produktów-opcji |
| Atrybuty | analizuje tabelę parametrów — na tej samej karcie lub na osobnej stronie | selektor bloku parametrów, selektor wiersza, selektory nazwy i wartości | parametry produktu |
Na liście typów operacji jest jeszcze piąta — „Zdjęcia” — ale reguł tej operacji się nie tworzy. Zdjęcia zbiera pole „Obraz” w „Karcie produktu” lub w „Liście linków do produktów”.
Scenariusze
Pierwsze pobieranie ze strony dostawcy
Utwórz źródło kreatorem: kafelek „Parser strony”, adres strony w bloku „Parser uniwersalny” (jak to działa). Z automatyczną konfiguracją pierwszy przebieg zbierze najwyżej 300 produktów i sam się zatrzyma. Sprawdź wynik w cenniku źródła, dopisz selektory brakujących pól (reguły parsowania) i uruchom pełne pobieranie (uruchomienie).
Pobieranie działało, a tym razem przyszło nie to
Otwórz „Dziennik parsowania” przed kolejnym uruchomieniem: kod odpowiedzi i rozmiar strony pokażą, czy serwis odmówił, czy strona przyszła, ale selektory już jej nie rozpoznają. Dalej — test reguły i ponowny dobór selektorów (kolejność sprawdzania).
Ten sam serwis — dla siebie i dla konkurenta
Dwa źródła na jednym gotowym module dzielą te same ustawienia: zmiana w jednym zmienia też drugie. Drugie źródło dla tego serwisu utwórz parserem uniwersalnym — ma własny zestaw reguł (o gotowych parserach).
Najczęstsze pytania
Czy okno musi być otwarte, dopóki trwa pobieranie?
W trybie przeglądarki — tak: strony otwiera rozszerzenie w Twojej przeglądarce, a zamknięcie okna zatrzymuje pobieranie. W trybie serwerowym okno można zamknąć. Więcej: dwa tryby pobierania.
Czy do działania parsera trzeba instalować rozszerzenie Chrome?
Nie. Jest potrzebne tylko wtedy, gdy strony otwiera Twoja przeglądarka. Z modułem „Używaj serwera do pobierania danych” strony pobiera serwer Elbuz, a źródłom natywnym rozszerzenie nie jest potrzebne nigdy. Jak je zainstalować — rozszerzenie Elbuz dla Chrome.
Parser cennika ze strony dostawcy nic nie pobiera. Gdzie sprawdzić, co się dzieje?
W „Dzienniku parsowania”: okno ustawień źródła → zakładka „Dodatkowo” → „Dziennik parsowania”. Kod 200 i zwykły rozmiar — problem w regułach parsowania; 403, 429 lub bardzo mały rozmiar — serwis nie oddał strony. Więcej: dziennik parsowania.
Czy parser potrafi logować się do serwisu?
Nie, formularzy logowania w oknie ustawień się nie podaje. Z interfejsu dostępne są tylko cookies i nagłówki HTTP w sekcji rozwijanej „Dodatkowo” na dole zakładki „Dodatkowo” (ustawienia pobierania).
Czy można pobierać ze strony artykuły lub aktualności zamiast produktów?
Tak. W sekcji rozwijanej „Dodatkowo” zakładki „Dodatkowo” jest przełącznik „Typ pobieranych elementów”: „Produkt”, „Artykuł”, „Aktualność”, „Przepis”. Domyślnie — „Produkt” (ustawienia pobierania).
Czy system może wysłać na Telegram powiadomienie, że pobieranie ze strony dostawcy się zakończyło?
Tylko o całej kolejce cenników: w „Mój profil i bezpieczeństwo” włącz „Zakończenie importu produktów ze wszystkich cenników” — przyjdzie e-mail, wiadomość na Telegram i push. To samo daje działanie „Powiadomienie” w procesach (Flows) po kroku „Import cenników”. Serwerowe może w tym momencie jeszcze trwać.
Gdzie to jest i kto ma dostęp
Żadne okno parsera nie jest wyprowadzone do menu i nie ma skrótu na pulpicie. Wszystkie trzy otwiera się z jednego miejsca — z listy cenników lub z karty samego źródła.
- Menu
- Słowniki → Przetwarzanie cenników → Lista cenników
- Z karty źródła
- sekcja „Źródło” → przycisk „Ustawienia importu danych ze strony”
- Z listy źródeł
- wiersz typu „Parser strony” → przycisk „Ustawienia” w nagłówku prawego panelu
- Z kreatora podłączenia
- krok „Skąd” → kafelek „Parser strony” → „Dalej”
- Uprawnienia
- okno „Cenniki”; dziennik parsowania — dodatkowo „Dziennik parsowania” lub „Dziennik parsowania stron”
- Przygotuj
- kontrahenta i adres strony; do pobierania bez serwera — rozszerzenie Elbuz dla Chrome
- Moduł
- „Używaj serwera do pobierania danych” — do pobierania w tle i według harmonogramu
Uprawnienia nadaje się na poziomie całego okna: dostępu „tylko do listy linków, ale nie do ustawień” nie da się nadać. Okno ustawień parsera i okno pobierania otworzy każdy, kto może otworzyć kartę źródła; dziennik parsowania sprawdza swoje uprawnienie osobno.
1
Lista cenników- Lista cenników — jedyne wejście do wszystkich okien parsera strony.
Przycisk i okno, które otwiera, nazywają się tak samo — „Ustawienia importu danych ze strony”, tak samo zapisano je na liście uprawnień; dalej w tekście to po prostu okno ustawień.
Na liście źródeł wiersz parsera rozpoznasz po ikonie globusa i typie „Parser strony”. uniwersalny, jeśli na kroku „Kto” nie wpiszesz własnej nazwy, nazwie się domeną strony; gotowy moduł zachowa nazwę nadaną przez kreator.
1
Wiersz źródła-parsera2
Ustawienia3
Importuj- Wiersz źródła — ikona globusa oznacza źródło-parser, w odróżnieniu od źródeł plikowych.
- Ustawienia (koło zębate) — pojawia się tylko przy źródłach-parserach i otwiera ustawienia importu danych ze strony.
- Importuj — dla parsera otwiera okno pobierania i uruchamia przejście; tu nie kliknięty.
Powiązane tematy
- Jeśli porównujesz parser z innymi sposobami otrzymania cennika — Podłączenie źródła dostawcy: plik, link, e-mail, , .
- Jeśli chcesz wiedzieć, co dalej stanie się z pobranymi produktami — Import cennika dostawcy: reguły stop i operacje po przejściu.
- Jeśli potrzebujesz liczb z każdego przebiegu — Dziennik cennika.
- Jeśli chcesz wiedzieć, jakie dokładnie pola pobiera parser — Co dokładnie parser pobiera z karty produktu.
