↑↓ wybierzEnter otwórzEsc zamknij

    1. Elbuz

    Jak pobrać produkty i ceny ze stron serwisu

    9 min czytaniaZaktualizowano

    Parser produktów i cen ze stron przechodzi przez serwis dostawcy lub konkurenta i pobiera nazwy, ceny, dostępność, zdjęcia i parametry do cennika źródła — tak automatycznie zbierzesz produkty i ceny ze strony.

    Kiedy to się przyda:

    • Dostawca nie wysyła cennika, ale produkty są na jego stronie — strona staje się źródłem, reguły parsowania dobiera kreator lub AI.
    • Serwis jest na liście gotowych parserów — dla Rozetka, PROM i Hotline selektory są już napisane.
    • Ceny trzeba aktualizować co noc — w trybie serwerowym pobieranie działa według harmonogramu, bez otwartego okna.
    • Pobieranie się zakończyło, ale przyszło nie to — dziennik parsowania pokazuje, na którym kroku łańcuch się przerwał.

    Od czego zacząć: podłącz stronę kreatorem źródła — kafelek „Parser strony”.

    Co potrafi parser strony

    Czym parser różni się od zwykłego cennika

    Dla reszty aplikacji źródło-parser to taki sam cennik: ma produkty, ceny, narzut, dopasowanie kategorii i dziennik przebiegów. Różni się tylko tym, skąd pochodzą dane i co dokładnie konfigurujesz.

     Plik, link, e-mail, FTPParser strony
    Skąd danejeden plik od dostawcystrony serwisu, przez które aplikacja przechodzi sama
    Co konfigurujeszadresy kolumn plikureguły parsowania strony — y
    Krok „Sprawdzenie” w kreatorzejest: mapowanie kolumnjest pomijany, zamiast niego otwiera się okno ustawień parsera
    Uruchomienie„Importuj” wczytuje plik„Importuj” otwiera okno „Import danych ze strony” i przejście zaczyna się od razu
    Dziennikidziennik przebiegów źródłado tego „Dziennik parsowania” i podgląd pobierania na żywo

    Jak działa przejście przez serwis: cztery operacje

    Aplikacja nigdy nie pobiera „całego serwisu” jednym ruchem. Pracuje kolejką: jedna strona — jedno . Każda przeanalizowana strona tworzy zadania następnego etapu: ze strony głównej powstają kategorie, z kategorii — karty produktów, z karty — strona parametrów. Dlatego konfiguracja parsera to nie jeden formularz, lecz cztery zestawy selektorów, po jednym na operację. I dlatego pusty wynik prawie zawsze oznacza, że przerwało się jedno konkretne ogniwo, a nie że „parser nie działa”.

    Łańcuch operacji parsowania: skąd dokładnie aplikacja bierze nazwy i ceny i co zmienia pole „bez otwierania karty”
    „bez otwierania karty”włączonezwykłe przejścieLista linków: adresy startoweLista linków do kategorii produktówLista linków do produktówNazwa i cena prosto ze stronykategoriiKarta produktu: nazwa, cena, opis,zdjęciaAtrybuty produktuProdukty w cenniku źródła
    OperacjaCo robi aplikacjaCo podajesz TyCo pojawi się po niej
    Lista linków do kategorii produktów otwiera jedną stronę (główną lub stronę katalogu) i zbiera z niej adresy kategorii selektor linków do kategorii zadanie „Lista linków do produktów” dla każdej znalezionej kategorii
    Lista linków do produktów otwiera kategorię — — i zbiera adresy kart oraz adresy kolejnych stron selektor bloku produktu, selektor paginacji, w razie potrzeby — pola nazwy i ceny zadanie „Karta produktu” dla każdego produktu i zadania dla kolejnych stron kategorii
    Karta produktu otwiera kartę i wypełnia pola produktu, zdjęcia, wideo, pliki selektory pól: nazwa, cena, kod produktu, opis, zdjęcia i inne produkt w cenniku źródła; w razie potrzeby — zadania dla strony parametrów i produktów-opcji
    Atrybuty analizuje tabelę parametrów — na tej samej karcie lub na osobnej stronie selektor bloku parametrów, selektor wiersza, selektory nazwy i wartości parametry produktu

    Na liście typów operacji jest jeszcze piąta — „Zdjęcia” — ale reguł tej operacji się nie tworzy. Zdjęcia zbiera pole „Obraz” w „Karcie produktu” lub w „Liście linków do produktów”.

    Scenariusze

    Pierwsze pobieranie ze strony dostawcy

    Utwórz źródło kreatorem: kafelek „Parser strony”, adres strony w bloku „Parser uniwersalny” (jak to działa). Z automatyczną konfiguracją pierwszy przebieg zbierze najwyżej 300 produktów i sam się zatrzyma. Sprawdź wynik w cenniku źródła, dopisz selektory brakujących pól (reguły parsowania) i uruchom pełne pobieranie (uruchomienie).

    Pobieranie działało, a tym razem przyszło nie to

    Otwórz „Dziennik parsowania” przed kolejnym uruchomieniem: kod odpowiedzi i rozmiar strony pokażą, czy serwis odmówił, czy strona przyszła, ale selektory już jej nie rozpoznają. Dalej — test reguły i ponowny dobór selektorów (kolejność sprawdzania).

    Ten sam serwis — dla siebie i dla konkurenta

    Dwa źródła na jednym gotowym module dzielą te same ustawienia: zmiana w jednym zmienia też drugie. Drugie źródło dla tego serwisu utwórz parserem uniwersalnym — ma własny zestaw reguł (o gotowych parserach).

    Najczęstsze pytania

    Czy okno musi być otwarte, dopóki trwa pobieranie?

    W trybie przeglądarki — tak: strony otwiera rozszerzenie w Twojej przeglądarce, a zamknięcie okna zatrzymuje pobieranie. W trybie serwerowym okno można zamknąć. Więcej: dwa tryby pobierania.

    Czy do działania parsera trzeba instalować rozszerzenie Chrome?

    Nie. Jest potrzebne tylko wtedy, gdy strony otwiera Twoja przeglądarka. Z modułem „Używaj serwera do pobierania danych” strony pobiera serwer Elbuz, a źródłom natywnym rozszerzenie nie jest potrzebne nigdy. Jak je zainstalować — rozszerzenie Elbuz dla Chrome.

    Parser cennika ze strony dostawcy nic nie pobiera. Gdzie sprawdzić, co się dzieje?

    W „Dzienniku parsowania”: okno ustawień źródła → zakładka „Dodatkowo” → „Dziennik parsowania”. Kod 200 i zwykły rozmiar — problem w regułach parsowania; 403, 429 lub bardzo mały rozmiar — serwis nie oddał strony. Więcej: dziennik parsowania.

    Czy parser potrafi logować się do serwisu?

    Nie, formularzy logowania w oknie ustawień się nie podaje. Z interfejsu dostępne są tylko cookies i nagłówki HTTP w sekcji rozwijanej „Dodatkowo” na dole zakładki „Dodatkowo” (ustawienia pobierania).

    Czy można pobierać ze strony artykuły lub aktualności zamiast produktów?

    Tak. W sekcji rozwijanej „Dodatkowo” zakładki „Dodatkowo” jest przełącznik „Typ pobieranych elementów”: „Produkt”, „Artykuł”, „Aktualność”, „Przepis”. Domyślnie — „Produkt” (ustawienia pobierania).

    Czy system może wysłać na Telegram powiadomienie, że pobieranie ze strony dostawcy się zakończyło?

    Tylko o całej kolejce cenników: w „Mój profil i bezpieczeństwo” włącz „Zakończenie importu produktów ze wszystkich cenników” — przyjdzie e-mail, wiadomość na Telegram i push. To samo daje działanie „Powiadomienie” w procesach (Flows) po kroku „Import cenników”. Serwerowe może w tym momencie jeszcze trwać.

    Gdzie to jest i kto ma dostęp

    Żadne okno parsera nie jest wyprowadzone do menu i nie ma skrótu na pulpicie. Wszystkie trzy otwiera się z jednego miejsca — z listy cenników lub z karty samego źródła.

    Menu
    Słowniki → Przetwarzanie cenników → Lista cenników
    Z karty źródła
    sekcja „Źródło” → przycisk „Ustawienia importu danych ze strony”
    Z listy źródeł
    wiersz typu „Parser strony” → przycisk „Ustawienia” w nagłówku prawego panelu
    Z kreatora podłączenia
    krok „Skąd” → kafelek „Parser strony” → „Dalej”
    Uprawnienia
    okno „Cenniki”; dziennik parsowania — dodatkowo „Dziennik parsowania” lub „Dziennik parsowania stron”
    Przygotuj
    kontrahenta i adres strony; do pobierania bez serwera — rozszerzenie Elbuz dla Chrome
    Moduł
    „Używaj serwera do pobierania danych” — do pobierania w tle i według harmonogramu

    Uprawnienia nadaje się na poziomie całego okna: dostępu „tylko do listy linków, ale nie do ustawień” nie da się nadać. Okno ustawień parsera i okno pobierania otworzy każdy, kto może otworzyć kartę źródła; dziennik parsowania sprawdza swoje uprawnienie osobno.

    Lewe menu z sekcją Słowniki rozwiniętą do Przetwarzanie cenników i pozycją Lista cenników
    1Lista cenników
    1. Lista cenników — jedyne wejście do wszystkich okien parsera strony.

    Przycisk i okno, które otwiera, nazywają się tak samo — „Ustawienia importu danych ze strony”, tak samo zapisano je na liście uprawnień; dalej w tekście to po prostu okno ustawień.

    Na liście źródeł wiersz parsera rozpoznasz po ikonie globusa i typie „Parser strony”. uniwersalny, jeśli na kroku „Kto” nie wpiszesz własnej nazwy, nazwie się domeną strony; gotowy moduł zachowa nazwę nadaną przez kreator.

    Źródło typu parser strony zaznaczone w oknie cenników, z przyciskami Ustawienia i Importuj w nagłówku prawego panelu
    1Wiersz źródła-parsera
    2Ustawienia
    3Importuj
    1. Wiersz źródła — ikona globusa oznacza źródło-parser, w odróżnieniu od źródeł plikowych.
    2. Ustawienia (koło zębate) — pojawia się tylko przy źródłach-parserach i otwiera ustawienia importu danych ze strony.
    3. Importuj — dla parsera otwiera okno pobierania i uruchamia przejście; tu nie kliknięty.

    Powiązane tematy

    • Jeśli porównujesz parser z innymi sposobami otrzymania cennika — Podłączenie źródła dostawcy: plik, link, e-mail, , .
    • Jeśli chcesz wiedzieć, co dalej stanie się z pobranymi produktami — Import cennika dostawcy: reguły stop i operacje po przejściu.
    • Jeśli potrzebujesz liczb z każdego przebiegu — Dziennik cennika.
    • Jeśli chcesz wiedzieć, jakie dokładnie pola pobiera parser — Co dokładnie parser pobiera z karty produktu.

    Czy ten artykuł był pomocny?

    Brakuje funkcji? Napisz do nas.

    Dodamy ją za darmo, jeśli przyda się też innym.

    Jeśli potrzebujesz jej tylko ty — umówimy się osobno.

    Spis treści

    Zaproponuj usprawnienie

    Wypróbuj Elbuz za darmo