↑↓ wybierzEnter otwórzEsc zamknij

    1. Elbuz

    Jak skonfigurować reguły parsowania strony w parserze strony

    10 min czytaniaZaktualizowano

    Według reguł parsowania Elbuz znajduje na każdej stronie serwisu nazwę, cenę, zdjęcia i parametry i wypełnia nimi cennik źródła. W doborze reguł pomagają kreator selektorów i AI.

    Kiedy to się przyda:

    • Serwis jest nowy, reguł jeszcze nie ma — kreator pokazuje gotowe selektory dla wszystkich grup linków na stronie.
    • Konfiguracja karty produktu zajmuje dużo czasu — AI dobiera selektory pól, sprawdza je na stronie i zapisuje w regułach.
    • Cena stoi obok tekstu lub w różnych blokach — zapasowe selektory i wyrażenie regularne czyszczą wartość.
    • Dane produktu są w JSON wewnątrz strony — kreator JSON pokazuje drzewo danych i sprawdza ścieżkę do wartości.

    Od czego zacząć: zakładka „Ustawienia importu” → krok 1, linki do kategorii.

    Co potrafią reguły parsowania

    • Zapasowe selektory — do czterech wariantów na pole: aplikacja bierze pierwszy, który dał wartość.
    • Obróbka wartości — lub tekst, czyszczenie, zamiana, wyrażenie regularne, cena z cyfr.
    • Test, kreator i AI — sprawdzić regułę na żywej stronie i dobrać selektor bez pisania go ręcznie.
    • Pobieranie bez otwierania kart — nazwy i ceny prosto ze strony kategorii.
    • Parametry — z tabeli na karcie lub z osobnej strony.
    • Dane z JSON — gdy serwis umieszcza produkt nie w kodzie HTML, lecz w obiekcie wewnątrz strony.

    Jak jest zbudowana tabela reguł

    Zakładkę „Ustawienia importu” ma tylko parser uniwersalny. To tabela reguł pogrupowana według operacji przejścia, a każda grupa to jeden krok procesu. Wiersze edytuje się bezpośrednio w komórce, po kliknięciu; przycisku „Zapisz” tu nie ma, tak jak na pozostałych zakładkach tego okna.

    Tabela reguł ustawień importu ze strony, pogrupowana według operacji
    1Grupa linków do produktów
    2Grupa karty produktu
    3Wiersz selektora operacji
    4Kolumna Selektor nr 1
    5Kolumna linku testowego
    6Ikona błyskawicy
    1. Grupa reguł dla listy linków do produktów.
    2. Grupa reguł dla pól karty produktu.
    3. Wiersz selektora operacji — tu zaczyna się parsowanie i tu są przyciski działań.
    4. Selektor nr 1 zawiera adres potrzebnego miejsca na stronie.
    5. Kolumna linku testowego musi być wypełniona, inaczej przyciski testu nie działają.
    6. Ikona błyskawicy uruchamia dobór selektorów kreatorem lub przez AI.

    W każdej grupie pierwszy wiersz nazywa się „Selektor operacji” — to adres samej listy lub bloku, od którego zaczyna się parsowanie całej grupy. Pozostałe wiersze to osobne pola produktu. Różnica jest ważna: jeśli nie zadziała „Selektor operacji”, nie zadziała cała grupa, bez względu na to, ile pól wypełnisz niżej.

    Dla operacji „Karta produktu” i „Atrybuty” „Selektor operacji” można zostawić pusty — wtedy aplikacja szuka pól na całej stronie. Dla dwóch operacji z listami pusty selektor oznacza, że na tym kroku przejście się zatrzyma.

    Cztery kolumny selektorów — i cztery różne znaczenia

    Każdy wiersz ma kolumny „Selektor nr 1” … „Selektor nr 4”. W wierszu pola to warianty zapasowe: aplikacja próbuje ich po kolei i zatrzymuje się na pierwszym, który dał wartość. To wygodne, gdy produkty w promocji mają inny kod niż zwykłe: w nr 1 wpisujesz wariant podstawowy, w nr 2 — promocyjny. Wyjątek to jedno pole, „Obraz”: tam sprawdzane są wszystkie cztery kolumny, a zdjęcia trafiają do jednej listy.

    Natomiast w wierszu „Selektor operacji” cztery kolumny oznaczają zupełnie różne rzeczy, zależnie od operacji:

    OperacjaSelektor nr 1Selektor nr 2Selektor nr 3Selektor nr 4
    Lista linków do kategorii produktów linki do kategorii jeszcze trzy selektory linków do kategorii: wykonywane są wszystkie cztery, wyniki trafiają do jednej listy
    Lista linków do produktów blok produktu lub link do karty linki paginacji link do bieżącej strony (adres kanoniczny) dodatkowe linki paginacji
    Karta produktu blok karty; pusto — cała strona — — linki do produktów-opcji: każdy stanie się osobnym zadaniem „Karta produktu”
    Atrybuty blok parametrów; pusto — cała strona wiersz parametru: bez niego operacja nic nie zbierze link do osobnej strony parametrów końcówka dopisywana do adresu karty, by otrzymać stronę parametrów

    Wynikają z tego dwie praktyczne konsekwencje. Paginację serwisu konfiguruje się nie w grupie „Lista linków do kategorii produktów”, jak sugeruje nazwa, lecz w „Selektorze nr 2” grupy „Lista linków do produktów”. A parametry z osobnej strony (np. „Dane techniczne” na osobnej zakładce) włącza się, wypełniając „Selektor nr 3” lub „nr 4” w grupie „Atrybuty”: gdy tylko coś się tam pojawi, aplikacja przestaje szukać parametrów na samej karcie i tworzy osobne zadanie dla drugiej strony.

    Co jeszcze można ustawić w wierszu reguły

    Pozostałe kolumny to obróbka już znalezionej wartości. Jej kolejność jest stała, a pomyłki w niej dają większość „dziwnych” wyników.

    1. Co pobrać. Domyślnie pobierany jest tekst elementu. Pole „Pobieraj HTML” zachowuje kod — potrzebne do opisu; „Dozwolone tagi HTML” zawęża go do wymienionych, np. <p><br><ul><li>.
    2. Adresy są uzupełniane. Link względny /catalog/nasosy/ zamienia się na pełny; #, javascript:, mailto: i tel: są odrzucane; końcówka ?click_track_data= jest obcinana.
    3. Automatyczne czyszczenie. Z tekstu usuwane są komentarze HTML, techniczne atrybuty tagów, emoji, spacje nierozdzielające i powtórzone spacje.
    4. „Tekst do usunięcia” — wycina z wyniku podany tekst. Kilka wartości oddziela się znakami |||.
    5. „Znajdź” / „Zamień” — trzy różne działania, zależnie od tego, co wypełniono. Oba pola — zwykła zamiana. Tylko „Zamień” — tekst jest dopisywany na końcu wartości. Tylko „Znajdź” — tekst jest wycinany.
    6. „Usuwaj linki” — usuwa z wyniku tagi linków; co dokładnie usuwać, własną domenę czy obce, ustalają dwa pola wyboru w sekcji rozwijanej „Dodatkowo”.
    7. Cena. W polach typu „cena” zostają tylko cyfry i separatory, separator tysięcy i dziesiętny są brane z ustawień cennika, wynik jest zaokrąglany do dwóch miejsc. Jeśli w jednej wartości są dwie ceny — stara i nowa obok siebie — brana jest niższa.
    8. „Wyrażenie regularne” — wyciąga fragment ze znalezionej wartości.
    9. „Separator wartości” — jeśli selektor znalazł kilka elementów, są łączone tym separatorem. Domyślnie przecinek, dla kategorii — „ / ”, dla zdjęć — |||.

    Dwie kolejne kolumny dotyczą nie wartości, lecz liczby. „Maks. liczba wyników” w wierszu „Selektor operacji” ogranicza, ile elementów pobrać z jednej strony: ustawisz 20 — w przebiegu z kategorii przyjdzie dwadzieścia produktów, bez względu na to, ile ich tam jest. W teście reguły to ograniczenie nie działa i wynik pokaże wszystko, co znaleziono. Natomiast liczbę stron paginacji budowanych według adresu ta sama wartość ogranicza i w teście, i w przebiegu. „Prefiks linku”, wbrew nazwie, jest dopisywany na końcu adresu — buduje się nim strony paginacji w rodzaju ?page=.

    „Wyrażenie regularne” działa różnie zależnie od tego, czy w wierszu jest selektor. Bez selektora aplikacja szuka wyrażenia na całej stronie i bierze każde dopasowanie pierwszego nawiasu. Razem z selektorem stosuje wyrażenie do znalezionej wartości i bierze drugie dopasowanie pierwszego nawiasu. Wyrażenie, które pasuje dokładnie raz, w parze z selektorem niczego więc nie zmienia: wartość zostaje taka, jaka była. Jeśli wyrażenie „nie działa”, najpierw sprawdź to, a nie samo wyrażenie.

    Jeszcze jeden drobiazg, łatwy do przeoczenia: jeśli zamiast selektora wpiszesz tekst w nawiasach klamrowych, stanie się on stałą wartością pola. {Nowa kolekcja} w polu „Producent” wpisze to słowo wszystkim produktom, niczego nie szukając na stronie.

    Jak dobrać i sprawdzić selektor

    Selektor pisze się w lub XPath; dla XPath w tym samym wierszu zaznacza się pole „XPath” — bez niego parsowanie strony przerywa się błędem. Składnia, ::attr(), pseudoklasy i gotowe przepisy dla każdego pola — w przewodniku po selektorach.

    W doborze selektora pomagają trzy różne przyciski i nie warto ich mylić.

    • Test reguły (ikona z poziomymi strzałkami w wierszu „Selektor operacji”) — otwiera stronę na sąsiedniej zakładce „Test pobierania” i pokazuje w lewym panelu „Wynik testu” to, co zwrócił selektor. Niczego nie zmienia w regułach.
    • Przycisk-błyskawica w tym samym wierszu — „Pobierz selektory ze strony”. Dla dwóch operacji z listami otwiera „Kreator konfiguracji parsera”, dla „Karty produktu” i „Atrybutów” — dobór przez sztuczną inteligencję. Oba warianty pobierają stronę serwisu.
    • Różdżka asystenta AI na pasku narzędzi zakładki „Lista linków”, podpowiedź „Asystent AI: utwórz selektor CSS lub XPath”. To rozmowa, a nie przycisk: wklejasz fragment HTML ze strony, asystent odpowiada gotowym selektorem i wyjaśnia, co dokładnie on wybiera. W tabeli reguł niczego nie zapisuje — selektor kopiujesz sam.
    Test reguły pokazuje w lewym panelu, ile linków znalazł selektor; zawężono selektor — liczba się zmieniła

    „Kreator konfiguracji parsera” także niczego nie zapisuje za Ciebie i to najważniejsze, co trzeba o nim wiedzieć. Pobiera stronę i pokazuje tabelę: „Aktywność”, „Nazwa”, „Link”, „Selektor”, „Łącznie linków”. Każdy wiersz to grupa podobnych linków ze strony i gotowy selektor CSS dla niej, a kolumna „Łącznie linków” pokazuje, ile linków ten selektor obejmuje.

    Podpowiedź u góry okna mówi wprost: „Poniżej znajduje się lista linków strony na podstawie stylów CSS (atrybut class ). Skopiuj właściwy selektor i wklej go w pole „Selektor operacji”.” Twoje zadanie to znaleźć wiersz, w którym liczba linków jest zbliżona do liczby kategorii (lub produktów w kategorii), i ręcznie przenieść jego selektor do tabeli reguł.

    Dobór przez sztuczną inteligencję działa inaczej: strona jest pobierana, kod czyszczony i przekazywany do modelu, zaproponowane selektory aplikacja od razu sprawdza na tej samej stronie, w razie niepowodzenia ponawia zapytanie raz dla pól, które nie zadziałały, i zapisuje wynik w regułach. Przed uruchomieniem okno pyta: „AI dobierze selektory dla tej operacji i ZASTĄPI nimi obecne ustawienia parsowania. Przywrócenie poprzednich wartości nie będzie możliwe.” Przycisk potwierdzenia ma napis „Dobierz i zastąp”.

    Tej zamiany nie da się cofnąć — ani przyciskiem, ani ponownym doborem. Jeśli selektory są skonfigurowane ręcznie i działają, skopiuj je sobie, zanim klikniesz błyskawicę.

    Wszystkie trzy przyciski w wierszu reguły wymagają wypełnionej kolumny „Link testowy”: dla operacji z listami — adresu kategorii, dla karty i atrybutów — adresu produktu. Przy pustej kolumnie błyskawica pokaże okno „Wystąpił problem!” z tekstem „Link testowy!”, a przycisk testu po prostu nic nie zrobi — bez żadnego komunikatu.

    Jak odczytać wynik testu

    Lewy panel „Wynik testu” to główne narzędzie konfiguracji i pokazuje dokładnie to, co zwróci przebieg. Wygląd zależy od operacji.

    • Dla dwóch operacji z listami — nagłówek z liczbą w nawiasie („Lista linków do kategorii produktów (37)”) i sama lista: nazwa, pod nią adres. Liczba w nawiasie to pierwsze, na co warto patrzeć: 0 oznacza martwy selektor, 300 zamiast 30 — że selektor objął całe menu serwisu razem ze stronami technicznymi.
    • Dla „Listy linków do produktów” pod listą jest drugi nagłówek — „Lista linków do stron listingu produktów (paginacja)” z takim samym licznikiem. Pusto tutaj — znaczy, że z kategorii przyjdzie tylko pierwsza strona.
    • Dla „Karty produktu” — lista pól z nazwami: „Nazwa”, „Cena”, „Kod (SKU) producenta” i dalej, każde ze swoją wartością. Niżej osobne bloki „Zdjęcia (8)” z miniaturami, „Wideo”, „Pliki”, „Atrybuty” i „Linki do produktów” (to produkty-opcje z „Selektora nr 4”).
    • Dla „Atrybutów” — pary „nazwa: wartość” i licznik w nagłówku.
    Karta „Test pobierania” po teście reguły „Lista linków do produktów”: po lewej nagłówek z liczbą znalezionych linków, lista linków i nagłówek paginacji z własnym licznikiem; po prawej testowana strona
    1Znalezione linki
    2Paginacja
    1. Liczba w nawiasie — sprawdź ją najpierw: 0 oznacza martwy selektor.
    2. Licznik paginacji: pusto tutaj oznacza, że z działu zostanie pobrana tylko pierwsza strona.

    Przy każdym znalezionym linku w wynikach pierwszej operacji jest kosz „Dodaj do listy ignorowanych” — zbędne kategorie odsiewa się stąd, a reguła trafia na , prowadzoną w osobnym oknie.

    Koszy w wierszu bywają dwa i tworzą różne reguły: przy nazwie — ignorowanie według nazwy kategorii, przy adresie — według adresu.

    Test i kreator selektorów pobierają stronę różnie, co widać, gdy serwis jest kapryśny. Test otwiera adres we wbudowanym oknie Twojej przeglądarki, a kod zwraca rozszerzenie Elbuz — czyli widzisz stronę taką, jaką widzi ją Twoja przeglądarka, z Twoimi plikami cookie. Kreator i dobór przez AI pobierają stronę serwerem Elbuz. Jeśli test pokazuje dane, a przebieg w trybie serwerowym — nie, przyczyna zwykle leży właśnie tu: serwis zwraca co innego przeglądarce, a co innego serwerowi.

    Zakładka testu w oknie ustawień importu ze strony: wynik dla Karty produktu po lewej, testowana strona po prawej
    1Panel wyniku testu
    2Pole adresu strony
    3Granica między panelami
    1. Panel wyniku testu wymienia wszystkie pola, które reguły wyciągnęły ze strony: kategorię, nazwę, producenta, kod SKU i kod kreskowy.
    2. Pole adresu strony zawiera adres strony, na której testowano reguły.
    3. Granica między panelami oddziela wyciągnięte wartości po lewej od strony, z której pochodzą, po prawej.

    Krok 1. Lista linków do kategorii produktów

    Co robi aplikacja. Otwiera jedną stronę — adres z pola „Link do kategorii”, a jeśli jest puste, stronę główną serwisu — i zbiera z niej wszystkie linki pasujące do selektora. Żadnego „inteligentnego” odsiewu tu nie ma: ile linków pasuje do selektora, tyle trafi do kolejki, razem z „Dostawą” i „Kontaktem”, jeśli są w tym samym menu.

    Co podajesz Ty. Jeden selektor linków w wierszu „Selektor operacji” — i w razie potrzeby jeszcze trzy w kolumnach nr 2–nr 4, jeśli kategorie na stronie mają różny kod (np. górne menu i kafelki na stronie głównej). Kolumna „Prefiks linku” działa tu jak końcówka: to, co w niej wpisano, jest dopisywane na końcu każdego znalezionego adresu.

    Jak sprawdzić. Przycisk testu w tym wierszu. Liczba w nagłówku wyniku powinna być zbliżona do liczby kategorii w katalogu serwisu.

    Nie wiesz, jaki selektor CSS wpisać dla linków do kategorii. Nie zgaduje się go, tylko bierze ze strony serwisu. Wpisz w kolumnę „Link testowy” adres strony głównej lub strony z menu kategorii i kliknij w wierszu „Selektor operacji” przycisk-błyskawicę „Pobierz selektory ze strony”.

    Otworzy się „Kreator konfiguracji parsera” (o trzech pomocnikach): każdy wiersz tabeli to grupa linków serwisu według klasy CSS, kolumna „Selektor” — gotowy selektor CSS dla niej, „Łącznie linków” — ile adresów obejmuje. Znajdź wiersz, w którym liczba jest zbliżona do liczby kategorii katalogu, a linki w kolumnie „Link” prowadzą do kategorii, skopiuj „Selektor” do „Selektora operacji” i sprawdź testem reguły. Do reguł kreator sam niczego nie zapisuje.

    Okno „Kreator konfiguracji parsera”: podpowiedź u góry i tabela grup linków strony z kolumnami „Selektor” i „Łącznie linków”
    1Selektor
    2Łącznie linków
    3Link
    1. „Selektor” — to kopiujesz do pola „Selektor operacji”.
    2. „Łącznie linków” — powinno być zbliżone do liczby działów katalogu.
    3. „Link” — pokazuje, że grupa prowadzi do kategorii.

    Co widać przy błędzie. Jeśli selektor nic nie znalazł, w dzienniku parsowania zostanie jeden wiersz z kodem 200 — strona przyszła, a zadań następnego kroku nie ma. W podglądzie wygląda to jak natychmiastowe „Zadanie zakończone”.

    Jeśli włączone jest „Automatyczne wyszukiwanie selektorów”, a kolumna jest pusta, działanie jest inne. Aplikacja najpierw usuwa ze strony stopkę, kolumny boczne i skrypty, potem sprawdza czterdzieści osiem typowych selektorów menu i katalogu, bierze do czterech różnych i zapisuje je w pustych kolumnach reguły. Przy okazji odrzuca linki według listy słów technicznych — „Оплата”, „Доставка”, „Контакти”, „Блог”, „Кошик”, „Порівняти” (płatność, dostawa, kontakt, blog, koszyk, porównanie; lista ma ukraińskie i rosyjskie nazwy, a w adresach także payment, delivery, contact), przełączniki języków i strony logowania. Dlatego po teście z włączonym wyszukiwaniem automatycznym tabela reguł jest odczytywana ponownie: są w niej już dobrane selektory.

    Krok 2. Lista linków do produktów

    Co robi aplikacja. Otwiera stronę kategorii i robi naraz dwie rzeczy: zbiera linki do kart produktów i zbiera adresy kolejnych stron tej kategorii. Dla każdego produktu powstaje zadanie „Karta produktu”, dla każdej strony paginacji — kolejne zadanie tego samego kroku.

    Co podajesz Ty. „Selektor nr 1” — blok produktu w listingu (np. div.product-item) lub link do karty. „Selektor nr 2” — linki paginacji. Jeśli serwis nie ma linków paginacji, a strony buduje się adresem, przydadzą się trzy specjalne kolumny: „Selektor łącznej liczby stron”, „Selektor łącznej liczby produktów” i „Selektor liczby produktów na stronie” — na ich podstawie aplikacja obliczy liczbę stron i sama zbuduje adresy, dopisując „Prefiks linku” i numer (np. ?page=).

    Osobny przypadek — „Produkty w tej operacji”. To pole wyboru w tym samym wierszu „Selektor operacji”. Jeśli jest zaznaczone, karty produktów w ogóle się nie otwierają: nazwa, cena, dostępność i zdjęcia są brane prosto z listingu, a wypełnić trzeba już nie jeden selektor, lecz wiersze pól w tej samej grupie. Właśnie je włącza przełącznik kreatora „Pobieraj produkty i ceny bez otwierania karty”.

    W trybie „produkty prosto z listingu” produkt bez nazwy lub bez adresu nie jest w ogóle zapisywany. Dlatego pole „Link do produktu (URL)” jest w tej grupie tak samo obowiązkowe jak nazwa: bez niego przebieg zakończy się bez błędów, a w cenniku nie będzie ani jednego wiersza.

    Jak sprawdzić. Test na adresie kategorii. W wyniku powinny być dwa liczniki: produkty i paginacja. Jeśli zaznaczone jest „Produkty w tej operacji”, zamiast listy linków pojawi się lista pól każdego produktu — od razu widać, czy cena nie zlała się ze starą ceną.

    Co widać przy błędzie. Pusta lista oznacza, że selektor bloku nie pasuje do układu strony. A jeśli na stronie kategorii w ogóle nie ma produktów — zdarza się to, gdy kategoria składa się z podkategorii — aplikacja się nie poddaje: próbuje przeanalizować tę samą stronę regułami pierwszego kroku i pobrać z niej linki do podkategorii.

    Jeszcze jedna kolumna tej grupy ratuje na serwisach, w których wyszukiwanie czasem otwiera od razu kartę produktu zamiast listy: „Tekst na stronie do przejścia do następnej operacji”. Jeśli podany tekst znajdzie się na stronie, aplikacja nie szuka linków, tylko analizuje tę stronę jak kartę produktu.

    I ostatnie zabezpieczenie tego kroku: jeśli w trybie „produkty prosto z listingu” selektory nie dały ani jednego produktu, a na stronie są znaczniki produktów dla wyszukiwarek, aplikacja próbuje zebrać produkty z nich. W „Karcie produktu” takiego zabezpieczenia nie ma.

    Krok 3. Karta produktu

    Co robi aplikacja. Otwiera stronę produktu i wypełnia pola cennika — po jednym wierszu reguły na każde pole. Zdjęcia, wideo i pliki trafiają do osobnych list produktu. Jeśli w „Selektorze nr 4” jest selektor linków, każdy znaleziony link staje się kolejnym zadaniem „Karta produktu” — tak pobiera się produkty-opcje, które w serwisie mają osobne strony.

    Co podajesz Ty. Selektory pól. Od początku wypełnione jest jedno — h1 dla nazwy. Pusty wiersz oznacza „tego pola nie zbierać”: żadne wartości domyślne się do niego nie wstawią.

    Pełna lista pól karty i to, co dzieje się z każdym w drodze do katalogu — w artykule Co dokładnie parser pobiera z karty produktu.

    Jak sprawdzić. Test na adresie dowolnego produktu. W lewym panelu będzie lista pól z wartościami i blok „Zdjęcia” z miniaturami — widać zarówno to, co się zebrało, jak i to, co zebrało się nie tak.

    Co widać przy błędzie. Puste pole w wyniku testu — pusty lub martwy selektor. Produkt w cenniku bez nazwy — ten sam przypadek, tylko już po przebiegu.

    Kilka drobiazgów aplikacja robi sama i nie trzeba na nie zużywać selektorów. Kategoria produktu, jeśli pole „Kategoria z cennika” jest puste, jest brana z „okruszków” (breadcrumbs) w kodzie strony, a słowa w rodzaju „Home / ”, „Головна / ” i „Каталог / ” z początku są odrzucane. Link do YouTube, który trafił do pola „Obraz”, idzie do wideo, a nie do zdjęć. Obrazy-zaślepki o nazwach placeholder, no-photo, empty, no_image, no-image i obrazy z /brand/ nie są zapisywane.

    Krok 4. Atrybuty

    Co robi aplikacja. Analizuje tabelę parametrów wiersz po wierszu i zapisuje pary „nazwa — wartość”. Jeśli „Selektor nr 3” i „nr 4” są puste, parametrów szuka się na tej samej stronie karty, od razu po jej przeanalizowaniu. Jeśli coś w nich jest, parametry są brane z osobnej strony i powstaje dla niej własne zadanie.

    Co podajesz Ty. Cztery wiersze: „Selektor operacji” — blok parametrów (np. table.specs) lub pusto, jeśli bloku nie da się wydzielić; „Selektor nr 2” w tym samym wierszu — selektor jednego wiersza parametru (tr); dalej osobne wiersze „Nazwa atrybutu” i „Wartość atrybutu” — to już komórki wewnątrz wiersza (td.name i td.value). Dwa kolejne wiersze, „Nazwa bloku atrybutów” i „Opis atrybutu”, są potrzebne serwisom, w których parametry są podzielone na sekcje.

    Jak sprawdzić. Test na adresie produktu: w wyniku będzie „Atrybuty (N)” i same pary. Jeśli parametry są brane z osobnej strony, w wyniku testu pojawi się wiersz z jej adresem — to normalne, znaczy, że aplikacja znalazła, dokąd iść.

    Co widać przy błędzie. Pusty „Selektor nr 2” — parametry nie zostaną zebrane wcale, nawet jeśli reszta jest wypełniona: bez selektora wiersza operacja kończy się, nic nie robiąc. Jednakowa nazwa i wartość w parze — selektory komórek wskazują ten sam element; takie pary aplikacja odrzuca sama.

    Produkty są w JSON bezpośrednio na stronie

    Wiele serwisów umieszcza dane produktu nie w kodzie HTML, lecz w obiekcie JSON wewnątrz strony — w tagu <script> lub w atrybucie w rodzaju data-product. strony potrafi pobierać dane stamtąd, ale tylko w grupach „Karta produktu” i „Atrybuty”: dla list linków nie jest analizowany. W wierszu „Selektor operacji” każdej grupy jest ikona pliku z kodem, podpowiedź „Skonfiguruj pobieranie z JSON”. Otwiera ona okno „Kreator konfiguracji pobierania danych z formatu JSON”.

    Okno kreatora konfiguracji danych JSON z polem wyrażenia regularnego, przyciskiem Pobierz JSON, zakładkami Drzewo danych i Otrzymany kod oraz polem wyrażenia do testu pobierania danych
    1Wyrażenie regularne do pobrania tekstu JSON
    2Przycisk Pobierz JSON
    3Zakładka Drzewo danych
    4Wyrażenie do testu pobierania danych
    1. Pole wyrażenia regularnego — wycina tekst JSON z kodu strony.
    2. Przycisk Pobierz JSON — pobiera stronę i stosuje wyrażenie (podczas zdjęcia nie kliknięty).
    3. Zakładka Drzewo danych — pokazuje otrzymany JSON jako drzewo; sąsiednia zakładka Otrzymany kod pokazuje surowy tekst.
    4. Wyrażenie do testu pobierania danych — ścieżka w drzewie, którą sprawdza przycisk Sprawdź.
    1. W wierszu „Selektor operacji” wypełnij kolumnę „Link testowy” adresem karty produktu — kreator pobiera stronę właśnie stamtąd.
    2. W polu „Wyrażenie regularne do pobrania tekstu w formacie JSON” wpisz wyrażenie, które wycina JSON ze strony; potrzebna część jest brana z pierwszej grupy w nawiasie. Na przykład dla <script>var product = {...};</script> pasuje var product = (\{.*?\});, dla atrybutu — data-product_variations="(.*?)". Pole zapisuje się samo, gdy tylko je zmienisz — do kolumny „Wyrażenie regularne do pobrania JSON” tego wiersza reguły.
    3. Kliknij „Pobierz JSON”. Kreator bierze już zapisane wyrażenie i na zakładce „Drzewo danych” pokazuje strukturę obiektu, na zakładce „Otrzymany kod” — surowy tekst. Pusto — wyrażenie niczego nie wycięło albo wycięty fragment nie jest poprawnym JSON.
    4. W polu „Wyrażenie do testu pobierania danych” wypróbuj ścieżkę do potrzebnej wartości, np. name lub offers.price, i kliknij „Sprawdź”.

    Ręcznie w tabeli reguł zostają dwie rzeczy: zaznaczyć w wierszu „Selektor operacji” pole „JSON” i w wierszach pól („Nazwa”, „Cena”…) wpisać w „Selektor nr 1” zamiast CSS ścieżkę w JSON — w języku JMESPath, tym samym co w polu testu.

    Jeśli wyrażenie znajduje na stronie kilka dopasowań, kreator pokazuje ostatnie, a parser podczas przebiegu bierze pierwsze. Ścieżki sprawdzone w kreatorze mogą wtedy nie zadziałać w przebiegu — doprecyzuj wyrażenie tak, by dopasowanie było jedno. Kreator pobiera stronę z serwera bezpośrednio, bez rozszerzenia i proxy, więc serwis blokujący serwery może w kreatorze zwrócić pusty wynik, choć w przeglądarce się otwiera.

    Scenariusze

    Wystarczą nazwa i cena, kart nie trzeba otwierać

    W grupie „Lista linków do produktów” zaznacz w wierszu „Selektor operacji” pole „Produkty w tej operacji” i wypełnij w tej samej grupie wiersze pól: „Nazwa”, „Link do produktu (URL)”, „Cena”. Produkty są zbierane prosto ze strony kategorii, zadania „Karta produktu” nie powstają.

    Czego nie będzie: parametrów i wszystkiego, co jest tylko na karcie, a nie na stronie kategorii. Produkt bez nazwy lub bez adresu nie zostanie zapisany wcale — dlatego pole „Link do produktu (URL)” jest tu obowiązkowe.

    Parametry są na osobnej zakładce serwisu

    W grupie „Atrybuty” wypełnij w wierszu „Selektor operacji” „Selektor nr 3” — link do strony parametrów — albo „Selektor nr 4” — końcówkę dopisywaną do adresu karty. Aplikacja przestanie szukać parametrów na samej karcie i utworzy osobne zadanie dla drugiej strony.

    Czego nie będzie: bez „Selektora nr 2” — wiersza parametru — pary „nazwa — wartość” nie zostaną zebrane ani na karcie, ani na osobnej stronie.

    Serwis nie ma linków paginacji, strony buduje się adresem

    W grupie „Lista linków do produktów” wypełnij „Selektor łącznej liczby stron” albo parę „Selektor łącznej liczby produktów” i „Selektor liczby produktów na stronie”, a w „Prefiks linku” — końcówkę w rodzaju ?page=. Aplikacja obliczy liczbę stron i sama zbuduje adresy.

    Czego nie będzie: „Maks. liczba wyników” ogranicza też liczbę budowanych stron — i w teście, i w przebiegu.

    Co zrobić, gdy reguła nie działa

    Co widziszDlaczego tak jestCo zrobić
    Test reguły pokazuje pusty panel, choć selektor skopiowano z przeglądarki W wierszu zapisano XPath, a pole „XPath” nie jest zaznaczone — albo selektor CSS ma błąd składni. Parsowanie strony w takim przypadku przerywa się, zamiast zwrócić pustą listę Zaznaczyć pole „XPath” w tym samym wierszu lub poprawić selektor (o selektorach)
    „Wyrażenie regularne” w wierszu reguły niczego nie zmienia Razem z selektorem wyrażenie bierze drugie dopasowanie pierwszego nawiasu. Jeśli dopasowanie jest jedno, wartość zostaje bez zmian Usunąć selektor z wiersza, by wyrażenie szukało na całej stronie, albo przepisać wyrażenie tak, by potrzebny fragment był drugim dopasowaniem (obróbka wartości)
    Atrybuty nie są zbierane, choć selektory nazwy i wartości są wypełnione Pusty „Selektor nr 2” w wierszu „Selektor operacji” grupy „Atrybuty”: bez selektora wiersza parametru operacja kończy się, nic nie robiąc Wpisać w „Selektor nr 2” selektor jednego wiersza parametru, zwykle tr (krok „Atrybuty”)
    W trybie „bez otwierania karty” przebieg się kończy, a cennik jest pusty Produkt bez nazwy lub bez adresu nie jest zapisywany. Najczęściej nie wypełniono pola „Link do produktu (URL)” w grupie „Lista linków do produktów” Wypełnić w tej grupie oba pola — „Nazwa” i „Link do produktu (URL)” (krok „Lista linków do produktów”)
    Okno „Wystąpił problem!” z tekstem „Link testowy!” Kliknięto przycisk-błyskawicę, a kolumna „Link testowy” w wierszu jest pusta Wpisać w tę kolumnę adres strony właściwego rodzaju: kategorii — dla operacji z listami, karty produktu — dla karty i atrybutów

    Najczęstsze pytania

    Konfiguruję parser nowego dostawcy i nie wiem, jaki selektor CSS ustawić dla linków do kategorii. Jak go dobrać?

    Kreatorem: wpisz w „Link testowy” adres strony z menu kategorii i kliknij błyskawicę w wierszu „Selektor operacji”. Skopiuj selektor wiersza, w którym „Łącznie linków” jest zbliżone do liczby kategorii, i sprawdź testem (krok po kroku).

    Gdzie w ustawieniach konfiguruje się paginację?

    W grupie „Lista linków do produktów”, wiersz „Selektor operacji”, kolumna „Selektor nr 2”. Jeśli linków paginacji nie ma, strony buduje się adresem — zob. krok 2.

    Test reguły pokazuje pusty wynik, choć selektor skopiowano z przeglądarki. Co jest nie tak?

    Trzy przyczyny: XPath bez zaznaczonego pola „XPath”; w „Linku testowym” jest strona niewłaściwego rodzaju — kategoria zamiast karty; serwis zwraca serwerowi co innego niż przeglądarce. Więcej: jak odczytać wynik testu.

    Po kliknięciu przycisku doboru selektorów przez sztuczną inteligencję chcę wrócić do starych wartości. Czy to możliwe?

    Nie. Po potwierdzeniu „Dobierz i zastąp” nie ma cofnięcia: selektory trzeba będzie wpisać od nowa lub dobrać jeszcze raz. Przed kliknięciem błyskawicy skopiuj sobie działające wartości.

    Czy można ustawić jedną wartość wszystkim produktom, nie szukając jej na stronie?

    Tak: zamiast selektora wpisz tekst w nawiasach klamrowych. {Nowa kolekcja} w polu „Producent” wpisze to słowo wszystkim produktom.

    Gdzie to jest i kto ma dostęp

    Menu
    Słowniki → Przetwarzanie cenników → Lista cenników
    Tabela reguł
    wiersz „Parser strony” → „Ustawienia” → zakładka „Ustawienia importu”
    Uprawnienia
    okno „Cenniki”
    Przygotuj
    adres kategorii i adres karty produktu — do testu reguł

    Powiązane tematy

    Czy ten artykuł był pomocny?

    Brakuje funkcji? Napisz do nas.

    Dodamy ją za darmo, jeśli przyda się też innym.

    Jeśli potrzebujesz jej tylko ty — umówimy się osobno.

    Spis treści

    Zaproponuj usprawnienie

    Wypróbuj Elbuz za darmo