Według reguł parsowania Elbuz znajduje na każdej stronie serwisu nazwę, cenę, zdjęcia i parametry i wypełnia nimi cennik źródła. W doborze reguł pomagają kreator selektorów i AI.
Kiedy to się przyda:
- Serwis jest nowy, reguł jeszcze nie ma — kreator pokazuje gotowe selektory dla wszystkich grup linków na stronie.
- Konfiguracja karty produktu zajmuje dużo czasu — AI dobiera selektory pól, sprawdza je na stronie i zapisuje w regułach.
- Cena stoi obok tekstu lub w różnych blokach — zapasowe selektory i wyrażenie regularne czyszczą wartość.
- Dane produktu są w JSON wewnątrz strony — kreator JSON pokazuje drzewo danych i sprawdza ścieżkę do wartości.
Od czego zacząć: zakładka „Ustawienia importu” → krok 1, linki do kategorii.
Co potrafią reguły parsowania
- Zapasowe selektory — do czterech wariantów na pole: aplikacja bierze pierwszy, który dał wartość.
- Obróbka wartości — lub tekst, czyszczenie, zamiana, wyrażenie regularne, cena z cyfr.
- Test, kreator i AI — sprawdzić regułę na żywej stronie i dobrać selektor bez pisania go ręcznie.
- Pobieranie bez otwierania kart — nazwy i ceny prosto ze strony kategorii.
- Parametry — z tabeli na karcie lub z osobnej strony.
- Dane z JSON — gdy serwis umieszcza produkt nie w kodzie HTML, lecz w obiekcie wewnątrz strony.
Jak jest zbudowana tabela reguł
Zakładkę „Ustawienia importu” ma tylko parser uniwersalny. To tabela reguł pogrupowana według operacji przejścia, a każda grupa to jeden krok procesu. Wiersze edytuje się bezpośrednio w komórce, po kliknięciu; przycisku „Zapisz” tu nie ma, tak jak na pozostałych zakładkach tego okna.
1
Grupa linków do produktów2
Grupa karty produktu3
Wiersz selektora operacji4
Kolumna Selektor nr 15
Kolumna linku testowego6
Ikona błyskawicy- Grupa reguł dla listy linków do produktów.
- Grupa reguł dla pól karty produktu.
- Wiersz selektora operacji — tu zaczyna się parsowanie i tu są przyciski działań.
- Selektor nr 1 zawiera adres potrzebnego miejsca na stronie.
- Kolumna linku testowego musi być wypełniona, inaczej przyciski testu nie działają.
- Ikona błyskawicy uruchamia dobór selektorów kreatorem lub przez AI.
W każdej grupie pierwszy wiersz nazywa się „Selektor operacji” — to adres samej listy lub bloku, od którego zaczyna się parsowanie całej grupy. Pozostałe wiersze to osobne pola produktu. Różnica jest ważna: jeśli nie zadziała „Selektor operacji”, nie zadziała cała grupa, bez względu na to, ile pól wypełnisz niżej.
Dla operacji „Karta produktu” i „Atrybuty” „Selektor operacji” można zostawić pusty — wtedy aplikacja szuka pól na całej stronie. Dla dwóch operacji z listami pusty selektor oznacza, że na tym kroku przejście się zatrzyma.
Cztery kolumny selektorów — i cztery różne znaczenia
Każdy wiersz ma kolumny „Selektor nr 1” … „Selektor nr 4”. W wierszu pola to warianty zapasowe: aplikacja próbuje ich po kolei i zatrzymuje się na pierwszym, który dał wartość. To wygodne, gdy produkty w promocji mają inny kod niż zwykłe: w nr 1 wpisujesz wariant podstawowy, w nr 2 — promocyjny. Wyjątek to jedno pole, „Obraz”: tam sprawdzane są wszystkie cztery kolumny, a zdjęcia trafiają do jednej listy.
Natomiast w wierszu „Selektor operacji” cztery kolumny oznaczają zupełnie różne rzeczy, zależnie od operacji:
| Operacja | Selektor nr 1 | Selektor nr 2 | Selektor nr 3 | Selektor nr 4 |
|---|---|---|---|---|
| Lista linków do kategorii produktów | linki do kategorii | jeszcze trzy selektory linków do kategorii: wykonywane są wszystkie cztery, wyniki trafiają do jednej listy | ||
| Lista linków do produktów | blok produktu lub link do karty | linki paginacji | link do bieżącej strony (adres kanoniczny) | dodatkowe linki paginacji |
| Karta produktu | blok karty; pusto — cała strona | — | — | linki do produktów-opcji: każdy stanie się osobnym zadaniem „Karta produktu” |
| Atrybuty | blok parametrów; pusto — cała strona | wiersz parametru: bez niego operacja nic nie zbierze | link do osobnej strony parametrów | końcówka dopisywana do adresu karty, by otrzymać stronę parametrów |
Wynikają z tego dwie praktyczne konsekwencje. Paginację serwisu konfiguruje się nie w grupie „Lista linków do kategorii produktów”, jak sugeruje nazwa, lecz w „Selektorze nr 2” grupy „Lista linków do produktów”. A parametry z osobnej strony (np. „Dane techniczne” na osobnej zakładce) włącza się, wypełniając „Selektor nr 3” lub „nr 4” w grupie „Atrybuty”: gdy tylko coś się tam pojawi, aplikacja przestaje szukać parametrów na samej karcie i tworzy osobne zadanie dla drugiej strony.
Co jeszcze można ustawić w wierszu reguły
Pozostałe kolumny to obróbka już znalezionej wartości. Jej kolejność jest stała, a pomyłki w niej dają większość „dziwnych” wyników.
- Co pobrać. Domyślnie pobierany jest tekst elementu. Pole „Pobieraj HTML” zachowuje kod — potrzebne do opisu; „Dozwolone tagi HTML” zawęża go do wymienionych, np.
<p><br><ul><li>. - Adresy są uzupełniane. Link względny
/catalog/nasosy/zamienia się na pełny;#,javascript:,mailto:itel:są odrzucane; końcówka?click_track_data=jest obcinana. - Automatyczne czyszczenie. Z tekstu usuwane są komentarze HTML, techniczne atrybuty tagów, emoji, spacje nierozdzielające i powtórzone spacje.
- „Tekst do usunięcia” — wycina z wyniku podany tekst. Kilka wartości oddziela się znakami
|||. - „Znajdź” / „Zamień” — trzy różne działania, zależnie od tego, co wypełniono. Oba pola — zwykła zamiana. Tylko „Zamień” — tekst jest dopisywany na końcu wartości. Tylko „Znajdź” — tekst jest wycinany.
- „Usuwaj linki” — usuwa z wyniku tagi linków; co dokładnie usuwać, własną domenę czy obce, ustalają dwa pola wyboru w sekcji rozwijanej „Dodatkowo”.
- Cena. W polach typu „cena” zostają tylko cyfry i separatory, separator tysięcy i dziesiętny są brane z ustawień cennika, wynik jest zaokrąglany do dwóch miejsc. Jeśli w jednej wartości są dwie ceny — stara i nowa obok siebie — brana jest niższa.
- „Wyrażenie regularne” — wyciąga fragment ze znalezionej wartości.
- „Separator wartości” — jeśli selektor znalazł kilka elementów, są łączone tym separatorem. Domyślnie przecinek, dla kategorii — „ / ”, dla zdjęć —
|||.
Dwie kolejne kolumny dotyczą nie wartości, lecz liczby. „Maks. liczba wyników” w wierszu „Selektor operacji” ogranicza, ile elementów pobrać z jednej strony: ustawisz 20 — w przebiegu z kategorii przyjdzie dwadzieścia produktów, bez względu na to, ile ich tam jest. W teście reguły to ograniczenie nie działa i wynik pokaże wszystko, co znaleziono. Natomiast liczbę stron paginacji budowanych według adresu ta sama wartość ogranicza i w teście, i w przebiegu. „Prefiks linku”, wbrew nazwie, jest dopisywany na końcu adresu — buduje się nim strony paginacji w rodzaju ?page=.
„Wyrażenie regularne” działa różnie zależnie od tego, czy w wierszu jest selektor. Bez selektora aplikacja szuka wyrażenia na całej stronie i bierze każde dopasowanie pierwszego nawiasu. Razem z selektorem stosuje wyrażenie do znalezionej wartości i bierze drugie dopasowanie pierwszego nawiasu. Wyrażenie, które pasuje dokładnie raz, w parze z selektorem niczego więc nie zmienia: wartość zostaje taka, jaka była. Jeśli wyrażenie „nie działa”, najpierw sprawdź to, a nie samo wyrażenie.
Jeszcze jeden drobiazg, łatwy do przeoczenia: jeśli zamiast selektora wpiszesz tekst w nawiasach klamrowych, stanie się on stałą wartością pola. {Nowa kolekcja} w polu „Producent” wpisze to słowo wszystkim produktom, niczego nie szukając na stronie.
Jak dobrać i sprawdzić selektor
Selektor pisze się w lub XPath; dla XPath w tym samym wierszu zaznacza się pole „XPath” — bez niego parsowanie strony przerywa się błędem. Składnia, ::attr(), pseudoklasy i gotowe przepisy dla każdego pola — w przewodniku po selektorach.
W doborze selektora pomagają trzy różne przyciski i nie warto ich mylić.
- Test reguły (ikona z poziomymi strzałkami w wierszu „Selektor operacji”) — otwiera stronę na sąsiedniej zakładce „Test pobierania” i pokazuje w lewym panelu „Wynik testu” to, co zwrócił selektor. Niczego nie zmienia w regułach.
- Przycisk-błyskawica w tym samym wierszu — „Pobierz selektory ze strony”. Dla dwóch operacji z listami otwiera „Kreator konfiguracji parsera”, dla „Karty produktu” i „Atrybutów” — dobór przez sztuczną inteligencję. Oba warianty pobierają stronę serwisu.
- Różdżka asystenta AI na pasku narzędzi zakładki „Lista linków”, podpowiedź „Asystent AI: utwórz selektor CSS lub XPath”. To rozmowa, a nie przycisk: wklejasz fragment HTML ze strony, asystent odpowiada gotowym selektorem i wyjaśnia, co dokładnie on wybiera. W tabeli reguł niczego nie zapisuje — selektor kopiujesz sam.
„Kreator konfiguracji parsera” także niczego nie zapisuje za Ciebie i to najważniejsze, co trzeba o nim wiedzieć. Pobiera stronę i pokazuje tabelę: „Aktywność”, „Nazwa”, „Link”, „Selektor”, „Łącznie linków”. Każdy wiersz to grupa podobnych linków ze strony i gotowy selektor CSS dla niej, a kolumna „Łącznie linków” pokazuje, ile linków ten selektor obejmuje.
Podpowiedź u góry okna mówi wprost: „Poniżej znajduje się lista linków strony na podstawie stylów CSS (atrybut class ). Skopiuj właściwy selektor i wklej go w pole „Selektor operacji”.” Twoje zadanie to znaleźć wiersz, w którym liczba linków jest zbliżona do liczby kategorii (lub produktów w kategorii), i ręcznie przenieść jego selektor do tabeli reguł.
Dobór przez sztuczną inteligencję działa inaczej: strona jest pobierana, kod czyszczony i przekazywany do modelu, zaproponowane selektory aplikacja od razu sprawdza na tej samej stronie, w razie niepowodzenia ponawia zapytanie raz dla pól, które nie zadziałały, i zapisuje wynik w regułach. Przed uruchomieniem okno pyta: „AI dobierze selektory dla tej operacji i ZASTĄPI nimi obecne ustawienia parsowania. Przywrócenie poprzednich wartości nie będzie możliwe.” Przycisk potwierdzenia ma napis „Dobierz i zastąp”.
Tej zamiany nie da się cofnąć — ani przyciskiem, ani ponownym doborem. Jeśli selektory są skonfigurowane ręcznie i działają, skopiuj je sobie, zanim klikniesz błyskawicę.
Wszystkie trzy przyciski w wierszu reguły wymagają wypełnionej kolumny „Link testowy”: dla operacji z listami — adresu kategorii, dla karty i atrybutów — adresu produktu. Przy pustej kolumnie błyskawica pokaże okno „Wystąpił problem!” z tekstem „Link testowy!”, a przycisk testu po prostu nic nie zrobi — bez żadnego komunikatu.
Jak odczytać wynik testu
Lewy panel „Wynik testu” to główne narzędzie konfiguracji i pokazuje dokładnie to, co zwróci przebieg. Wygląd zależy od operacji.
- Dla dwóch operacji z listami — nagłówek z liczbą w nawiasie („Lista linków do kategorii produktów (37)”) i sama lista: nazwa, pod nią adres. Liczba w nawiasie to pierwsze, na co warto patrzeć: 0 oznacza martwy selektor, 300 zamiast 30 — że selektor objął całe menu serwisu razem ze stronami technicznymi.
- Dla „Listy linków do produktów” pod listą jest drugi nagłówek — „Lista linków do stron listingu produktów (paginacja)” z takim samym licznikiem. Pusto tutaj — znaczy, że z kategorii przyjdzie tylko pierwsza strona.
- Dla „Karty produktu” — lista pól z nazwami: „Nazwa”, „Cena”, „Kod (SKU) producenta” i dalej, każde ze swoją wartością. Niżej osobne bloki „Zdjęcia (8)” z miniaturami, „Wideo”, „Pliki”, „Atrybuty” i „Linki do produktów” (to produkty-opcje z „Selektora nr 4”).
- Dla „Atrybutów” — pary „nazwa: wartość” i licznik w nagłówku.
1
Znalezione linki2
Paginacja- Liczba w nawiasie — sprawdź ją najpierw: 0 oznacza martwy selektor.
- Licznik paginacji: pusto tutaj oznacza, że z działu zostanie pobrana tylko pierwsza strona.
Przy każdym znalezionym linku w wynikach pierwszej operacji jest kosz „Dodaj do listy ignorowanych” — zbędne kategorie odsiewa się stąd, a reguła trafia na , prowadzoną w osobnym oknie.
Koszy w wierszu bywają dwa i tworzą różne reguły: przy nazwie — ignorowanie według nazwy kategorii, przy adresie — według adresu.
Test i kreator selektorów pobierają stronę różnie, co widać, gdy serwis jest kapryśny. Test otwiera adres we wbudowanym oknie Twojej przeglądarki, a kod zwraca rozszerzenie Elbuz — czyli widzisz stronę taką, jaką widzi ją Twoja przeglądarka, z Twoimi plikami cookie. Kreator i dobór przez AI pobierają stronę serwerem Elbuz. Jeśli test pokazuje dane, a przebieg w trybie serwerowym — nie, przyczyna zwykle leży właśnie tu: serwis zwraca co innego przeglądarce, a co innego serwerowi.
1
Panel wyniku testu2
Pole adresu strony3
Granica między panelami- Panel wyniku testu wymienia wszystkie pola, które reguły wyciągnęły ze strony: kategorię, nazwę, producenta, kod SKU i kod kreskowy.
- Pole adresu strony zawiera adres strony, na której testowano reguły.
- Granica między panelami oddziela wyciągnięte wartości po lewej od strony, z której pochodzą, po prawej.
Krok 1. Lista linków do kategorii produktów
Co robi aplikacja. Otwiera jedną stronę — adres z pola „Link do kategorii”, a jeśli jest puste, stronę główną serwisu — i zbiera z niej wszystkie linki pasujące do selektora. Żadnego „inteligentnego” odsiewu tu nie ma: ile linków pasuje do selektora, tyle trafi do kolejki, razem z „Dostawą” i „Kontaktem”, jeśli są w tym samym menu.
Co podajesz Ty. Jeden selektor linków w wierszu „Selektor operacji” — i w razie potrzeby jeszcze trzy w kolumnach nr 2–nr 4, jeśli kategorie na stronie mają różny kod (np. górne menu i kafelki na stronie głównej). Kolumna „Prefiks linku” działa tu jak końcówka: to, co w niej wpisano, jest dopisywane na końcu każdego znalezionego adresu.
Jak sprawdzić. Przycisk testu w tym wierszu. Liczba w nagłówku wyniku powinna być zbliżona do liczby kategorii w katalogu serwisu.
Nie wiesz, jaki selektor CSS wpisać dla linków do kategorii. Nie zgaduje się go, tylko bierze ze strony serwisu. Wpisz w kolumnę „Link testowy” adres strony głównej lub strony z menu kategorii i kliknij w wierszu „Selektor operacji” przycisk-błyskawicę „Pobierz selektory ze strony”.
Otworzy się „Kreator konfiguracji parsera” (o trzech pomocnikach): każdy wiersz tabeli to grupa linków serwisu według klasy CSS, kolumna „Selektor” — gotowy selektor CSS dla niej, „Łącznie linków” — ile adresów obejmuje. Znajdź wiersz, w którym liczba jest zbliżona do liczby kategorii katalogu, a linki w kolumnie „Link” prowadzą do kategorii, skopiuj „Selektor” do „Selektora operacji” i sprawdź testem reguły. Do reguł kreator sam niczego nie zapisuje.
1
Selektor2
Łącznie linków3
Link- „Selektor” — to kopiujesz do pola „Selektor operacji”.
- „Łącznie linków” — powinno być zbliżone do liczby działów katalogu.
- „Link” — pokazuje, że grupa prowadzi do kategorii.
Co widać przy błędzie. Jeśli selektor nic nie znalazł, w dzienniku parsowania zostanie jeden wiersz z kodem 200 — strona przyszła, a zadań następnego kroku nie ma. W podglądzie wygląda to jak natychmiastowe „Zadanie zakończone”.
Jeśli włączone jest „Automatyczne wyszukiwanie selektorów”, a kolumna jest pusta, działanie jest inne. Aplikacja najpierw usuwa ze strony stopkę, kolumny boczne i skrypty, potem sprawdza czterdzieści osiem typowych selektorów menu i katalogu, bierze do czterech różnych i zapisuje je w pustych kolumnach reguły. Przy okazji odrzuca linki według listy słów technicznych — „Оплата”, „Доставка”, „Контакти”, „Блог”, „Кошик”, „Порівняти” (płatność, dostawa, kontakt, blog, koszyk, porównanie; lista ma ukraińskie i rosyjskie nazwy, a w adresach także payment, delivery, contact), przełączniki języków i strony logowania. Dlatego po teście z włączonym wyszukiwaniem automatycznym tabela reguł jest odczytywana ponownie: są w niej już dobrane selektory.
Krok 2. Lista linków do produktów
Co robi aplikacja. Otwiera stronę kategorii i robi naraz dwie rzeczy: zbiera linki do kart produktów i zbiera adresy kolejnych stron tej kategorii. Dla każdego produktu powstaje zadanie „Karta produktu”, dla każdej strony paginacji — kolejne zadanie tego samego kroku.
Co podajesz Ty. „Selektor nr 1” — blok produktu w listingu (np. div.product-item) lub link do karty. „Selektor nr 2” — linki paginacji. Jeśli serwis nie ma linków paginacji, a strony buduje się adresem, przydadzą się trzy specjalne kolumny: „Selektor łącznej liczby stron”, „Selektor łącznej liczby produktów” i „Selektor liczby produktów na stronie” — na ich podstawie aplikacja obliczy liczbę stron i sama zbuduje adresy, dopisując „Prefiks linku” i numer (np. ?page=).
Osobny przypadek — „Produkty w tej operacji”. To pole wyboru w tym samym wierszu „Selektor operacji”. Jeśli jest zaznaczone, karty produktów w ogóle się nie otwierają: nazwa, cena, dostępność i zdjęcia są brane prosto z listingu, a wypełnić trzeba już nie jeden selektor, lecz wiersze pól w tej samej grupie. Właśnie je włącza przełącznik kreatora „Pobieraj produkty i ceny bez otwierania karty”.
W trybie „produkty prosto z listingu” produkt bez nazwy lub bez adresu nie jest w ogóle zapisywany. Dlatego pole „Link do produktu (URL)” jest w tej grupie tak samo obowiązkowe jak nazwa: bez niego przebieg zakończy się bez błędów, a w cenniku nie będzie ani jednego wiersza.
Jak sprawdzić. Test na adresie kategorii. W wyniku powinny być dwa liczniki: produkty i paginacja. Jeśli zaznaczone jest „Produkty w tej operacji”, zamiast listy linków pojawi się lista pól każdego produktu — od razu widać, czy cena nie zlała się ze starą ceną.
Co widać przy błędzie. Pusta lista oznacza, że selektor bloku nie pasuje do układu strony. A jeśli na stronie kategorii w ogóle nie ma produktów — zdarza się to, gdy kategoria składa się z podkategorii — aplikacja się nie poddaje: próbuje przeanalizować tę samą stronę regułami pierwszego kroku i pobrać z niej linki do podkategorii.
Jeszcze jedna kolumna tej grupy ratuje na serwisach, w których wyszukiwanie czasem otwiera od razu kartę produktu zamiast listy: „Tekst na stronie do przejścia do następnej operacji”. Jeśli podany tekst znajdzie się na stronie, aplikacja nie szuka linków, tylko analizuje tę stronę jak kartę produktu.
I ostatnie zabezpieczenie tego kroku: jeśli w trybie „produkty prosto z listingu” selektory nie dały ani jednego produktu, a na stronie są znaczniki produktów dla wyszukiwarek, aplikacja próbuje zebrać produkty z nich. W „Karcie produktu” takiego zabezpieczenia nie ma.
Krok 3. Karta produktu
Co robi aplikacja. Otwiera stronę produktu i wypełnia pola cennika — po jednym wierszu reguły na każde pole. Zdjęcia, wideo i pliki trafiają do osobnych list produktu. Jeśli w „Selektorze nr 4” jest selektor linków, każdy znaleziony link staje się kolejnym zadaniem „Karta produktu” — tak pobiera się produkty-opcje, które w serwisie mają osobne strony.
Co podajesz Ty. Selektory pól. Od początku wypełnione jest jedno — h1 dla nazwy. Pusty wiersz oznacza „tego pola nie zbierać”: żadne wartości domyślne się do niego nie wstawią.
Pełna lista pól karty i to, co dzieje się z każdym w drodze do katalogu — w artykule Co dokładnie parser pobiera z karty produktu.
Jak sprawdzić. Test na adresie dowolnego produktu. W lewym panelu będzie lista pól z wartościami i blok „Zdjęcia” z miniaturami — widać zarówno to, co się zebrało, jak i to, co zebrało się nie tak.
Co widać przy błędzie. Puste pole w wyniku testu — pusty lub martwy selektor. Produkt w cenniku bez nazwy — ten sam przypadek, tylko już po przebiegu.
Kilka drobiazgów aplikacja robi sama i nie trzeba na nie zużywać selektorów. Kategoria produktu, jeśli pole „Kategoria z cennika” jest puste, jest brana z „okruszków” (breadcrumbs) w kodzie strony, a słowa w rodzaju „Home / ”, „Головна / ” i „Каталог / ” z początku są odrzucane. Link do YouTube, który trafił do pola „Obraz”, idzie do wideo, a nie do zdjęć. Obrazy-zaślepki o nazwach placeholder, no-photo, empty, no_image, no-image i obrazy z /brand/ nie są zapisywane.
Krok 4. Atrybuty
Co robi aplikacja. Analizuje tabelę parametrów wiersz po wierszu i zapisuje pary „nazwa — wartość”. Jeśli „Selektor nr 3” i „nr 4” są puste, parametrów szuka się na tej samej stronie karty, od razu po jej przeanalizowaniu. Jeśli coś w nich jest, parametry są brane z osobnej strony i powstaje dla niej własne zadanie.
Co podajesz Ty. Cztery wiersze: „Selektor operacji” — blok parametrów (np. table.specs) lub pusto, jeśli bloku nie da się wydzielić; „Selektor nr 2” w tym samym wierszu — selektor jednego wiersza parametru (tr); dalej osobne wiersze „Nazwa atrybutu” i „Wartość atrybutu” — to już komórki wewnątrz wiersza (td.name i td.value). Dwa kolejne wiersze, „Nazwa bloku atrybutów” i „Opis atrybutu”, są potrzebne serwisom, w których parametry są podzielone na sekcje.
Jak sprawdzić. Test na adresie produktu: w wyniku będzie „Atrybuty (N)” i same pary. Jeśli parametry są brane z osobnej strony, w wyniku testu pojawi się wiersz z jej adresem — to normalne, znaczy, że aplikacja znalazła, dokąd iść.
Co widać przy błędzie. Pusty „Selektor nr 2” — parametry nie zostaną zebrane wcale, nawet jeśli reszta jest wypełniona: bez selektora wiersza operacja kończy się, nic nie robiąc. Jednakowa nazwa i wartość w parze — selektory komórek wskazują ten sam element; takie pary aplikacja odrzuca sama.
Produkty są w JSON bezpośrednio na stronie
Wiele serwisów umieszcza dane produktu nie w kodzie HTML, lecz w obiekcie JSON wewnątrz strony — w tagu <script> lub w atrybucie w rodzaju data-product. strony potrafi pobierać dane stamtąd, ale tylko w grupach „Karta produktu” i „Atrybuty”: dla list linków nie jest analizowany. W wierszu „Selektor operacji” każdej grupy jest ikona pliku z kodem, podpowiedź „Skonfiguruj pobieranie z JSON”. Otwiera ona okno „Kreator konfiguracji pobierania danych z formatu JSON”.
1
Wyrażenie regularne do pobrania tekstu JSON2
Przycisk Pobierz JSON3
Zakładka Drzewo danych4
Wyrażenie do testu pobierania danych- Pole wyrażenia regularnego — wycina tekst JSON z kodu strony.
- Przycisk Pobierz JSON — pobiera stronę i stosuje wyrażenie (podczas zdjęcia nie kliknięty).
- Zakładka Drzewo danych — pokazuje otrzymany JSON jako drzewo; sąsiednia zakładka Otrzymany kod pokazuje surowy tekst.
- Wyrażenie do testu pobierania danych — ścieżka w drzewie, którą sprawdza przycisk Sprawdź.
- W wierszu „Selektor operacji” wypełnij kolumnę „Link testowy” adresem karty produktu — kreator pobiera stronę właśnie stamtąd.
- W polu „Wyrażenie regularne do pobrania tekstu w formacie JSON” wpisz wyrażenie, które wycina JSON ze strony; potrzebna część jest brana z pierwszej grupy w nawiasie. Na przykład dla
<script>var product = {...};</script>pasujevar product = (\{.*?\});, dla atrybutu —data-product_variations="(.*?)". Pole zapisuje się samo, gdy tylko je zmienisz — do kolumny „Wyrażenie regularne do pobrania JSON” tego wiersza reguły. - Kliknij „Pobierz JSON”. Kreator bierze już zapisane wyrażenie i na zakładce „Drzewo danych” pokazuje strukturę obiektu, na zakładce „Otrzymany kod” — surowy tekst. Pusto — wyrażenie niczego nie wycięło albo wycięty fragment nie jest poprawnym JSON.
- W polu „Wyrażenie do testu pobierania danych” wypróbuj ścieżkę do potrzebnej wartości, np.
nameluboffers.price, i kliknij „Sprawdź”.
Ręcznie w tabeli reguł zostają dwie rzeczy: zaznaczyć w wierszu „Selektor operacji” pole „JSON” i w wierszach pól („Nazwa”, „Cena”…) wpisać w „Selektor nr 1” zamiast CSS ścieżkę w JSON — w języku JMESPath, tym samym co w polu testu.
Jeśli wyrażenie znajduje na stronie kilka dopasowań, kreator pokazuje ostatnie, a parser podczas przebiegu bierze pierwsze. Ścieżki sprawdzone w kreatorze mogą wtedy nie zadziałać w przebiegu — doprecyzuj wyrażenie tak, by dopasowanie było jedno. Kreator pobiera stronę z serwera bezpośrednio, bez rozszerzenia i proxy, więc serwis blokujący serwery może w kreatorze zwrócić pusty wynik, choć w przeglądarce się otwiera.
Scenariusze
Wystarczą nazwa i cena, kart nie trzeba otwierać
W grupie „Lista linków do produktów” zaznacz w wierszu „Selektor operacji” pole „Produkty w tej operacji” i wypełnij w tej samej grupie wiersze pól: „Nazwa”, „Link do produktu (URL)”, „Cena”. Produkty są zbierane prosto ze strony kategorii, zadania „Karta produktu” nie powstają.
Czego nie będzie: parametrów i wszystkiego, co jest tylko na karcie, a nie na stronie kategorii. Produkt bez nazwy lub bez adresu nie zostanie zapisany wcale — dlatego pole „Link do produktu (URL)” jest tu obowiązkowe.
Parametry są na osobnej zakładce serwisu
W grupie „Atrybuty” wypełnij w wierszu „Selektor operacji” „Selektor nr 3” — link do strony parametrów — albo „Selektor nr 4” — końcówkę dopisywaną do adresu karty. Aplikacja przestanie szukać parametrów na samej karcie i utworzy osobne zadanie dla drugiej strony.
Czego nie będzie: bez „Selektora nr 2” — wiersza parametru — pary „nazwa — wartość” nie zostaną zebrane ani na karcie, ani na osobnej stronie.
Serwis nie ma linków paginacji, strony buduje się adresem
W grupie „Lista linków do produktów” wypełnij „Selektor łącznej liczby stron” albo parę „Selektor łącznej liczby produktów” i „Selektor liczby produktów na stronie”, a w „Prefiks linku” — końcówkę w rodzaju ?page=. Aplikacja obliczy liczbę stron i sama zbuduje adresy.
Czego nie będzie: „Maks. liczba wyników” ogranicza też liczbę budowanych stron — i w teście, i w przebiegu.
Co zrobić, gdy reguła nie działa
| Co widzisz | Dlaczego tak jest | Co zrobić |
|---|---|---|
| Test reguły pokazuje pusty panel, choć selektor skopiowano z przeglądarki | W wierszu zapisano XPath, a pole „XPath” nie jest zaznaczone — albo selektor CSS ma błąd składni. Parsowanie strony w takim przypadku przerywa się, zamiast zwrócić pustą listę | Zaznaczyć pole „XPath” w tym samym wierszu lub poprawić selektor (o selektorach) |
| „Wyrażenie regularne” w wierszu reguły niczego nie zmienia | Razem z selektorem wyrażenie bierze drugie dopasowanie pierwszego nawiasu. Jeśli dopasowanie jest jedno, wartość zostaje bez zmian | Usunąć selektor z wiersza, by wyrażenie szukało na całej stronie, albo przepisać wyrażenie tak, by potrzebny fragment był drugim dopasowaniem (obróbka wartości) |
| Atrybuty nie są zbierane, choć selektory nazwy i wartości są wypełnione | Pusty „Selektor nr 2” w wierszu „Selektor operacji” grupy „Atrybuty”: bez selektora wiersza parametru operacja kończy się, nic nie robiąc | Wpisać w „Selektor nr 2” selektor jednego wiersza parametru, zwykle tr (krok „Atrybuty”) |
| W trybie „bez otwierania karty” przebieg się kończy, a cennik jest pusty | Produkt bez nazwy lub bez adresu nie jest zapisywany. Najczęściej nie wypełniono pola „Link do produktu (URL)” w grupie „Lista linków do produktów” | Wypełnić w tej grupie oba pola — „Nazwa” i „Link do produktu (URL)” (krok „Lista linków do produktów”) |
| Okno „Wystąpił problem!” z tekstem „Link testowy!” | Kliknięto przycisk-błyskawicę, a kolumna „Link testowy” w wierszu jest pusta | Wpisać w tę kolumnę adres strony właściwego rodzaju: kategorii — dla operacji z listami, karty produktu — dla karty i atrybutów |
Najczęstsze pytania
Konfiguruję parser nowego dostawcy i nie wiem, jaki selektor CSS ustawić dla linków do kategorii. Jak go dobrać?
Kreatorem: wpisz w „Link testowy” adres strony z menu kategorii i kliknij błyskawicę w wierszu „Selektor operacji”. Skopiuj selektor wiersza, w którym „Łącznie linków” jest zbliżone do liczby kategorii, i sprawdź testem (krok po kroku).
Gdzie w ustawieniach konfiguruje się paginację?
W grupie „Lista linków do produktów”, wiersz „Selektor operacji”, kolumna „Selektor nr 2”. Jeśli linków paginacji nie ma, strony buduje się adresem — zob. krok 2.
Test reguły pokazuje pusty wynik, choć selektor skopiowano z przeglądarki. Co jest nie tak?
Trzy przyczyny: XPath bez zaznaczonego pola „XPath”; w „Linku testowym” jest strona niewłaściwego rodzaju — kategoria zamiast karty; serwis zwraca serwerowi co innego niż przeglądarce. Więcej: jak odczytać wynik testu.
Po kliknięciu przycisku doboru selektorów przez sztuczną inteligencję chcę wrócić do starych wartości. Czy to możliwe?
Nie. Po potwierdzeniu „Dobierz i zastąp” nie ma cofnięcia: selektory trzeba będzie wpisać od nowa lub dobrać jeszcze raz. Przed kliknięciem błyskawicy skopiuj sobie działające wartości.
Czy można ustawić jedną wartość wszystkim produktom, nie szukając jej na stronie?
Tak: zamiast selektora wpisz tekst w nawiasach klamrowych. {Nowa kolekcja} w polu „Producent” wpisze to słowo wszystkim produktom.
Gdzie to jest i kto ma dostęp
- Menu
- Słowniki → Przetwarzanie cenników → Lista cenników
- Tabela reguł
- wiersz „Parser strony” → „Ustawienia” → zakładka „Ustawienia importu”
- Uprawnienia
- okno „Cenniki”
- Przygotuj
- adres kategorii i adres karty produktu — do testu reguł
Powiązane tematy
- Jeśli potrzebujesz ogólnego obrazu pobierania ze stron — Parsowanie stron.
- Jeśli potrzebujesz gotowego selektora dla ceny, kodu produktu lub zdjęć — Selektory CSS i XPath: przykłady.
- Jeśli chcesz wiedzieć, jakie pola w ogóle można zebrać — Co dokładnie parser pobiera z karty produktu.
- Jeśli reguły są sprawdzone i pora pobierać — Jak uruchomić pobieranie ze strony.
