↑↓ wybierzEnter otwórzEsc zamknij

    1. Elbuz

    Co dokładnie parser pobiera z karty produktu

    16 min czytaniaZaktualizowano

    Elbuz pobiera z karty produktu na stronie dostawcy nazwę, ceny, kody SKU, zdjęcia, pliki i cechy, a potem układa je w cennik źródła: nie musisz przepisywać danych ręcznie.

    Kiedy to się przyda:

    • Chcesz wiedzieć, czy dane pole da się pobrać — na liście są 33 pola karty, 21 pól listingu i 6 pól cech.
    • Na stronie jest jedno, a w cenniku co innego — kolejność czyszczenia pokazuje, gdzie wartość się zmieniła.
    • Cena przyszła jako dwie liczby — program sam sprowadza cenę do liczby; pułapki listingu opisujemy osobno.
    • Cechy się nie zbierają — najczęściej winny jest pusty „Selektor nr 2” w grupie „Atrybuty”.

    Od czego zacząć: znajdź pole na liście i wpisz selektor w jego wiersz na karcie „Ustawienia importu”.

    Co parser potrafi na karcie produktu

    Droga wartości: co dzieje się ze znalezionym tekstem

    Między tym, co widzisz na stronie, a tym, co trafia do cennika, stoi kolejka przekształceń. Jej kolejność jest stała i to właśnie pomylenie tej kolejności daje większość „dziwnych” wyników.

    Co dzieje się z wartością od elementu strony do wiersza cennika
    nietakcenapozostałeElement stronyznaleziony selektoremPobieraj HTMLTekst elementuZnaczniki elementuUzupełnienie adresu linków i zdjęć,odrzucenie # javascript: mailto:Automatyczne czyszczenie:komentarze, class, style, id,emoji, zbędne spacjeTekst do usunięcia,Znajdź / ZamieńUsuwaj linkiDozwolone tagi HTMLTyp polaTylko cyfry, separatory cennika,dwa miejsca po przecinkuWyrażenie regularneŁączenie wynikówprzez Separator wartościWiersz cennika źródłaOperacje cennika:dostępność, waluta, narzutAktualizacja katalogu bazowego
    • Дія або результат
    • Розвилка: далі шлях залежить від відповіді
    1. Co pobrać. Domyślnie pobierany jest tekst elementu. Pole „Pobieraj HTML” zachowuje znaczniki — potrzebuje ich opis, żeby zachował się podział na akapity i listy.
    2. Adresy są uzupełniane. W polach z linkami i w zdjęciach adres względny zamienia się na pełny; #, javascript:, tel:, callto: i mailto: są odrzucane w całości; //site.com zmienia się w https://site.com; końcówka ?click_track_data= jest obcinana; domena w cyrylicy jest zamieniana na punycode.
    3. Automatyczne czyszczenie. Z wyniku znikają komentarze HTML, atrybuty tagów class, rel, style, id, name, title, data, emoji, spacje nierozdzielające i podziały wierszy; kilka spacji z rzędu łączy się w jedną.
    4. „Tekst do usunięcia” wycina z wyniku podany tekst. Kilka wartości oddziel znakami |||.
    5. „Znajdź” / „Zamień” — trzy różne działania w zależności od tego, co wypełnisz. Oba pola — zwykła zamiana. Tylko „Zamień” — tekst jest dopisywany na końcu wartości. Tylko „Znajdź” — tekst jest wycinany.
    6. „Usuwaj linki” usuwa z wyniku tagi linków. Co dokładnie usuwać — własną domenę, obce czy wszystkie — ustawiają dwa pola wyboru w sekcji rozwijanej „Dodatkowo” na dole karty. Jeśli żadne nie jest zaznaczone, usuwane są wszystkie linki, a same adresy znikają też z tekstu.
    7. „Dozwolone tagi HTML” zostawia w znacznikach tylko wymienione tagi, np. <p><br><ul><li>.
    8. Cena jest sprowadzana do liczby — o tym niżej, w osobnej sekcji.
    9. „Wyrażenie regularne” działa po wszystkich wcześniejszych krokach — wyciąga potrzebny fragment z już wyczyszczonej wartości.
    10. „Separator wartości” łączy wyniki, jeśli selektor znalazł kilka elementów. Domyślnie to przecinek ze spacją; dla kategorii — zawsze  / , dla zdjęć — |||.

    „Dozwolone tagi HTML” bez zaznaczonego „Pobieraj HTML” nic nie robią. Bez niego do wartości trafia czysty tekst elementu, tagów już w nim nie ma i nie ma czego zachowywać. Te dwie kolumny działają tylko w parze.

    Kolumny przetwarzania wartości w tabeli reguł przewiniętej w prawo, kolumna nazwy pola przypięta po lewej
    1Pobieraj HTML
    2Dozwolone tagi HTML
    3Tekst do usunięcia
    4Znajdź / Zamień
    1. „Pobieraj HTML” zachowuje znaczniki wartości zamiast czystego tekstu.
    2. „Dozwolone tagi HTML” to lista tagów, które zostają, gdy HTML jest zachowywany.
    3. „Tekst do usunięcia” to fragment wycinany z zebranej wartości.
    4. „Znajdź” i „Zamień” działają w parze: znaleziony tekst jest zastępowany tekstem z następnej kolumny.

    Cztery kolumny selektora to warianty zapasowe

    W wierszu każdego pola są kolumny od „Selektor nr 1” do „Selektor nr 4”. Program próbuje ich po kolei i zatrzymuje się na pierwszej, która dała wartość. To wygodne, gdy produkty w promocji mają inne znaczniki niż zwykłe: w nr 1 wpisujesz wariant podstawowy, w nr 2 — promocyjny.

    Wyjątek jest jeden — zdjęcia. W wierszu image wykonują się wszystkie cztery kolumny, a wyniki składają się w jedną listę zdjęć.

    Stała wartość zamiast wyszukiwania

    Jeśli zamiast selektora wpiszesz tekst w nawiasach klamrowych, stanie się on wartością pola i na stronie nic nie będzie wyszukiwane. {Nowa kolekcja} w polu „Producent” wpisze to słowo wszystkim produktom źródła.

    Jakie pola można pobrać: pełna lista

    Uniwersalny parser dostaje przy tworzeniu dokładnie 64 wiersze reguł, pogrupowane według operacji przechodzenia strony. To pełna lista tego, co w ogóle da się pobrać: więcej wierszy w tabeli się nie pojawi, własnego pola dopisać nie można. Brakuje potrzebnego pola, a na stronie stoi ono w tabeli parametrów — pobierz je jako cechę.

    Selektor szuka tylko w kodzie, który zwróciła strona: danych, które strona doładowuje po kliknięciu przycisku, nie znajdzie.

    OperacjaWierszyCo to jest
    Lista linków do kategorii produktów1tylko „Selektor operacji”, bez pól
    Lista linków do produktów22„Selektor operacji” i 21 pól — działają w trybie „bez otwierania karty”
    Karta produktu34„Selektor operacji” i 33 pola
    Atrybuty7„Selektor operacji” i 6 pól cechy

    Fabrycznie wypełniony selektor jest w całej tabeli dokładnie jeden — h1 dla pola „Nazwa” w „Karcie produktu”. Pozostałe 63 wiersze są puste.

    Karta produktu: 33 pola

    To podstawowy zestaw. Pola stoją w tabeli w osobnych wierszach, podpisy są dosłownie takie jak w interfejsie. Jeden wiersz nie ma podpisu: zdjęcia stoją w tabeli pod własnym kodem image.

    GrupaPola
    Nazwa i opisNazwa, Model, Opis krótki, Opis pełny, Instrukcja, Nazwa rodziny (warianty)
    CenyCena, Cena sugerowana (RRP), Stara cena, Waluta, Koszt dostawy
    DostępnośćStatus dostępności (z cennika), Ilość, Stan produktu
    IdentyfikatoryKod (SKU) kontrahenta, Kod (SKU) producenta, Producent, Kod kreskowy , , Kod kreskowy ISBN
    Wymiary i wagaWysokość, Szerokość, Głębokość, Waga, Wymiary, Jednostka miary, Kolor, Gwarancja
    KategoriaKategoria z cennika, Link do kategorii
    Multimediaimage, Link do wideo, Link do pliku
    Grupa Karta produktu: długa lista pól, selektory tylko w części z nich
    1Nazwa z selektorem CSS
    2Kod kreskowy EAN z selektorem XPath
    3Gwarancja bez selektora
    1. Nazwa jest odczytywana zwykłym selektorem CSS.
    2. Kod kreskowy EAN jest odczytywany selektorem XPath (zaznaczone pole XPath).
    3. Gwarancja ma pusty selektor, więc tego pola program nie zbiera.

    Listing: 21 pól

    Jeśli w wierszu „Selektor operacji” grupy „Lista linków do produktów” jest zaznaczone pole „Produkty w tej operacji”, karty w ogóle się nie otwierają: nazwy i ceny są pobierane prosto ze strony działu — z u.

    Zestaw pól jest tam własny, krótszy.

    To te same 20 pól karty, bez wymiarów, wagi, koloru, gwarancji, stanu produktu, rodziny, instrukcji, kosztu dostawy, linku do kategorii, wideo i plików — plus jedno, którego w karcie nie ma: „Link do produktu (URL)”. Na karcie adres jest i tak znany, a z listingu trzeba go pobrać selektorem.

    W trybie listingu produkt bez nazwy lub bez adresu w ogóle nie jest zapisywany. Dlatego pole „Link do produktu (URL)” jest tu tak samo obowiązkowe jak „Nazwa”: bez niego przebieg skończy się bez błędów, a w cenniku nie będzie ani jednego wiersza.

    W trybie „Karta produktu” takiej kontroli nie ma — produkt bez nazwy zapisze się jako pusty wiersz.

    Atrybuty: 6 pól

    „Nazwa atrybutu”, „Wartość atrybutu”, „Nazwa bloku atrybutów”, „Opis atrybutu”, „Link do obrazu atrybutu”, „Link do obrazu bloku atrybutów”. Opisujemy je niżej w osobnej sekcji.

    Na liście typów operacji jest jeszcze piąta — „Zdjęcia” — ale reguł dla tej operacji się nie tworzy. Zdjęcia zbiera pole image w „Karcie produktu” i w listingu.

    Które pola konfiguruje się w praktyce

    Pól w tabeli jest dużo, ale w praktyce konfiguruje się siedem, osiem — reszta czeka w zapasie. Oto one, od najbardziej potrzebnych:

    • nazwa, kategoria z cennika i cena — bez nich wiersz cennika jest bezużyteczny;
    • producent, kod SKU kontrahenta i kod SKU producenta — po nich działa dopasowanie do Twojego katalogu;
    • status dostępności i ilość;
    • opis pełny i krótki, RRP, stara cena — gdy ze strony dostawcy pobierasz także treści.

    Puste pole nie znaczy „nieobsługiwane”: każde włącza się jednym selektorem, dokładnie tak samo jak cena czy nazwa.

    Jak parser pobiera cenę: trzy pola i dwie pułapki

    Pola cenowe w karcie są trzy: „Cena”, „Cena sugerowana (RRP)” i „Stara cena”. Do tego „Waluta” — w osobnym wierszu, jako tekst ze strony.

    Wartość pola typu „cena” jest sprowadzana do liczby: program usuwa z niej wszystko poza cyframi, przecinkiem i kropką, potem patrzy na separatory ustawione w samym cenniku (domyślnie dziesiętny — kropka, tysięcy — przecinek) i zaokrągla wynik do dwóch miejsc. Dlatego 1 499,50 zł zamieni się w 1499.50 bez żadnego wyrażenia regularnego.

    Zapisana cena od razu trafia do trzech kolumn cennika: samej ceny, ceny początkowej i kosztu własnego. Dalej działają na niej zwykłe operacje cennika — narzut, zaokrąglanie, przeliczanie waluty.

    Dwie pułapki — obie dotyczą tylko trybu listingu, a w „Karcie produktu” nie działają.

    Dwie ceny w jednym elemencie. Gdy strona pokazuje starą i nową cenę obok siebie, do wartości trafiają obie. W listingu program to rozpoznaje: jeśli oznaczenie waluty (грн, ₴, $, USD, €, EUR, PLN i inne) wystąpiło w wierszu dwa razy, brane są obie liczby i zapisywana jest mniejsza. W karcie produktu takiego wyboru nie ma — tam trzeba doprecyzować selektor.

    Grosze w osobnym elemencie. Niektóre strony pokazują złote i grosze w różnych tagach. W listingu jest na to sposób: selektor złotych wpisujesz w „Selektor nr 1”, selektor groszy — w „Selektor nr 4”, a program złoży je w jedną liczbę, dzieląc drugą przez sto. W karcie produktu takiego składania nie ma: tam „Selektor nr 4” w wierszu pola to po prostu kolejny wariant zapasowy.

    Zdjęcia, wideo i pliki: co program robi z adresami

    Zdjęcia zbiera jedno pole; w tabeli reguł jest podpisane kodem image. Wykonują się wszystkie cztery kolumny selektora, a wyniki składają się w jedną listę w kolejności znalezienia: pierwsze zdjęcie stanie się głównym w katalogu.

    Co program robi z każdym znalezionym adresem — jednakowo w obu trybach:

    • Odrzuca zaślepki. Jeśli w adresie wystąpi placeholder, no-photo, empty, no_image, no-image lub /brand/, zdjęcie w ogóle nie jest zapisywane.
    • Przenosi YouTube do wideo. Link z youtube.com/watch, który trafił do image, zapisuje się jako wideo, a nie jako zdjęcie.
    • Pomija obrazy osadzone data:image; w „Karcie produktu” — także pliki .swg.
    • Odrzuca powtórzenia — ten sam adres w obrębie produktu zapisuje się raz.
    • Koduje separatory w adresie. Przecinek, średnik i pionowa kreska zamieniają się w %2C, %3B, %7C: lista zdjęć jest zapisywana w jednym wierszu, a adres typu …/image/width=1063,height=1063/… pomyliłby się inaczej z separatorem listy.

    Dwie rzeczy są tylko w „Karcie produktu”:

    • Największy rozmiar z srcset. Jeśli w tekście selektora jest słowo srcset — np. img.photo::attr(srcset) — z zestawu wariantów wybierany jest adres o największej szerokości; zapis 2x uznaje się przy tym za większy od 1x.
    • Próba podniesienia miniatury do pełnego rozmiaru. Z adresu usuwane są parametry w, h, width, height, resize, size, thumb, thumbnail, a z nazwy pliku — przyrostki rozmiaru typu _100x100, -150x150 i słowa -thumb, -thumbnail, _small, _mini, _tiny, -preview przed rozszerzeniem. Jeśli potem adres przestał wyglądać jak adres, wraca pierwotny: lepsza działająca miniatura niż uszkodzony „duży” plik.

    W listingu program potrafi za to wyciągnąć adres z tła CSS — background-image: url(...).

    Sposób z srcset w listingu nie działa. Selektor img.photo::attr(srcset) da tam ostatni wariant zestawu — bez porównywania szerokości, więc niekoniecznie największy — a podnoszenia miniatury do pełnego rozmiaru w listingu też nie ma. Jeśli zbierasz bez otwierania karty, pobieraj pełny rozmiar innym atrybutem: ::attr(data-src), ::attr(data-large) albo tym, w którym strona trzyma duże zdjęcie.

    Limitu liczby zdjęć z jednej karty nie ma. Kolumna „Maks. liczba wyników” jest czytana tylko z wiersza „Selektor operacji” i ogranicza listy linków, a nie pola.

    nie pobiera samych plików — zapisuje adresy. Zdjęcie staje się Twoją kopią w chmurze dopiero podczas aktualizacji katalogu bazowego; co dzieje się wtedy z kolejnością, zdjęciem głównym i tym, czyja to kopia, — w artykule Zdjęcia produktu. Znak wodny na tej drodze w ogóle nie jest nakładany: jest tylko w eksportach.

    Wideo i pliki

    „Link do wideo” i „Link do pliku” są tylko w „Karcie produktu”. Wartość wideo jest dzielona po przecinku, powtórzenia są odrzucane.

    Pliki mają cechę, o której warto wiedzieć: program bierze adres z atrybutu href, a tekst samego linku zapisuje jako nazwę pliku. Czyli selektor a.instruction da i adres, i podpis „Instrukcja obsługi”, a selektor a[href*=pdf]::attr(href) — tylko adres, z pustą nazwą.

    Jak zebrać cechy produktu

    Tabelę parametrów produktu zbiera osobna operacja — „Atrybuty”. Rozbiera tabelę wiersz po wierszu i zapisuje pary „nazwa — wartość”.

    Ustawia się ją czterema selektorami:

    • „Selektor operacji”, Selektor nr 1 — blok cech, np. table.specs. Pusty — szukaj na całej stronie.
    • „Selektor operacji”, Selektor nr 2 — selektor jednego wiersza cechy, zwykle tr.
    • „Nazwa atrybutu” i „Wartość atrybutu” — selektory komórek wewnątrz wiersza, np. td.name i td.value.

    Dwa kolejne wiersze, „Nazwa bloku atrybutów” i „Opis atrybutu”, przydają się na stronach, gdzie cechy są podzielone na sekcje.

    Pusty „Selektor nr 2” całkowicie zatrzymuje operację: bez selektora wiersza kończy się ona, nic nie zebrawszy, niezależnie od tego, ile wypełniono niżej. To najczęstsza przyczyna sytuacji „cechy się nie zbierają, choć wszystko jest skonfigurowane”.

    Wyjątki są dwa. Znaczniki <dl>: jeśli Selektor nr 1 to dl albo zaczyna się od dl., a Selektor nr 2 jest pusty, program sam przepisuje listę na tabelę i wstawia selektory wiersza i komórek. Drugi to źródło ustawione na format , a nie — tam pusty „Selektor nr 2” operacji nie zatrzymuje (JSON to osobny temat, wszystko w tym artykule dotyczy analizy HTML).

    Grupa Atrybuty: selektory bloku cech, nazwy atrybutu i wartości atrybutu
    1Selektor nr 2 wiersza operacji
    2Nazwa atrybutu
    3Wartość atrybutu
    1. Selektor operacji znajduje blok cech, a Selektor nr 2 wybiera w nim jeden wiersz cechy.
    2. „Nazwa atrybutu” ma własny selektor, stosowany wewnątrz każdego wiersza.
    3. „Wartość atrybutu” ma własny selektor, stosowany wewnątrz każdego wiersza.

    Co program rozbiera sam

    • „Nazwa: wartość” w jednej komórce. Jeśli nazwa i wartość są sklejone w jeden tekst („Kolor: żółty”), a selektory nazwy i wartości biorą ten sam tekst, program sam rozetnie go po pierwszym dwukropku. Wiersz bez dwukropka jest pomijany. A jeśli wartość jest wydzielona osobnym elementem wewnątrz wiersza nazwy (<li>Kolor: <b>żółty</b></li>), program sam odetnie ją od nazwy. Jeśli nazwę i wartość dzieli inny znak („Kolor — żółty”, „Kolor | żółty”), wpisz go w kolumnę „Separator wartości” wiersza „Wartość atrybutu”.
    • Wartość bez selektora. Jeśli selektor wartości w ogóle nie jest ustawiony, brany jest tekst ostatniego zagnieżdżonego elementu wiersza. Na prostych tabelach to wystarcza.
    • Lista wewnątrz wartości. Gdy w komórce wartości jest kilka punktów <li>, a w tekście nie ma separatorów, punkty są łączone przez „Separator wartości”; domyślnie to ukośnik ze spacjami.
    • Znaki zapytania i dwukropki są usuwane z nazwy atrybutu.

    Co program odrzuca

    Nie są zapisywane pary z pustą nazwą lub pustą wartością; pary, w których nazwa równa się wartości (to prawie zawsze znaczy, że oba selektory wskazują ten sam element); powtórzenie poprzedniego wiersza; i pełne duplikaty — według trójki „blok + nazwa + wartość”.

    Przykład z prawdziwej konfiguracji: selektor bloku #pdpPropertiesContent, selektor wiersza .pdp-main-properties-row, selektor nazwy .pdp-main-properties-name, selektor wartości .pdp-main-properties. Z jednej karty telewizora zebrały się 42 cechy — „Przekątna / 65"”, „Częstotliwość odświeżania / 165 Hz”, „Rok produkcji / 2026” — w tej kolejności, w jakiej stoją na stronie; z tej samej karty przyszło 18 zdjęć i jeden plik.

    Jak zebrane nazwy stają się atrybutami Twojego katalogu i jak nie rozdmuchać słownika — w artykule Cechy ze strony w katalogu.

    Co program wypełnia sam, bez selektora

    Kilka rzeczy wypełnia się bez Twojego udziału i nie trzeba na nie zużywać wierszy reguł.

    Kategoria. Jeśli pole „Kategoria z cennika” jest puste, program czyta „okruszki” (breadcrumbs) ze znaczników strony przeznaczonych dla wyszukiwarek i skleja je przez  / .

    Potem z początku tekstu obcinane są ogniwa techniczne — „Головна / ”, „Каталог / ”, „Магазин / ”, „Всі товари / ” i kilkanaście innych wariantów — a sama nazwa produktu jest z tekstu wycinana: ostatni okruszek to zwykle właśnie nazwa karty.

    Kod SKU czyści się sam. Z obu pól kodów — „Kod (SKU) kontrahenta” i „Kod (SKU) producenta” — program wycina słowa „Артикул товара”, „Артикул”, „Арт.”, „Код товара”, „Код товару”, „Код”, „SKU” i wszystkie dwukropki. Dzieje się to w obu trybach i selektor .pdp-menu-code na stronie z napisem „Код: 7265989” wpisze do cennika 7265989.

    Dostępność, kod SKU, producent i jednostka miary w listingu. Gdy włączone jest „Automatyczne wyszukiwanie selektorów”, a selektor nie zadziałał, program szuka wartości w tekście strony:

    • dostępność — według listy słów („В наявності”, „Немає на складі”, „Під замовлення”, „Очікується” i jeszcze dwudziestu kilku wariantów ukraińskich, rosyjskich i angielskich);
    • kod SKU — według napisów „Код товара:”, „Код товару:”, „Код:”, „SKU:”, „Артикул товара:”, „Арт.:”;
    • producenta — według „Бренд:” i „Производитель:”;
    • jednostkę miary — według słów „ящик” i „/ящ” (skrzynka).

    Jeśli dostępność się nie znalazła, w listingu wstawiany jest +.

    To samo włączone autowyszukiwanie dopisuje „Бренд:” i „Производитель:” do czyszczenia pola „Producent” — to już w obu trybach.

    Autoczyszczenie kodu SKU nie pyta o zgodę. Kod Код-114 przyjdzie jako -114, SKU12 — jako 12, a A:B — jako AB. Jeśli numery dostawcy zawierają te słowa albo dwukropek, nie pobieraj ich do pola kodu SKU, lecz np. do „Model” — tam nic nie jest wycinane.

    Waluta i status dostępności są dopracowywane po przejściu strony. Gdy ostatnie zadanie zostanie zamknięte, do zebranych produktów stosowane są zwykłe operacje cennika. To one zamieniają tekst „В наличии” z pola „Status dostępności (z cennika)” na status „Dostępny” według reguł rozpoznawania dostępności, wstawiają walutę i liczą narzut.

    Metatagi i tekstowa kopia strony

    Dwa pola wyboru na karcie „Dodatkowo”, grupa „Jakie dane zbierać”. Oba są domyślnie wyłączone.

    „Zapisuj metatagi” — program czyta <title> i metatagi strony i wpisuje je do metapól produktu: tytułu, opisu i słów kluczowych. W trybie listingu do każdej z trzech wartości z przodu dopisywana jest nazwa produktu, w „Karcie produktu” zapisują się bez zmian.

    „Zapisuj tekstową kopię stron” zapisuje oczyszczony ze znaczników tekst strony w polu „Tekstowa kopia strony” wiersza cennika. Działa to tylko w trybie „Karta produktu”: w listingu tekst strony nie jest zapisywany, nawet jeśli pole jest zaznaczone.

    Jakie selektory dobiera „Automatyczne wyszukiwanie selektorów”

    Pole „Automatyczne wyszukiwanie selektorów” na karcie „Dodatkowo” włącza dobór: tam, gdzie kolumna selektora jest pusta, program sprawdza własny zestaw typowych selektorów i zapisuje znalezione prosto w tabeli reguł — do czterech kolumn na pole.

    Zestawy są przygotowane nie dla wszystkich pól. Oto pełna lista tego, czego autowyszukiwanie potrafi szukać:

    PoleW karcie produktuW listingu
    imagetaktak
    Cenataktak
    Stara cenataktak
    Status dostępności (z cennika)taktak
    Opis krótkitaktak
    Kod (SKU) kontrahentataktak
    Kod (SKU) producentataktak
    Producenttaktak
    Kategoria z cennikataktak
    Link do kategoriitakbrak pola
    Link do wideotakbrak pola
    Link do plikutakbrak pola
    Nazwa—tak
    Link do produktu ()brak polatak

    Pozostałych — „Opis pełny”, „Gwarancja”, „Waga”, „Kolor”, wymiary, kody kreskowe, „Model”, „Waluta”, „Cena sugerowana (RRP)”, „Ilość”, „Stan produktu”, „Nazwa rodziny (warianty)”, „Instrukcja”, „Koszt dostawy” i „Wymiary” — autowyszukiwanie nie szuka nigdy. Te selektory trzeba wpisać ręcznie. Osobno stoi „Jednostka miary”: selektora dla niej autowyszukiwanie nie dobiera, ale wartość w listingu wstawić potrafi — według słów „ящик” i „/ящ”.

    Fabryczny selektor nazwy to h1 i na stronie, która nie jest produktem, też coś znajdzie: nagłówek działu. Autowyszukiwanie wstawia wtedy opis — pierwszy blok z klasą w rodzaju description.

    Tak stało się w prawdziwej konfiguracji: przejście strony zahaczyło o strony miast i do cennika trafiło 223 „produkty” o nazwach typu „Посуд в Ізмаїлі”, „Посуд в Білій Церкві”, „Посуд в Чернігові” (Naczynia w Izmaile, w Białej Cerkwi, w Czernihowie) i jednakowym opisem „з 8:00 до 21:00 (пн-нд) Безкоштовно по Україні…” — to baner dostawy.

    W 38 z 223 wierszy cena jest zerowa, a zdjęć zebrało się do nich 727 — banerowe obrazki działów. Przebieg przy tym zakończył się bez żadnego błędu.

    Po pierwszym przebiegu otwórz tabelę produktów cennika i sprawdź nazwy i ceny. Zera w cenie i nazwy podobne do nagłówków działów oznaczają, że przejście trafiło na niewłaściwe strony. Pełna lista kontroli — co sprawdzić po pierwszym przebiegu.

    Produkty źródła „Parser strony #993003”: wiersze z nazwami miast zamiast produktów i zerowa cena w podglądzie produktu
    1Miasto zamiast produktu
    2Zerowa cena
    1. Nazwy typu „Cookware in Bila Tserkva” to strony miast dostawy, a nie produkty: przebieg zebrał niewłaściwe strony.
    2. Zerowa cena — źródło pobrało niewłaściwy element albo stronę bez ceny.

    Scenariusze

    Dwa typowe zadania konfiguracji pól. Scenariusze ponownego przebiegu — w artykule Jak parser aktualizuje cennik, o cechach w katalogu — w artykule Cechy ze strony w katalogu.

    Zebrać nazwy i ceny z działów bez otwierania każdej karty

    Co zrobić. W grupie „Lista linków do produktów” zaznacz w wierszu „Selektor operacji” pole „Produkty w tej operacji”. W tej samej grupie wypełnij „Nazwa”, „Link do produktu (URL)” i „Cena”.

    Efekt. Zadania dla kart nie są tworzone: wiersze cennika zapisują się prosto ze stron działów, z tych 21 pól, które są w listingu.

    Czego nie będzie. Wiersz bez nazwy lub bez adresu się nie zapisze. Cech nie będzie: grupę „Atrybuty” program rozbiera tylko na otwartej karcie produktu. Wideo i plików w listingu też nie ma — tych pól w nim nie przewidziano.

    Pobierać ze strony dostawcy tylko zdjęcia i cechy, bez ruszania ceny

    Zadanie. Dostawca wysyła plik ze swoją ceną dla Ciebie i linkami do kart produktów, a na stronie pokazuje cenę detaliczną. Ze strony potrzebne są tylko zdjęcia i cechy.

    Co zrobić. W karcie cennika z pliku, w sekcji „Źródło”, kliknij „Utwórz parser strony”. Przycisk jest aktywny, gdy cennik ma kolumnę dopasowaną do pola „Link do produktu (URL)” i cennik jest już zaimportowany. W oknie „Ustawienia importu danych ze strony” nowego parsera wypełnij selektory zdjęć (grupa „Karta produktu”) i cech (grupa „Atrybuty”), a wiersze „Cena”, „Cena sugerowana (RRP)” i „Stara cena” zostaw bez selektora.

    Efekt. Przycisk tworzy u tego dostawcy osobny cennik-parser, powiązany z Twoim cennikiem: otwiera on karty według linków z cennika. Do Twojego głównego cennika wracają tylko cena, ilość i status dostępności, i tylko wypełnione: cena — gdy jest większa od zera, więc bez selektora ceny zostaje cena z pliku.

    Zdjęcia i cechy nie przechodzą do głównego cennika — leżą w cenniku-parserze i trafiają do kart produktów, gdy aktualizacja katalogu bazowego przetwarza ten cennik-parser. Przenoszenie zdjęć i atrybutów w cenniku-parserze jest domyślnie włączone.

    Czego nie będzie. Jeśli jednak skonfigurujesz selektor ceny, niezerowa cena ze strony nadpisze cenę z pliku w głównym cenniku. Tak samo z dostępnością: zebrane ze strony ilość i status dostępności zastępują te z pliku, puste — nie. Przenoszenie zdjęć i cech z parsera do katalogu jest płatne (szczegóły).

    Co zrobić, gdy w cenniku jest co innego niż na stronie

    Co widać w cenniku i co z tym zrobić
    Co widziszDlaczego tak jestCo zrobić
    W cenniku są nazwy typu „Посуд в Ізмаїлі”, cena zerowa Przejście trafiło na strony, które nie są produktami, a fabryczny selektor h1 wziął z nich nagłówek jako nazwę Doprecyzować selektor linków do produktów albo dodać adresy działów w „Lista linków” (o autowyszukiwaniu)
    Kod SKU w cenniku jest krótszy niż na stronie: zamiast „Код-114” jest „-114” Autoczyszczenie kodu SKU wycina z obu pól kodów słowa „Артикул”, „Арт.”, „Код”, „SKU” i wszystkie dwukropki — niezależnie od trybu Pobierać taki numer nie do pola kodu SKU, lecz np. do „Model”, gdzie nie ma czyszczenia (co program robi sam)
    Cechy się nie zbierają, choć selektory nazwy i wartości są wypełnione Pusty „Selektor nr 2” w wierszu „Selektor operacji” grupy „Atrybuty”: bez selektora wiersza operacja kończy się, nic nie zrobiwszy Wpisać w „Selektor nr 2” selektor jednego wiersza cechy, zwykle tr (o cechach)
    Cech zebrało się mniej niż na stronie Pary, w których nazwa równa się wartości, i pełne duplikaty program odrzuca sam. Jednakowa nazwa i wartość oznaczają, że oba selektory wskazują ten sam element Doprecyzować selektory komórek „Nazwa atrybutu” i „Wartość atrybutu” (co program odrzuca)
    W cenie znalazła się liczba ze starej ceny albo dwie liczby z rzędu Selektor objął blok, w którym są obie ceny. Wybór mniejszej z dwóch działa tylko w trybie listingu Zawęzić selektor do elementu z bieżącą ceną albo użyć „Wyrażenie regularne” (o cenie)
    Zdjęciem głównym został obrazek-zaślepka Program odrzuca zaślepki po nazwach placeholder, no-photo, empty, no_image, no-image i po /brand/; zaślepka o innej nazwie do tej listy nie trafia Doprecyzować selektor obrazu; awaryjnie — wpisać cały adres zaślepki w „Tekst do usunięcia” wiersza image: wartość będzie pusta i zdjęcie się nie zapisze (o zdjęciach)
    Zdjęcia przyszły małe, jak miniatury w galerii Selektor wziął atrybut miniatury. Automatyczne podnoszenie do pełnego rozmiaru usuwa tylko typowe oznaczenia w rodzaju _100x100 lub ?width= W „Karcie produktu” — wziąć adres z srcset: img.photo::attr(srcset), program wybierze najszerszy wariant. W listingu srcset daje ostatni wariant zestawu, niekoniecznie największy: pewniej wziąć inny atrybut z pełnym rozmiarem (o zdjęciach)
    W trybie „bez otwierania karty” przebieg się zakończył, a cennik jest pusty Produkt bez nazwy lub bez adresu nie jest zapisywany Wypełnić w grupie „Lista linków do produktów” oba pola — „Nazwa” i „Link do produktu (URL)” (o listingu)
    W „Kategoria z cennika” znalazła się nazwa produktu albo „Strona główna” Kategoria jest zebrana z okruszków, a Twój wariant zapisu ogniwa technicznego nie jest na liście, którą program obcina Dopisać zbędny tekst w kolumnę „Tekst do usunięcia” wiersza „Kategoria z cennika” (co program robi sam)

    Najczęstsze pytania

    Czy parser pobiera same zdjęcia?

    Nie. Parser zapisuje tylko adresy zdjęć na stronie dostawcy. Plik staje się Twoją kopią w chmurze podczas aktualizacji katalogu bazowego. Dopóki kopii nie ma, dostawca może usunąć obrazek — i zniknie on także u Ciebie.

    Ile zdjęć parser pobierze z jednej karty?

    Tyle, ile znajdzie selektor — limitu liczby zdjęć nie ma. Kolumna „Maks. liczba wyników” ogranicza listy linków, a nie pola. Powtórzenia tego samego adresu są odrzucane, pierwsze znalezione zdjęcie stanie się głównym.

    Dlaczego kod SKU w cenniku jest krótszy niż na stronie?

    Kod SKU jest czyszczony automatycznie: z obu pól kodów wycinane są słowa „Артикул”, „Арт.”, „Код”, „SKU” i inne oraz wszystkie dwukropki. „Код-114” zmieni się w „-114”. Takie numery pobieraj do pola bez czyszczenia, np. do „Model” (szczegóły).

    Czy można dodać własne pole do listy?

    Nie. 64 wiersze reguł powstają przy tworzeniu źródła, a przycisku „Dodaj wiersz” w tabeli nie ma. Jeśli wartość jest na stronie w tabeli parametrów, pobierz ją jako cechę: w katalogu stanie się atrybutem.

    Czy parser zbiera opinie?

    Nie. Pole „Pobieraj opinie” w ustawieniach jest, ale uniwersalny parser go nie czyta.

    Czy parser robi z cech warianty produktu?

    Nie. Oznaczenia „to wariant rozmiaru lub koloru” parser cechom nie nadaje — warianty powstają z pola „Nazwa rodziny (warianty)” i z osobnych stron produktów-opcji.

    Gdzie to jest i kto ma dostęp

    Pola konfiguruje się w tabeli reguł — to karta „Ustawienia importu” okna „Ustawienia importu danych ze strony”. Karta jest tylko w uniwersalnym parserze: w gotowym module (Rozetka, PROM, Hotline, eBay, Amazon i inne) reguły analizy napisaliśmy my i nic się tam nie zmienia.

    Żadne okno parsera nie jest wyprowadzone do menu. Dotrzesz do nich tylko przez listę cenników.

    Jak dodać źródło-parser, ustawić przechodzenie strony (działy → linki do produktów → karta), napisać i sprawdzić go przyciskiem testu — w artykule Parsowanie stron.

    Menu
    Słowniki → Przetwarzanie cenników → Lista cenników
    Tabela reguł
    wiersz źródła „Parser strony” → „Ustawienia” → karta „Ustawienia importu”
    Uprawnienia
    okno „Cenniki” (w menu — „Lista cenników”); osobnego uprawnienia do tabeli nie ma
    Przygotuj
    dodane źródło-parser i adres jednej karty produktu do sprawdzenia pól
    Tabela reguł okna ustawień importu danych ze strony z grupami operacji, nazwami pól i selektorami
    1Grupa Karta produktu
    2Kolumna nazwy pola
    3Kolumna Selektor nr 1
    1. Każda grupa reguł to typ operacji; grupa „Karta produktu” zawiera pola zbierane ze strony produktu.
    2. Kolumna nazwy pola pokazuje, co parser potrafi odczytać: jedno pole na wiersz.
    3. Kolumna „Selektor nr 1” zawiera selektor CSS lub XPath, który znajduje wartość na stronie; pusta komórka oznacza, że pole nie jest zbierane.

    Przycisku „Zapisz” w tych oknach nie ma: zmiana w komórce tabeli od razu trafia na serwer.

    Powiązane tematy

    Czy ten artykuł był pomocny?

    Brakuje funkcji? Napisz do nas.

    Dodamy ją za darmo, jeśli przyda się też innym.

    Jeśli potrzebujesz jej tylko ty — umówimy się osobno.

    Spis treści

    Zaproponuj usprawnienie

    Wypróbuj Elbuz za darmo