↑↓ wybierzEnter otwórzEsc zamknij

    1. Elbuz

    Jak parser aktualizuje cennik: nowości, ponowny przebieg i przerwanie

    16 min czytaniaZaktualizowano

    Parser zapisuje produkty do cennika źródła pojedynczo, zaraz po przeanalizowaniu strony, i sam decyduje, którą stronę otworzyć: już zebrany produkt nie jest pobierany drugi raz, a przerwany przebieg jest kończony od miejsca zatrzymania.

    Kiedy to się przyda:

    • Potrzebujesz świeżych cen i dostępności ze strony — z włączonym „Usuwaj produkty przed pobraniem” każdy przebieg otwiera strony od nowa.
    • Chcesz dobrać tylko nowości — z odznaczonym polem strony już zebranych produktów się nie otwierają.
    • Przebieg się przerwał albo go zatrzymano — zebrane zostaje w cenniku, „Kontynuuj” kończy resztę.
    • Test pokazuje produkt, a w cenniku go nie ma — przyczyny są dokładnie cztery i wszystkie widać w ustawieniach źródła.

    Od czego zacząć: zdecyduj, czy potrzebujesz „Usuwaj produkty przed pobraniem” na karcie „Dodatkowo”.

    Co potrafi przebieg parsera

    Jak zaktualizować ceny albo dobrać tylko nowości

    odróżnia nowy produkt od już pobranego i od tego zależy, które strony otworzą się w przebiegu.

    Kryterium jest jedno — adres strony. Ani nazwa, ani kod SKU, ani kod kreskowy nie mają tu znaczenia.

    Każde zadanie w kolejce dostaje klucz — sumę kontrolną adresu zapisanego małymi literami. Zanim utworzy nowe zadanie, program sprawdza, czy w kolejce nie ma wiersza z takim samym kluczem; jeśli jest — zadanie nie powstaje. Dlatego ten sam produkt nie jest pobierany dwa razy, nawet jeśli leży w trzech działach strony.

    Na tym samym mechanizmie opiera się pole „Usuwaj produkty przed pobraniem” (karta „Dodatkowo”, grupa „Przetwarzanie danych”, domyślnie włączone):

    • zaznaczone — przed startem produkty źródła są usuwane, a przechodzenie zbiera wszystko od nowa;
    • odznaczone — adresy wszystkich istniejących produktów cennika trafiają do kolejki z oznaczeniem „ignoruj” i każde zadanie dla takiego adresu jest odrzucane. Ich strony w tym przebiegu po prostu się nie otwierają. Tak właśnie działa obietnica „ze strony będą pobierane tylko nowe produkty”.

    Odznaczone pole ma skutek, o którym nie myśli się od razu: ceny i dostępność istniejących produktów się nie zaktualizują. Ich strony nie były otwierane, więc nowych danych nie ma. Ten tryb nadaje się do dobierania nowości, a nie do śledzenia cen.

    Drugi skutek: jeśli strona zmieniła adres produktu, dla parsera to nowy produkt. Stary zostanie w cenniku obok nowego.

    Co zostaje w cenniku, jeśli przechodzenie się przerwało albo je zatrzymano

    Produkty są zapisywane do cennika pojedynczo: przeanalizowano stronę — w cenniku pojawia się wiersz razem z cechami, zdjęciami, wideo i plikami. Zapisu „wszystko naraz na końcu” nie ma, więc przerwanie zostawia w cenniku dokładnie te produkty, których strony zdążono przeanalizować.

    Operacje cennika — narzut, reguły dostępności i inne — nie są stosowane do zebranych wierszy, dopóki przechodzenie się nie skończy. Uruchamiają się w trzech przypadkach:

    • w kolejce nie zostało niewykonanych zadań — przebieg doszedł do końca;
    • kliknięto „Anuluj” w oknie importu — operacje zostaną zastosowane do tego, co już zebrano, a w dzienniku pojawi się „Wykonywanie operacji na produktach”;
    • kliknięto „Zatrzymaj parsowanie danych” w oknie „Dziennik parsowania” — niezakończone zadania cennika są usuwane z kolejki, pozostałe Twoje niezakończone zadania są oznaczane jako anulowane, a operacje są stosowane do zebranego.

    Okno „Dziennik parsowania” otwiera się przyciskiem „Dziennik parsowania” na karcie „Dodatkowo” okna „Ustawienia importu danych ze strony” albo z karty źródła: karta „Produkty” → menu dodatkowych operacji → „Dziennik parsowania”. „Zatrzymaj parsowanie danych” to przycisk-ikona w jego nagłówku; podpis pojawia się po najechaniu kursorem.

    Okno dziennika parsowania z podpowiedzią „Zatrzymaj parsowanie danych” przy ikonie w nagłówku i tabelą zadań poniżej
    1Ikona „Zatrzymaj parsowanie danych”
    2Tabela zadań parsowania
    1. „Zatrzymaj parsowanie danych” — ikona w nagłówku okna, która zatrzymuje zbieranie; po najechaniu pokazuje podpowiedź. Nie klikaj jej, jeśli naprawdę nie chcesz zatrzymać przebiegu.
    2. Tabela zadań — jeden wiersz na każde zadanie pobierania strony, z jego statusem, kodem odpowiedzi HTTP i czasem odpowiedzi (tu pusta, bo żaden przebieg nie trwa).

    Jeśli natomiast przechodzenie przerwało się samo — awaria na serwerze albo zamknięte okno, gdy strony otwiera Twoja przeglądarka — operacje się nie uruchamiają. W cenniku leżą wiersze z cenami ze strony bez narzutu, dopóki przechodzenia się nie wznowi i nie doprowadzi do końca.

    Wszystkie gałęzie oprócz dolnej kończą się operacjami cennika — narzutem, dostępnością i innymi. Dolna gałąź, samoistne przerwanie, zostawia zebrane bez nich, dopóki przechodzenia nie doprowadzi się do końca
    w kolejce nie zostało zadań„Anuluj” w oknie importu„Zatrzymaj parsowaniedanych”w oknie „Dziennikparsowania”zapytanie przechodzenia doserwera zwróciło błądgdy strony otwieraprzeglądarkaawaria na serwerze albozamknięte oknogdy strony otwieraprzeglądarkaPrzechodzenie się zatrzymałoW jaki sposóbOperacje cennika na zebranym:narzut, dostępność i inneNiezakończone zadania cennikasą usuwane z kolejkiOperacje się nie uruchamiająw cenniku ceny ze strony beznarzutuZadania czekają w kolejcena „Kontynuuj”
    • Початок або кінець
    • Дія або результат
    • Розвилка: далі шлях залежить від відповіді

    „Anuluj” w oknie importu oprócz zastosowania operacji usuwa z kolejki niezakończone zadania cennika — zarówno gdy strony otwiera przeglądarka, jak i gdy włączone jest „Używaj serwera do pobierania danych”.

    W trybie serwerowym „Anuluj” działa tak samo jak „Zatrzymaj parsowanie danych”: serwer przerywa przechodzenie i nie weźmie już kolejnej paczki, pozostałe Twoje niezakończone zadania są oznaczane jako „Anulowano”, w dzienniku pojawia się „Operacja przerwana przez użytkownika!”, a operacje cennika są stosowane do zebranego. Przebiegu anulowanego nie da się kontynuować przyciskiem „Kontynuuj” — zostaje tylko „Rozpocznij pobieranie”.

    Jak dokończyć przerwany przebieg: „Kontynuuj” czy „Rozpocznij pobieranie”

    Co dzieje się z poszczególnymi stronami:

    • strona, od której nie ma odpowiedzi, wraca do kolejki do powtórzenia: gdy strony otwiera przeglądarka — po 35 sekundach, przez serwer Elbuz — po 150 sekundach: to zapas na najdłuższe oczekiwanie serwera na stronę, do 120 sekund w trybie „Parsowanie premium (obejście zabezpieczeń)”. Po pięciu nieudanych próbach (dla hotline — dwudziestu) zadanie jest zamykane z oznaczeniem „brak odpowiedzi ponad 35 s, próba 5 z 5” — w obu trybach oznaczenie jest takie samo, a produktu z tej strony w cenniku nie będzie;
    • strona, która odpowiedziała kodem 404, jest zamykana bez powtórzeń;
    • zadania, do których przechodzenie jeszcze nie doszło, zostają w kolejce. Następnym razem w oknie importu nad przyciskami pojawi się „Są niezakończone zadania” z ich liczbą i przycisk „Kontynuuj”.

    Po przerwaniu dwa przyciski działają różnie:

    • „Kontynuuj” bierze do pracy te same niezakończone zadania. Nic nie jest usuwane, zebrane zostaje w cenniku.
    • „Rozpocznij pobieranie” zaczyna przechodzenie od nowa: czyści kolejkę zadań i dziennik poprzedniego przebiegu, a dalej wszystko zależy od pola „Usuwaj produkty przed pobraniem”. Jeśli jest zaznaczone, zebrane produkty cennika są usuwane i zbierane ponownie. Jeśli jest odznaczone, adresy już zebranych produktów trafiają do kolejki z oznaczeniem „ignoruj”: drugi raz nie zostaną zebrane, dobrane zostaną tylko te, do których przerwany przebieg nie doszedł.
    Lewa gałąź niczego nie kasuje. Prawa najpierw czyści kolejkę, a o tym, co stanie się z już zebranymi produktami, decyduje pole „Usuwaj produkty przed pobraniem”
    „Kontynuuj”„Rozpocznij pobieranie”zaznaczoneodznaczonePrzechodzenie się przerwało,w kolejce zostały zadaniaKtóry przycisk klikniętoBrane są te same niezakończonezadaniazebrane zostaje w cennikuKolejka zadań i dziennikpoprzedniego przebiegu sączyszczone„Usuwaj produktyprzed pobraniem”Produkty cennika są usuwanei zbierane od nowaAdresy zebranych produktów sąignorowanezbierane są tylko te, do których niedoszło
    • Початок або кінець
    • Дія або результат
    • Розвилка: далі шлях залежить від відповіді

    Produkt może się zdublować w jednym przypadku, który warto znać. Najpierw produkt jest zapisywany do cennika, a dopiero w kolejnym kroku jego zadanie jest oznaczane jako wykonane. Jeśli przerwanie wypadło akurat między tymi dwoma krokami, po „Kontynuuj” strona zostanie otwarta jeszcze raz i w cenniku pojawi się drugi wiersz z tym samym adresem.

    Zostaje on do końca przebiegu: przy zakończeniu wiersze z tym samym adresem są usuwane, zostaje pierwszy.

    Ile stron parser bierze naraz i gdzie są limity

    Ile potrwa przechodzenie, nie da się policzyć z góry: zależy to od strony. Ale limity, w których działa, są ustalone w programie liczbami.

    Przez serwer Elbuz (włączone „Używaj serwera do pobierania danych”):

    • strony są pobierane paczkami: domyślnie po 100 adresów w 10 wątkach (przy kontynuacji w tle przez harmonogram — po 300 adresów). Na całą paczkę przypada 30 sekund na każdy jej adres;
    • na jedną stronę program czeka do 35 sekund, przez Twoje własne proxy — do 55 sekund, w trybie „Parsowanie premium (obejście zabezpieczeń)” — do 120 sekund;
    • z włączonym „Używaj serwera do renderowania JavaScript” (bez własnych proxy) paczka jest mniejsza: 4 adresy w 2 wątkach;
    • przechodzenie odbywa się na serwerze, okno tylko pokazuje dziennik. Zamknięcie okna nie zatrzymuje przechodzenia. W jednym uruchomieniu serwer przechodzi do 14 paczek z rzędu, a pozostałe niezakończone zadania kontynuuje zadanie harmonogramu w tle;
    • postęp widać w dzienniku: dla każdej paczki — wiersz „Pobieranie danych z linków” z liczbą adresów w paczce i liczbą niezakończonych zadań. Przed każdą paczką dziennik podaje tryb: „Tryb pobierania stron:”, a dalej „proxy serwerowe”, „bezpośredni (bez proxy)”, „proxy użytkownika” albo „tryb wzmocniony (omijanie zabezpieczeń)”.

    Przez przeglądarkę (serwer nie jest używany): przechodzenie prowadzi samo okno importu. Co 3 sekundy bierze z kolejki jeden adres i przekazuje go rozszerzeniu Elbuz w przeglądarce. Po zamknięciu okna nowe strony nie są pobierane, a niewykonane zadania czekają na „Kontynuuj”.

    Limitu liczby produktów w jednym przebiegu nie ma. Osobna liczba obowiązuje tylko w trybie „Wyszukiwanie po produktach katalogu bazowego”: do wyszukiwania na stronie bierze się nie więcej niż 100 000 aktywnych produktów katalogu.

    Dlaczego produkt z testu nie trafił do cennika

    Bywa tak: test reguły pokazuje pełny zestaw pól, a w cenniku produktu nie ma. Przyczyny są dokładnie cztery i wszystkie zadziałają już po analizie strony, w chwili zapisu.

    1. W trybie listingu brakuje nazwy lub adresu. Taki wiersz jest po cichu pomijany (pola listingu).
    2. Zadziałała reguła importu produktów. Jeśli dla źródła ustawiono warunki wyboru pozycji, każdy znaleziony produkt przechodzi przez nie, a ten, który nie pasuje, nie jest zapisywany.
    3. Cena poza zakresem. Pola „Importuj produkty z ceną — od / do” w karcie źródła, sekcja „Ceny”. Produkt z ceną poza zakresem nie jest zapisywany.
    4. Dostępność na liście blokad. W słowniku „Statusy dostępności” każdy status ma przełącznik „Nie importuj produktów z tym statusem (parser strony)”. Jeśli włączysz go dla „Brak w magazynie”, produkty z takim tekstem w polu „Status dostępności (z cennika)” nie trafią do cennika. Osobna reguła {EMPTY} (albo {ПУСТО} — przyjmowane są oba zapisy) odcina produkty z pustą dostępnością. Domyślnie ten przełącznik jest wyłączony we wszystkich statusach.

    Co sprawdzić po pierwszym przebiegu

    Punkty prowadzą do tego, co najczęściej idzie nie tak: omówienie każdego — w artykule Co dokładnie parser pobiera z karty produktu.

    Pierwszy przebieg zakończony

    Scenariusze

    Śledzić ceny i dostępność na stronie dostawcy

    Co zrobić. W grupie „Karta produktu” wypełnij selektory „Cena” i „Status dostępności (z cennika)”. Na karcie „Dodatkowo” zostaw włączone „Usuwaj produkty przed pobraniem”.

    Efekt. Każde „Rozpocznij pobieranie” usuwa produkty źródła i otwiera strony od nowa, więc cena i dostępność w cenniku pochodzą z tego przebiegu. Gdy w kolejce nie zostanie zadań, do zebranego zostaną zastosowane operacje cennika: narzut, reguły dostępności i inne.

    Czego nie będzie. Karty katalogu się od tego nie zmienią: nowe ceny przenosi tam aktualizacja katalogu bazowego. Jeśli przechodzenie przerwało się samo, operacje się nie uruchomią, a w cenniku zostaną ceny ze strony bez narzutu (co zrobić po przerwaniu).

    Dobierać ze strony tylko nowości

    Co zrobić. Odznacz „Usuwaj produkty przed pobraniem” i uruchom „Rozpocznij pobieranie”.

    Efekt. Adresy produktów, które już są w cenniku, stają się w kolejce oznaczeniami „ignoruj” i zadania dla tych adresów nie powstają. Otwierają się tylko strony z nowymi adresami.

    Czego nie będzie. Ceny i dostępność już zebranych produktów się nie zaktualizują: ich stron w tym przebiegu nie otwierano. Produkt, któremu strona zmieniła adres, przyjdzie jako nowy wiersz, a stary zostanie obok.

    Co zrobić, gdy po przebiegu w cenniku jest nie to

    Co widać w cenniku po przebiegu i co z tym zrobić
    Co widziszDlaczego tak jestCo zrobić
    Przebieg się zakończył, a istniejące produkty mają dawne ceny Odznaczone pole „Usuwaj produkty przed pobraniem”: strony istniejących produktów w tym przebiegu się nie otwierały Zaznaczyć pole, jeśli potrzebne są świeże ceny (o nowym i starym produkcie)
    W cenniku są dwa jednakowe produkty Strona zmieniła adres produktu. Dla parsera to nowy produkt: odróżnia pozycje tylko po adresie Usunąć starą pozycję albo uruchomić przebieg z włączonym „Usuwaj produkty przed pobraniem” (o nowym i starym produkcie)
    W cenniku są ceny ze strony bez narzutu, dostępność nie została rozpoznana Przechodzenie przerwało się samo i operacje cennika się nie uruchomiły: wykonują się tylko na końcu przebiegu Kliknąć „Kontynuuj” i doprowadzić przebieg do końca (co zostaje po przerwaniu)

    Najczęstsze pytania

    Czy ceny się zaktualizują, jeśli odznaczę „Usuwaj produkty przed pobraniem”?

    Nie. Adresy istniejących produktów trafiają do kolejki z oznaczeniem „ignoruj”, a ich strony w tym przebiegu się nie otwierają. Przyjdą tylko produkty z nowych adresów (szczegóły).

    Czy mogę zamknąć okno w trakcie przechodzenia?

    Przez serwer Elbuz — tak: przechodzenie odbywa się na serwerze, okno tylko pokazuje dziennik. Gdy strony otwiera przeglądarka, zamknięte okno nie pobiera nowych stron, a niewykonane zadania czekają na „Kontynuuj”.

    Ile produktów można zebrać w jednym przebiegu?

    Limitu liczby produktów nie ma. Osobna liczba obowiązuje tylko w trybie „Wyszukiwanie po produktach katalogu bazowego”: do wyszukiwania na stronie bierze się nie więcej niż 100 000 aktywnych produktów katalogu.

    Czy można kontynuować przebieg anulowany przyciskiem „Anuluj”?

    Nie. „Anuluj” usuwa z kolejki niezakończone zadania cennika, więc „Kontynuuj” nie ma czego robić. Zostaje „Rozpocznij pobieranie” (szczegóły).

    Dlaczego w cenniku są dwa wiersze z tym samym adresem produktu?

    Przerwanie wypadło między zapisem produktu a oznaczeniem jego zadania jako wykonanego, więc po „Kontynuuj” stronę otwarto jeszcze raz. Drugi wiersz jest usuwany przy zakończeniu przebiegu, zostaje pierwszy (szczegóły).

    Gdzie to jest i kto ma dostęp

    Menu
    Słowniki → Przetwarzanie cenników → Lista cenników
    Pola przebiegu
    wiersz źródła → „Ustawienia” → karta „Dodatkowo”
    Uruchomienie
    okno „Import danych ze strony”: „Rozpocznij pobieranie”, „Kontynuuj”, „Anuluj”
    Dziennik parsowania
    karta „Dodatkowo” → „Dziennik parsowania” albo karta źródła → „Produkty” → menu
    Uprawnienia
    okno „Cenniki” (w menu — „Lista cenników”)

    Jak dodać źródło-parser i uruchomić je ręcznie albo według harmonogramu — w artykule Parsowanie stron. Jakie pola zbiera przebieg — w artykule Co dokładnie parser pobiera z karty produktu.

    Powiązane tematy

    Czy ten artykuł był pomocny?

    Brakuje funkcji? Napisz do nas.

    Dodamy ją za darmo, jeśli przyda się też innym.

    Jeśli potrzebujesz jej tylko ty — umówimy się osobno.

    Spis treści

    Zaproponuj usprawnienie

    Wypróbuj Elbuz za darmo