Parser zapisuje produkty do cennika źródła pojedynczo, zaraz po przeanalizowaniu strony, i sam decyduje, którą stronę otworzyć: już zebrany produkt nie jest pobierany drugi raz, a przerwany przebieg jest kończony od miejsca zatrzymania.
Kiedy to się przyda:
- Potrzebujesz świeżych cen i dostępności ze strony — z włączonym „Usuwaj produkty przed pobraniem” każdy przebieg otwiera strony od nowa.
- Chcesz dobrać tylko nowości — z odznaczonym polem strony już zebranych produktów się nie otwierają.
- Przebieg się przerwał albo go zatrzymano — zebrane zostaje w cenniku, „Kontynuuj” kończy resztę.
- Test pokazuje produkt, a w cenniku go nie ma — przyczyny są dokładnie cztery i wszystkie widać w ustawieniach źródła.
Od czego zacząć: zdecyduj, czy potrzebujesz „Usuwaj produkty przed pobraniem” na karcie „Dodatkowo”.
Co potrafi przebieg parsera
- Odróżnia nowy produkt od zebranego po adresie strony i nie pobiera tego samego produktu dwa razy.
- Przetrwa przerwanie i zatrzymanie — zebrane zostaje w cenniku, operacje cennika są stosowane do zebranego.
- Kontynuuje od miejsca zatrzymania — „Kontynuuj” kończy niezakończone zadania, niczego nie usuwając.
- Trzyma się limitów — paczki, wątki i czas oczekiwania na stronę są ustalone liczbami.
- Odsiewa produkty przy zapisie — według reguł wyboru, zakresu cen i dostępności.
- Lista kontrolna pierwszego przebiegu — co sprawdzić, zanim dane trafią do katalogu.
Jak zaktualizować ceny albo dobrać tylko nowości
odróżnia nowy produkt od już pobranego i od tego zależy, które strony otworzą się w przebiegu.
Kryterium jest jedno — adres strony. Ani nazwa, ani kod SKU, ani kod kreskowy nie mają tu znaczenia.
Każde zadanie w kolejce dostaje klucz — sumę kontrolną adresu zapisanego małymi literami. Zanim utworzy nowe zadanie, program sprawdza, czy w kolejce nie ma wiersza z takim samym kluczem; jeśli jest — zadanie nie powstaje. Dlatego ten sam produkt nie jest pobierany dwa razy, nawet jeśli leży w trzech działach strony.
Na tym samym mechanizmie opiera się pole „Usuwaj produkty przed pobraniem” (karta „Dodatkowo”, grupa „Przetwarzanie danych”, domyślnie włączone):
- zaznaczone — przed startem produkty źródła są usuwane, a przechodzenie zbiera wszystko od nowa;
- odznaczone — adresy wszystkich istniejących produktów cennika trafiają do kolejki z oznaczeniem „ignoruj” i każde zadanie dla takiego adresu jest odrzucane. Ich strony w tym przebiegu po prostu się nie otwierają. Tak właśnie działa obietnica „ze strony będą pobierane tylko nowe produkty”.
Odznaczone pole ma skutek, o którym nie myśli się od razu: ceny i dostępność istniejących produktów się nie zaktualizują. Ich strony nie były otwierane, więc nowych danych nie ma. Ten tryb nadaje się do dobierania nowości, a nie do śledzenia cen.
Drugi skutek: jeśli strona zmieniła adres produktu, dla parsera to nowy produkt. Stary zostanie w cenniku obok nowego.
Co zostaje w cenniku, jeśli przechodzenie się przerwało albo je zatrzymano
Produkty są zapisywane do cennika pojedynczo: przeanalizowano stronę — w cenniku pojawia się wiersz razem z cechami, zdjęciami, wideo i plikami. Zapisu „wszystko naraz na końcu” nie ma, więc przerwanie zostawia w cenniku dokładnie te produkty, których strony zdążono przeanalizować.
Operacje cennika — narzut, reguły dostępności i inne — nie są stosowane do zebranych wierszy, dopóki przechodzenie się nie skończy. Uruchamiają się w trzech przypadkach:
- w kolejce nie zostało niewykonanych zadań — przebieg doszedł do końca;
- kliknięto „Anuluj” w oknie importu — operacje zostaną zastosowane do tego, co już zebrano, a w dzienniku pojawi się „Wykonywanie operacji na produktach”;
- kliknięto „Zatrzymaj parsowanie danych” w oknie „Dziennik parsowania” — niezakończone zadania cennika są usuwane z kolejki, pozostałe Twoje niezakończone zadania są oznaczane jako anulowane, a operacje są stosowane do zebranego.
Okno „Dziennik parsowania” otwiera się przyciskiem „Dziennik parsowania” na karcie „Dodatkowo” okna „Ustawienia importu danych ze strony” albo z karty źródła: karta „Produkty” → menu dodatkowych operacji → „Dziennik parsowania”. „Zatrzymaj parsowanie danych” to przycisk-ikona w jego nagłówku; podpis pojawia się po najechaniu kursorem.
1
Ikona „Zatrzymaj parsowanie danych”2
Tabela zadań parsowania- „Zatrzymaj parsowanie danych” — ikona w nagłówku okna, która zatrzymuje zbieranie; po najechaniu pokazuje podpowiedź. Nie klikaj jej, jeśli naprawdę nie chcesz zatrzymać przebiegu.
- Tabela zadań — jeden wiersz na każde zadanie pobierania strony, z jego statusem, kodem odpowiedzi HTTP i czasem odpowiedzi (tu pusta, bo żaden przebieg nie trwa).
Jeśli natomiast przechodzenie przerwało się samo — awaria na serwerze albo zamknięte okno, gdy strony otwiera Twoja przeglądarka — operacje się nie uruchamiają. W cenniku leżą wiersze z cenami ze strony bez narzutu, dopóki przechodzenia się nie wznowi i nie doprowadzi do końca.
- Початок або кінець
- Дія або результат
- Розвилка: далі шлях залежить від відповіді
„Anuluj” w oknie importu oprócz zastosowania operacji usuwa z kolejki niezakończone zadania cennika — zarówno gdy strony otwiera przeglądarka, jak i gdy włączone jest „Używaj serwera do pobierania danych”.
W trybie serwerowym „Anuluj” działa tak samo jak „Zatrzymaj parsowanie danych”: serwer przerywa przechodzenie i nie weźmie już kolejnej paczki, pozostałe Twoje niezakończone zadania są oznaczane jako „Anulowano”, w dzienniku pojawia się „Operacja przerwana przez użytkownika!”, a operacje cennika są stosowane do zebranego. Przebiegu anulowanego nie da się kontynuować przyciskiem „Kontynuuj” — zostaje tylko „Rozpocznij pobieranie”.
Jak dokończyć przerwany przebieg: „Kontynuuj” czy „Rozpocznij pobieranie”
Co dzieje się z poszczególnymi stronami:
- strona, od której nie ma odpowiedzi, wraca do kolejki do powtórzenia: gdy strony otwiera przeglądarka — po 35 sekundach, przez serwer Elbuz — po 150 sekundach: to zapas na najdłuższe oczekiwanie serwera na stronę, do 120 sekund w trybie „Parsowanie premium (obejście zabezpieczeń)”. Po pięciu nieudanych próbach (dla hotline — dwudziestu) zadanie jest zamykane z oznaczeniem „brak odpowiedzi ponad 35 s, próba 5 z 5” — w obu trybach oznaczenie jest takie samo, a produktu z tej strony w cenniku nie będzie;
- strona, która odpowiedziała kodem 404, jest zamykana bez powtórzeń;
- zadania, do których przechodzenie jeszcze nie doszło, zostają w kolejce. Następnym razem w oknie importu nad przyciskami pojawi się „Są niezakończone zadania” z ich liczbą i przycisk „Kontynuuj”.
Po przerwaniu dwa przyciski działają różnie:
- „Kontynuuj” bierze do pracy te same niezakończone zadania. Nic nie jest usuwane, zebrane zostaje w cenniku.
- „Rozpocznij pobieranie” zaczyna przechodzenie od nowa: czyści kolejkę zadań i dziennik poprzedniego przebiegu, a dalej wszystko zależy od pola „Usuwaj produkty przed pobraniem”. Jeśli jest zaznaczone, zebrane produkty cennika są usuwane i zbierane ponownie. Jeśli jest odznaczone, adresy już zebranych produktów trafiają do kolejki z oznaczeniem „ignoruj”: drugi raz nie zostaną zebrane, dobrane zostaną tylko te, do których przerwany przebieg nie doszedł.
- Початок або кінець
- Дія або результат
- Розвилка: далі шлях залежить від відповіді
Produkt może się zdublować w jednym przypadku, który warto znać. Najpierw produkt jest zapisywany do cennika, a dopiero w kolejnym kroku jego zadanie jest oznaczane jako wykonane. Jeśli przerwanie wypadło akurat między tymi dwoma krokami, po „Kontynuuj” strona zostanie otwarta jeszcze raz i w cenniku pojawi się drugi wiersz z tym samym adresem.
Zostaje on do końca przebiegu: przy zakończeniu wiersze z tym samym adresem są usuwane, zostaje pierwszy.
Ile stron parser bierze naraz i gdzie są limity
Ile potrwa przechodzenie, nie da się policzyć z góry: zależy to od strony. Ale limity, w których działa, są ustalone w programie liczbami.
Przez serwer Elbuz (włączone „Używaj serwera do pobierania danych”):
- strony są pobierane paczkami: domyślnie po 100 adresów w 10 wątkach (przy kontynuacji w tle przez harmonogram — po 300 adresów). Na całą paczkę przypada 30 sekund na każdy jej adres;
- na jedną stronę program czeka do 35 sekund, przez Twoje własne proxy — do 55 sekund, w trybie „Parsowanie premium (obejście zabezpieczeń)” — do 120 sekund;
- z włączonym „Używaj serwera do renderowania JavaScript” (bez własnych proxy) paczka jest mniejsza: 4 adresy w 2 wątkach;
- przechodzenie odbywa się na serwerze, okno tylko pokazuje dziennik. Zamknięcie okna nie zatrzymuje przechodzenia. W jednym uruchomieniu serwer przechodzi do 14 paczek z rzędu, a pozostałe niezakończone zadania kontynuuje zadanie harmonogramu w tle;
- postęp widać w dzienniku: dla każdej paczki — wiersz „Pobieranie danych z linków” z liczbą adresów w paczce i liczbą niezakończonych zadań. Przed każdą paczką dziennik podaje tryb: „Tryb pobierania stron:”, a dalej „proxy serwerowe”, „bezpośredni (bez proxy)”, „proxy użytkownika” albo „tryb wzmocniony (omijanie zabezpieczeń)”.
Przez przeglądarkę (serwer nie jest używany): przechodzenie prowadzi samo okno importu. Co 3 sekundy bierze z kolejki jeden adres i przekazuje go rozszerzeniu Elbuz w przeglądarce. Po zamknięciu okna nowe strony nie są pobierane, a niewykonane zadania czekają na „Kontynuuj”.
Limitu liczby produktów w jednym przebiegu nie ma. Osobna liczba obowiązuje tylko w trybie „Wyszukiwanie po produktach katalogu bazowego”: do wyszukiwania na stronie bierze się nie więcej niż 100 000 aktywnych produktów katalogu.
Dlaczego produkt z testu nie trafił do cennika
Bywa tak: test reguły pokazuje pełny zestaw pól, a w cenniku produktu nie ma. Przyczyny są dokładnie cztery i wszystkie zadziałają już po analizie strony, w chwili zapisu.
- W trybie listingu brakuje nazwy lub adresu. Taki wiersz jest po cichu pomijany (pola listingu).
- Zadziałała reguła importu produktów. Jeśli dla źródła ustawiono warunki wyboru pozycji, każdy znaleziony produkt przechodzi przez nie, a ten, który nie pasuje, nie jest zapisywany.
- Cena poza zakresem. Pola „Importuj produkty z ceną — od / do” w karcie źródła, sekcja „Ceny”. Produkt z ceną poza zakresem nie jest zapisywany.
- Dostępność na liście blokad. W słowniku „Statusy dostępności” każdy status ma przełącznik „Nie importuj produktów z tym statusem (parser strony)”. Jeśli włączysz go dla „Brak w magazynie”, produkty z takim tekstem w polu „Status dostępności (z cennika)” nie trafią do cennika. Osobna reguła
{EMPTY}(albo{ПУСТО}— przyjmowane są oba zapisy) odcina produkty z pustą dostępnością. Domyślnie ten przełącznik jest wyłączony we wszystkich statusach.
Co sprawdzić po pierwszym przebiegu
Punkty prowadzą do tego, co najczęściej idzie nie tak: omówienie każdego — w artykule Co dokładnie parser pobiera z karty produktu.
Pierwszy przebieg zakończony
Scenariusze
Śledzić ceny i dostępność na stronie dostawcy
Co zrobić. W grupie „Karta produktu” wypełnij selektory „Cena” i „Status dostępności (z cennika)”. Na karcie „Dodatkowo” zostaw włączone „Usuwaj produkty przed pobraniem”.
Efekt. Każde „Rozpocznij pobieranie” usuwa produkty źródła i otwiera strony od nowa, więc cena i dostępność w cenniku pochodzą z tego przebiegu. Gdy w kolejce nie zostanie zadań, do zebranego zostaną zastosowane operacje cennika: narzut, reguły dostępności i inne.
Czego nie będzie. Karty katalogu się od tego nie zmienią: nowe ceny przenosi tam aktualizacja katalogu bazowego. Jeśli przechodzenie przerwało się samo, operacje się nie uruchomią, a w cenniku zostaną ceny ze strony bez narzutu (co zrobić po przerwaniu).
Dobierać ze strony tylko nowości
Co zrobić. Odznacz „Usuwaj produkty przed pobraniem” i uruchom „Rozpocznij pobieranie”.
Efekt. Adresy produktów, które już są w cenniku, stają się w kolejce oznaczeniami „ignoruj” i zadania dla tych adresów nie powstają. Otwierają się tylko strony z nowymi adresami.
Czego nie będzie. Ceny i dostępność już zebranych produktów się nie zaktualizują: ich stron w tym przebiegu nie otwierano. Produkt, któremu strona zmieniła adres, przyjdzie jako nowy wiersz, a stary zostanie obok.
Co zrobić, gdy po przebiegu w cenniku jest nie to
| Co widzisz | Dlaczego tak jest | Co zrobić |
|---|---|---|
| Przebieg się zakończył, a istniejące produkty mają dawne ceny | Odznaczone pole „Usuwaj produkty przed pobraniem”: strony istniejących produktów w tym przebiegu się nie otwierały | Zaznaczyć pole, jeśli potrzebne są świeże ceny (o nowym i starym produkcie) |
| W cenniku są dwa jednakowe produkty | Strona zmieniła adres produktu. Dla parsera to nowy produkt: odróżnia pozycje tylko po adresie | Usunąć starą pozycję albo uruchomić przebieg z włączonym „Usuwaj produkty przed pobraniem” (o nowym i starym produkcie) |
| W cenniku są ceny ze strony bez narzutu, dostępność nie została rozpoznana | Przechodzenie przerwało się samo i operacje cennika się nie uruchomiły: wykonują się tylko na końcu przebiegu | Kliknąć „Kontynuuj” i doprowadzić przebieg do końca (co zostaje po przerwaniu) |
Najczęstsze pytania
Czy ceny się zaktualizują, jeśli odznaczę „Usuwaj produkty przed pobraniem”?
Nie. Adresy istniejących produktów trafiają do kolejki z oznaczeniem „ignoruj”, a ich strony w tym przebiegu się nie otwierają. Przyjdą tylko produkty z nowych adresów (szczegóły).
Czy mogę zamknąć okno w trakcie przechodzenia?
Przez serwer Elbuz — tak: przechodzenie odbywa się na serwerze, okno tylko pokazuje dziennik. Gdy strony otwiera przeglądarka, zamknięte okno nie pobiera nowych stron, a niewykonane zadania czekają na „Kontynuuj”.
Ile produktów można zebrać w jednym przebiegu?
Limitu liczby produktów nie ma. Osobna liczba obowiązuje tylko w trybie „Wyszukiwanie po produktach katalogu bazowego”: do wyszukiwania na stronie bierze się nie więcej niż 100 000 aktywnych produktów katalogu.
Czy można kontynuować przebieg anulowany przyciskiem „Anuluj”?
Nie. „Anuluj” usuwa z kolejki niezakończone zadania cennika, więc „Kontynuuj” nie ma czego robić. Zostaje „Rozpocznij pobieranie” (szczegóły).
Dlaczego w cenniku są dwa wiersze z tym samym adresem produktu?
Przerwanie wypadło między zapisem produktu a oznaczeniem jego zadania jako wykonanego, więc po „Kontynuuj” stronę otwarto jeszcze raz. Drugi wiersz jest usuwany przy zakończeniu przebiegu, zostaje pierwszy (szczegóły).
Gdzie to jest i kto ma dostęp
- Menu
- Słowniki → Przetwarzanie cenników → Lista cenników
- Pola przebiegu
- wiersz źródła → „Ustawienia” → karta „Dodatkowo”
- Uruchomienie
- okno „Import danych ze strony”: „Rozpocznij pobieranie”, „Kontynuuj”, „Anuluj”
- Dziennik parsowania
- karta „Dodatkowo” → „Dziennik parsowania” albo karta źródła → „Produkty” → menu
- Uprawnienia
- okno „Cenniki” (w menu — „Lista cenników”)
Jak dodać źródło-parser i uruchomić je ręcznie albo według harmonogramu — w artykule Parsowanie stron. Jakie pola zbiera przebieg — w artykule Co dokładnie parser pobiera z karty produktu.
Powiązane tematy
- Jeśli potrzebujesz ogólnego obrazu: jakie pola, zdjęcia i cechy pobiera parser — Co dokładnie parser pobiera z karty produktu.
- Jeśli przebieg się zakończył, a zebrane cechy trzeba połączyć ze słownikiem atrybutów — Cechy ze strony w katalogu.
- Jeśli przebieg ma uruchamiać się sam, według harmonogramu — Parsowanie stron.
- Jeśli ceny w cenniku są świeże, a w kartach katalogu stare — Aktualizacja katalogu bazowego.
