↑↓ wybierzEnter otwórzEsc zamknij

    1. Elbuz

    Co zrobić, gdy parser strony zebrał nie to lub nic

    6 min czytaniaZaktualizowano

    Elbuz zapisuje każdą stronę przejścia w „Dzienniku parsowania” z kodem odpowiedzi i rozmiarem, więc widać, czy serwis nie oddał strony, czy selektory już jej nie rozpoznają.

    Kiedy to się przyda:

    • Przebieg się zakończył, a produktów nie ma lub nazwy są puste — kolumna „Typ operacji” pokazuje, na którym kroku łańcuch się przerwał.
    • Serwis pokazuje weryfikację „nie jestem robotem” — pobieranie wstrzymuje się i czeka, aż przejdziesz weryfikację w swojej przeglądarce.
    • Serwis odpowiada 403 lub 429 — po trzeciej nieudanej próbie strona jest zamykana, a strona odmowy nie trafia do cennika.
    • Serwis przebudowano — test reguły, kreator selektorów i dobór przez AI przywracają działające reguły.

    Od czego zacząć: otwórz „Dziennik parsowania” przed kolejnym uruchomieniem.

    Co pomoże znaleźć przyczynę

    Który dziennik odpowiada na Twoje pytanie

    Najczęstsze nieporozumienie w tym module to nie selektory, lecz dzienniki. Są trzy i odpowiadają na różne pytania.

    Podgląd na żywo w oknie „Import danych ze strony” odpowiada na pytanie „co dzieje się w tej chwili”. Wiersze przychodzą w trakcie pracy: „Rozpoczęcie pobierania”, „Pobieranie danych z linków - N (M)”, gdzie N to liczba stron przekazanych do pracy w tej porcji, a M — liczba pozostałych zadań, „Wykryto captcha”, „Operacja przerwana przez użytkownika!”, „Wykonywanie operacji na produktach”, „Zadanie zakończone”. Podgląd nie jest archiwum: wiersze przychodzą w czasie rzeczywistym i nigdzie nie są odtwarzane, więc ponownie otwarte okno jest puste, a wpisy poprzedniego przebiegu są usuwane, gdy tylko uruchomisz kolejny.

    „Dziennik parsowania”: wiersz dla każdej strony

    To okno odpowiada na pytanie „co stało się z każdą stroną”. W istocie to kolejka zadań: jeden wiersz — jedna strona, którą trzeba było otworzyć i przeanalizować. Otwiera się przyciskiem „Dziennik parsowania” u góry zakładki „Dodatkowo” lub ikoną dziennika w oknie pobierania i od razu jest przefiltrowany według Twojego źródła.

    Jeśli otworzysz dziennik między przebiegami i zobaczysz „Brak danych do wyświetlenia”, to norma, a nie błąd konfiguracji. Kolejka żyje dokładnie tak długo, jak trwa przejście: na starcie każdego przebiegu aplikacja czyści i ją, i szczegółowe wiersze ogólnego dziennika dla tego źródła. Dlatego do dziennika zagląda się w trakcie pracy lub zaraz po niej; gdy potrzebna jest historia z poprzednich dni, ogląda się ją na zakładce „Dziennik” w karcie źródła.

    Kolumny, w kolejności przydatności przy analizie: „Typ operacji” (linki do kategorii, linki do produktów, karta produktu, atrybuty produktu), „Link”, „Kod odpowiedzi HTTP”, „Rozmiar, kB”, „Powtórzeń”, „Status” — narastający wiersz, do którego aplikacja dopisuje przyczyny, „Data dodania”, „Wykonano”, „W toku”, „Czas odpowiedzi”, „Data wykonania”, „Kontrahent/Cennik”, „Użytkownik”, „ID zadania”. Ikona strony w wierszu otwiera „Kod HTML strony” — ale tylko jeśli w ustawieniach był włączony „Tryb debugowania”; inaczej kod strony nie jest zapisywany.

    Kolumna „Typ operacji” jest najbardziej przydatna i najmniej oczywista: pokazuje, do którego kroku procesu doszło przejście. Jeśli w dzienniku są wiersze „Linki do kategorii” i „Linki do produktów”, ale ani jednego „Karta produktu (treść)”, łańcuch przerwał się na drugim kroku — selektor bloku produktu nic nie znalazł. Jeśli są karty, ale nie ma atrybutów, problem jest w czwartym kroku.

    Na pasku narzędzi są „Odśwież” i „Zatrzymaj parsowanie danych” — drugi przycisk zatrzymuje pobieranie bez otwierania okna uruchomienia.

    Dziennik przebiegów źródła odpowiada na pytanie „ile wierszy przyszło w sumie”. To ta sama zakładka „Dziennik” w karcie źródła co przy cennikach w plikach, z oceną kondycji, kafelkami i historią; w kolumnie „Format” dla takiego źródła jest parser.

    Serwis zmienił wygląd — i zebrało się nie to

    To najczęstsza awaria pobierania i wygląda niewinnie: przebieg przechodzi, błędów nie ma, ale produktów też nie. Albo są, ale z pustymi nazwami. Przyczyna prawie zawsze jest jedna — serwis przebudowano i selektory nie znajdują już tego, co znajdowały rok temu. Rozwiązuje się to w czterech krokach, a kolejność ma znaczenie.

    Krok pierwszy — przeczytać „Dziennik parsowania” (przycisk u góry zakładki „Dodatkowo”), bo odróżnia „serwis nie oddał strony” od „strona przyszła, ale się nie przeanalizowała”, a kolumna „Typ operacji” pokazuje, na którym kroku wszystko się zatrzymało. Zrób to przed kolejnym uruchomieniem: przycisk „Rozpocznij pobieranie” usuwa i kolejkę zadań, i podgląd na żywo z poprzedniego przebiegu, więc nie będzie już czego oglądać. „Kontynuuj” niczego nie usuwa. Oznaki są takie:

    • kod odpowiedzi 200, „Rozmiar, kB” normalny, a produktów nie ma — strona przyszła cała, problem w selektorach;
    • kod 403, 429 lub 5xx i „Status” z http … — strona się nie otworzyła, pominięto — serwis odmówił, selektory nie mają z tym nic wspólnego, sprawdź tryb pobierania;
    • kod 404 i „Wykonano” — strony już nie ma, usuń adres;
    • „Rozmiar, kB” podejrzanie mały — zamiast strony przyszła zaślepka antybota lub weryfikacja „nie jestem robotem”;
    • zadań w ogóle nie ma, a w podglądzie od razu „Zadanie zakończone” — nie ma czego przechodzić: albo pusta „Lista linków” razem z pustym selektorem kategorii, albo „Selektor operacji” nie znalazł na stronie ani jednego linku.

    Krok drugi — test reguły na tym kroku, na którym łańcuch się przerwał. Wpisujesz w kolumnę „Link testowy” adres strony, która na pewno istnieje, i klikasz przycisk testu w wierszu „Selektor operacji”. Lewy panel „Wynik testu” pokaże, co dokładnie zwraca selektor teraz. Pusto — selektor jest martwy; jest coś, ale nie to — selektor łapie sąsiedni blok.

    Krok trzeci — dobrać selektor od nowa. Dla operacji z listami to „Kreator konfiguracji parsera”: pokaże gotowe selektory dla wszystkich grup linków na stronie, a Tobie zostanie skopiować właściwy do „Selektora operacji”. Dla karty produktu i atrybutów — przycisk doboru przez sztuczną inteligencję, który sam nadpisuje reguły.

    Krok czwarty — włączyć „Automatyczne wyszukiwanie selektorów”, jeśli serwis jest regularnie przebudowywany. W tym trybie aplikacja przy każdym przebiegu sama dobiera selektor tam, gdzie jest pusty, i odróżnia stronę listy od karty po słowach typowych dla listingu i oznaczeniach ceny.

    Gdy ze strony przyszło nie to

    Gdy serwis nie oddaje stron

    Serwisy chronią się przed automatycznym przechodzeniem i to normalna część pracy. Aplikacja rozróżnia dwa przypadki.

    Weryfikacja „nie jestem robotem”. Na ten przypadek przewidziano osobne działanie: pobieranie się wstrzymuje, strona wraca do kolejki, rozlega się sygnał dźwiękowy, a w podglądzie na czerwono pojawia się „Wykryto captcha” i link „Przejdź weryfikację na stronie i kliknij «Kontynuuj»”. Prowadzi on dokładnie na stronę, na której pojawiła się weryfikacja, i otwiera się w zwykłej karcie przeglądarki, w której są Twoje pliki cookie: po przejściu weryfikacji kliknij „Kontynuuj”, a przejście ruszy dalej z tego samego miejsca.

    Weryfikacja Cloudflare „Just a moment…”. Aplikacja rozpoznaje ją w każdym trybie, nawet bez Twoich znaczników CAPTCHA, i wstrzymuje pobieranie w ten sam sposób. W trybie przeglądarki rozszerzenie (od wersji 2.4.3) najpierw do 12 sekund czeka, aż weryfikacja przejdzie sama. Jeśli nie przejdzie — karta z nią otwiera się w oknie parsowania: przejdź weryfikację tam, a pobieranie samo się wznowi.

    Weryfikację aplikacja rozpoznaje po znacznikach — charakterystycznych fragmentach kodu strony, zapisanych w ustawieniach samego parsera. W gotowych modułach są wypełnione: w Hotline to np. g-recaptcha, „Automatic checking against unwanted bots” i jeszcze kilka wierszy. A parser uniwersalny, tworzony przez kreator, nie ma żadnych znaczników i to najważniejsze, co trzeba wiedzieć: strona z weryfikacją przyjdzie do niego jak zwykła. W dzienniku parsowania będzie miała kod 200 i podejrzanie mały rozmiar, a produktów z niej zero. Gdy zobaczysz taki obraz, otwórz ten adres w swojej przeglądarce i sprawdź, co naprawdę na nim jest.

    Odmowa serwera. Kody 400 i wyższe oznaczają, że strona się nie otworzyła. 404 jest zamykane od razu i na zawsze — strony już nie ma. Pozostałe (403, 429, 5xx) są powtarzane, a po trzeciej nieudanej próbie zadanie jest zamykane. Treść odpowiedzi nigdy nie jest zapisywana jako wynik parsowania: strona z napisem „Access Denied” nie trafi do Twojego cennika jako opis produktu. Do Twoich wierszy w polu „Ignoruj strony zawierające tekst” aplikacja dodaje jeszcze dziesięć znaczników technicznych — zaślepki i weryfikacje Cloudflare, „403 Forbidden”, „Access Denied” i podobne. Robi to tylko w trybie serwerowym: w trybie przeglądarki stronę dostarcza rozszerzenie i tego zabezpieczenia nie ma.

    Co z tym zrobić, zależy od serwisu. Jeśli dostawca dał Ci dostęp — „Bezpośrednio, bez proxy”: takie zapytania nie są płatne. Jeśli serwis po prostu nie lubi obcych — „Przez proxy” albo własne adresy w oknie „Lista serwerów proxy” (każdy adres w nowym wierszu, w formacie user:password@proxyserver:proxyport lub proxyserver:proxyport). Jeśli nie pomaga ani jedno, ani drugie — „Przez usługę obchodzenia zabezpieczeń”: obchodzi CAPTCHA i ochronę antybotową dużych marketplace’ów, ale każde zapytanie jest płatne osobno. Gdy skończą się środki na saldzie, przebieg zatrzyma się z komunikatem „Parsowanie premium (omijanie zabezpieczeń) zatrzymane: za mało środków na saldzie. Doładuj saldo, aby kontynuować.”

    Scenariusze

    Nocny przebieg zakończył się bez błędów, a produktów zero

    Otwórz „Dziennik parsowania”. Kod 200 i podejrzanie mały „Rozmiar, kB” oznaczają, że zamiast strony przyszła weryfikacja „nie jestem robotem” lub zaślepka ochrony: uniwersalny jej nie rozpoznaje. Otwórz adres w swojej przeglądarce i zmień „Jak serwer pobiera tę stronę” (o blokowaniu).

    Czego nie będzie: strona-zaślepka nie trafi do cennika jako produkt — produktów z niej jest po prostu zero.

    Po aktualizacji serwisu nazwy przyszły puste

    W dzienniku kod 200 i zwykły rozmiar — strona jest cała, selektory się zestarzały. Uruchom test reguły na kroku, na którym łańcuch się przerwał, i dobierz selektor od nowa: kreatorem dla list, przez AI — dla karty i atrybutów (kolejność sprawdzania).

    Czego nie będzie: dobór przez AI nie zachowuje starych wartości — skopiuj działające selektory przed uruchomieniem.

    Serwis zaczął odpowiadać 403

    Jeśli dostawca dał Ci dostęp — ustaw „Bezpośrednio, bez proxy”. Jeśli nie — „Przez proxy” albo własne adresy na „Liście serwerów proxy”, a gdy i to nie pomaga, „Przez usługę obchodzenia zabezpieczeń”.

    Czego nie będzie: strony z odmową nie są powtarzane bez końca — po trzeciej nieudanej próbie zadanie jest zamykane.

    Komunikaty parsera i co z nimi zrobić

    Co widziszDlaczego tak jestCo zrobić
    W dzienniku parsowania kod 200, „Rozmiar, kB” wyraźnie mniejszy niż zwykle, produktów z tych stron nie ma Przyszła nie strona, lecz zaślepka ochrony lub Otworzyć ten sam adres w swojej przeglądarce. Jeśli jest tam weryfikacja — przejść ją lub zmienić tryb pobierania stron (o blokowaniu)
    Kod odpowiedzi 200, rozmiar strony zwykły, a produktów nie ma Strona przyszła cała, ale selektory już jej nie rozpoznają — serwis zmienił wygląd Test reguły → kreator selektorów → dobór przez AI, właśnie w tej kolejności. W trybie serwerowym sprawdź przy okazji pole „Ignoruj strony zawierające tekst” (serwis zmienił wygląd)
    W dzienniku parsowania: http 403 — strona się nie otworzyła, pominięto Serwis odmówił. Treść odpowiedzi nie jest zapisywana jako wynik, po trzeciej nieudanej próbie zadanie jest zamykane Zmienić „Jak serwer pobiera tę stronę” lub podłączyć własne proxy. Jeśli dostawca dał dostęp — „Bezpośrednio, bez proxy” (o blokowaniu)
    To samo z kodem 404 Strony już nie ma; zadanie jest zamykane od razu, bez powtórzeń Usunąć adres z „Listy linków” lub ponownie zaimportować mapę strony
    W dzienniku: op_status = 1 brak odpowiedzi ponad 35 s, próba 2 / 5 Odpowiedź nie przyszła na czas. W trybie przeglądarki (35 sekund) — zamknięto okno, zminimalizowano przeglądarkę, brak rozszerzenia; w serwerowym (150 sekund) — wolny serwis Nie zamykać okna podczas pobierania lub włączyć „Używaj serwera do pobierania danych” (o dwóch trybach)
    W dzienniku ostatni wiersz strony: op_status = 1 brak odpowiedzi ponad 35 s, próba 5 / 5 — druga liczba jest równa pierwszej Próby po przekroczeniach czasu się wyczerpały: strona została zamknięta bez danych i pominięta. Jeśli wyczerpały się próby przy pustych odpowiedziach, wiersz jest inny — op_status = 2 nie udało się pobrać po 5 próbach Otworzyć adres z kolumny „Link” w przeglądarce. Otwiera się — powtórzyć przebieg; nie otwiera się — serwis blokuje zapytania (gdy serwis nie oddaje stron)
    Po wyszukiwaniu treści: „Wyszukiwanie zakończone, ale źródeł z błędami: 5” W przebiegu przeglądarkowym pięć serwisów-źródeł choć raz odpowiedziało błędem lub CAPTCHA. Pod nagłówkiem jest zestawienie: „nazwa serwisu — błędów: N · captcha M” Kliknąć „Otwórz dziennik” — otworzy się zakładka „Postęp” z filtrem „Tylko błędy”. CAPTCHA i 403 — serwis blokuje; kod 200 bez wyników — serwis zmienił układ strony
    W dzienniku: op_status = 3 otrzymano pustą odpowiedź Strona przyszła pusta. Zadanie wraca do kolejki i jest powtarzane, dopóki nie wyczerpie się pięć prób Sprawdzić adres w przeglądarce. Jeśli strona się otwiera, a puste odpowiedzi się powtarzają — włączyć „Używaj serwera do renderowania JavaScript”
    „usługa fetch nie zwróciła HTML, pominięto” Zewnętrzna usługa pobierania stron zwróciła pustą odpowiedź Powtórzyć przebieg; jeśli się powtarza — zmienić tryb pobierania stron
    „Parsowanie premium (omijanie zabezpieczeń) zatrzymane: za mało środków na saldzie. Doładuj saldo, aby kontynuować.” Wybrano „Przez usługę obchodzenia zabezpieczeń”, a środki na saldzie się skończyły Doładować saldo lub wrócić do trybu „Przez proxy”

    Najczęstsze pytania

    Dziennik parsowania pokazuje „Brak danych do wyświetlenia”. Czy to awaria?

    Nie. Kolejka żyje, dopóki trwa przejście: na starcie każdego przebiegu aplikacja ją czyści. Historię z poprzednich dni zobaczysz na zakładce „Dziennik” w karcie źródła (o dzienniku).

    Czy można wyeksportować „Dziennik parsowania” do Excela, żeby wysłać go dostawcy?

    Nie, eksportu nie ma. Otwórz w wierszu „Kod HTML strony” — to, co serwis oddał aplikacji (tylko z „Trybem debugowania”) — albo zaznacz i skopiuj wiersze z tabeli. Zrób to przed kolejnym uruchomieniem tego samego źródła.

    Gdzie zobaczyć HTML strony, którą pobrała aplikacja?

    W „Dzienniku parsowania”, ikoną strony w wierszu — otworzy się „Kod HTML strony”. Kod strony jest zapisywany tylko wtedy, gdy na zakładce „Dodatkowo” włączony jest „Tryb debugowania”.

    W dzienniku jest „brak odpowiedzi ponad 35 s, próba 2 / 5” — to źle, produkt przepadł?

    Nie, to ponowna próba po przekroczeniu czasu: zadanie wróciło do kolejki. Źle jest tylko wtedy, gdy obie liczby są równe — „próba 5 / 5”: strona została zamknięta bez danych (co zrobić).

    Czy strona „Access Denied” trafi do cennika jako opis produktu?

    Nie. Treść odpowiedzi z kodem 400 i wyższym nigdy nie jest zapisywana jako wynik parsowania.

    Gdzie to jest i kto ma dostęp

    Menu
    Słowniki → Przetwarzanie cenników → Lista cenników
    Dziennik parsowania
    okno ustawień parsera → zakładka „Dodatkowo” → „Dziennik parsowania”
    Inne wejścia
    ikona dziennika w oknie pobierania; „Dodatkowe operacje” okna produktów cennika
    Uprawnienia
    okno „Dziennik parsowania” lub „Dziennik parsowania stron”
    Przygotuj
    „Tryb debugowania” na zakładce „Dodatkowo” — żeby dziennik zapisywał kod stron

    Powiązane tematy

    Czy ten artykuł był pomocny?

    Brakuje funkcji? Napisz do nas.

    Dodamy ją za darmo, jeśli przyda się też innym.

    Jeśli potrzebujesz jej tylko ty — umówimy się osobno.

    Spis treści

    Zaproponuj usprawnienie

    Wypróbuj Elbuz za darmo