↑↓ wybierzEnter otwórzEsc zamknij

    1. Elbuz

    Jak uruchomić pobieranie ze strony ręcznie i według harmonogramu

    18 min czytaniaZaktualizowano

    Elbuz przechodzi przez serwis kolejką stron, a po przejściu sam stosuje do zebranych produktów narzut, dostępność i inne operacje cennika. Pobieranie uruchamia się przyciskiem lub według harmonogramu na serwerze — wtedy okna aplikacji nie trzeba otwierać.

    Kiedy to się przyda:

    • Serwis trzeba pobrać teraz — „Importuj” otwiera okno pobierania i przejście zaczyna się od razu.
    • Ceny trzeba aktualizować co noc — w trybie serwerowym harmonogram uruchamia pobieranie bez człowieka.
    • Poprzedni przebieg się przerwał — „Kontynuuj” kończy resztę kolejki, niczego nie usuwając.
    • Serwis nie oddaje stron serwerowi — tryb „Bezpośrednio, bez proxy”, własne proxy lub usługa obchodzenia zabezpieczeń.

    Od czego zacząć: przycisk „Importuj” w nagłówku prawego panelu „Listy cenników”.

    Co potrafi uruchamianie pobierania

    • Ręczne uruchomienie, pauza i wznowienie — jeden albo wszystkie parsery stron po kolei.
    • Dwa tryby — strony otwiera Twoja przeglądarka przez rozszerzenie albo serwer Elbuz w tle.
    • Pobieranie tylko nowych produktów — strony istniejących produktów w przebiegu się nie otwierają.
    • Harmonogram — codzienne lub cotygodniowe pobieranie bez człowieka, w trybie serwerowym.
    • Tryb pobierania stron — przez proxy, bezpośrednio lub przez usługę obchodzenia zabezpieczeń.

    Jak uruchomić pobieranie ręcznie

    Przycisk „Importuj” w nagłówku prawego panelu otwiera dla źródła-parsera nie import pliku, lecz okno „Import danych ze strony” — i przejście zaczyna się od razu, bez osobnego kliknięcia. To samo działanie jest na zakładce „Produkty” karty źródła, tam przycisk ma napis „Importuj”. Prawie całe okno zajmuje podgląd operacji — wiersze pojawiają się w nim w miarę pracy. W nagłówku:

    • „Rozpocznij pobieranie” — tworzy zadania i zaczyna przejście;
    • „Kontynuuj” — pojawia się, gdy z poprzedniego razu zostały niezakończone zadania; obok jest licznik „Są niezakończone zadania N” i podpowiedź „Kliknij „Kontynuuj”, aby wznowić pracę.”;
    • „Pauza” — widoczna tylko podczas pracy; w podglądzie pojawia się „Zadanie wstrzymane”, kolejka zostaje na miejscu;
    • „Anuluj” — też tylko podczas pracy; w podglądzie „Zadanie anulowane”, po czym przebieg się kończy;
    • napis „trwa praca” — dopóki pulsuje, pobieranie żyje; przy rzadkich wierszach podglądu inaczej nie odróżnisz pracy od zawieszenia;
    • ikona dziennika parsowania.

    Co dokładnie zobaczysz w nagłówku, zależy od tego, czy zostały niezakończone zadania z poprzedniego razu. Jeśli nie — przejście już trwa: w nagłówku są tylko „Pauza”, „Anuluj” i „trwa praca”. Jeśli tak — przejście się nie zaczęło, a w nagłówku są „Rozpocznij pobieranie” i „Kontynuuj”, licznik „Są niezakończone zadania N” i podpowiedź pod nimi.

    Dalej wszystko zależy od tego, kto otwiera strony — Twoja przeglądarka czy serwer.

    Tryb przeglądarki działa bez modułu serwera. Okno co trzy sekundy prosi serwer o porcję zadań i przekazuje je rozszerzeniu Elbuz, rozszerzenie otwiera strony i zwraca ich kod. Stąd dwie konsekwencje, o których warto wiedzieć z góry: bez rozszerzenia nic się nie zbierze, a zamknięcie okna zatrzymuje pobieranie. Przebieg uznaje się za zakończony po pięciu pustych odpowiedziach z rzędu.

    Tryb przeglądarki: każdą stronę otwiera rozszerzenie w Twojej przeglądarce, a okno pobierania przekazuje ją na serwer. Zamknięte okno przerywa ten łańcuch już na pierwszej strzałce
    StronaRozszerzenie ElbuzSerwer ElbuzOkno pobieraniaparsowanie według reguł, nowe zadania w kolejceloop[co 3 sekundy, dopóki okno jest otwarte]pięć pustych odpowiedzi z rzędu — przebieg zakończonydaj porcję zadańadresy stronotwórz te adresyotwiera stronę w karcie przeglądarkikod stronykod stronykod do analizy
    • Запит або дія
    • Відповідь
    • loop — повторюється
    • Примітка

    Tryb serwerowy włącza się polem „Używaj serwera do pobierania danych” i działa tylko wtedy, gdy na Twoim koncie jest aktywny odpowiedni moduł. Wtedy strony pobiera serwer Elbuz — po 100 adresów naraz w 10 wątkach, w trybie „Bezpośrednio, bez proxy” w 20 — a okno tylko pokazuje podgląd. Można je zamknąć.

    Link „Zainstaluj rozszerzenie” pojawia się w oknie ustawień, gdy parser ma odznaczone pole „Używaj serwera do pobierania danych” — czyli dokładnie wtedy, gdy rozszerzenie jest potrzebne. Jak je zainstalować — w artykule Rozszerzenie Elbuz dla Chrome.

    Gdy przejście się skończy, aplikacja nie zamyka po prostu okna. Stosuje do zebranych danych wszystkie operacje cennika — narzut, dostępność i resztę — w podglądzie przez ten czas widnieje „Wykonywanie operacji na produktach”, a potem ponownie indeksuje produkty źródła i odświeża tabelę, by nie pokazywała starych danych. Ostatni wiersz podglądu to „Zadanie zakończone” i „Czas: mm:ss”.

    Wszystko naraz uruchomisz pozycją menu „Uruchom wszystkie parsery stron” w grupie „Import źródeł” listy cenników. Aplikacja sama zbierze wszystkie aktywne źródła-parsery i przetworzy je po kolei: gdy jedno się skończy, okno się zamyka i po półtorej sekundy otwiera dla następnego.

    Co się dzieje po „Rozpocznij pobieranie”

    Przycisk „Rozpocznij pobieranie” nie idzie od razu na stronę. Najpierw aplikacja przygotowuje kolejkę i właśnie tu rozstrzyga się, czy w ogóle będzie co przechodzić.

    1. Kolejka i podgląd na żywo z poprzedniego przebiegu są usuwane. Dlatego „Dziennik parsowania” trzeba czytać przed kolejnym uruchomieniem, a nie po nim. Przycisk „Kontynuuj” niczego nie usuwa.
    2. Jeśli zaznaczone jest „Usuwaj produkty przed pobraniem”, produkty źródła są usuwane. Jeśli pole jest odznaczone, adresy istniejących produktów trafiają do kolejki z oznaczeniem „ignoruj” i ich strony w tym przebiegu w ogóle się nie otwierają — tak właśnie działa obietnica „ze strony będą pobierane tylko nowe produkty”.
    3. Jeśli wypełniony jest „Link do mapy strony (plik XML)”, mapa jest pobierana od nowa — przy każdym przebiegu, a nie raz podczas konfiguracji.
    4. Jeśli na zakładce „Lista linków” są adresy, każdy z nich staje się zadaniem. Adres z zaznaczonym „To jest link do produktu” trafia od razu do operacji „Karta produktu”, pozostałe — do operacji „Lista linków do produktów”.
    5. Jeśli „Lista linków” jest pusta, aplikacja tworzy dokładnie jedno zadanie — „Lista linków do kategorii produktów” na adres z pola „Link do kategorii”, a gdy jest ono puste — na stronę główną serwisu.
    Górne rozwidlenie — który z dwóch przycisków kliknięto: „Kontynuuj” niczego nie usuwa. Dolna gałąź po prawej — przypadek, gdy kolejka w ogóle nie powstaje i przebieg kończy się, zanim się zaczął
    „Kontynuuj”„Rozpocznij pobieranie”taknienietaktaknieKliknięto przycisk w okniepobierania„Kontynuuj” czy „Rozpocznijpobieranie”?Przejście idzie z istniejącej kolejki,nic nie jest usuwaneKolejka i podgląd na żywo zpoprzedniego przebiegu sąusuwane„Usuwaj produkty przedpobraniem”?Produkty źródła są usuwaneAdresy istniejących produktówtrafiają do kolejki jako „ignoruj”„Lista linków” jest pusta?Każdy adres staje się zadaniem: zpolem „To jest link do produktu” —„Karta produktu”, reszta — „Listalinków do produktów”Wypełniony „Selektor operacji”kategorii lub włączone„Automatyczne wyszukiwanieselektorów”?Jedno zadanie na „Link do kategorii”lub stronę głównąKolejki nie ma: po pięciu pustychodpowiedziach — „Zadaniezakończone”
    • Дія або результат
    • Розвилка: далі шлях залежить від відповіді

    Ostatni punkt ma warunek, przez który najczęściej zdarza się „przebieg się skończył, nic się nie zebrało”. Zadanie na stronę główną powstaje tylko wtedy, gdy w wierszu „Selektor operacji” grupy „Lista linków do kategorii produktów” coś jest wypełnione — selektor lub wyrażenie regularne — albo włączone jest „Automatyczne wyszukiwanie selektorów”. Pusty selektor bez automatycznego wyszukiwania i pusta „Lista linków” razem oznaczają, że kolejka w ogóle nie powstanie: w podglądzie od razu pojawia się „Zadanie zakończone”, a w dzienniku parsowania nie ma ani jednego wiersza.

    Dwie kontrole działają przy każdym zadaniu i warto o nich wiedzieć z góry. Jeden adres trafia do kolejki raz: powtórny link do tej samej strony jest odrzucany, więc ten sam produkt nie jest pobierany dwa razy, nawet jeśli jest w trzech kategoriach. A adres obcej domeny w ogóle nie trafia do kolejki — w podglądzie pojawia się czerwony wiersz Main domain not exist in url! z adresem strony i odrzuconym linkiem. Jeśli serwis wystawia produkty w drugiej domenie, wpisz ją w pole „Link alternatywny (synonim)” na zakładce „Dodatkowo”.

    Jak uruchamiać pobieranie według harmonogramu

    Harmonogram otwiera przycisk „Ustawienia harmonogramu” — jest w górnym rzędzie zakładki „Dodatkowo”, obok „Dziennika parsowania” i „Listy serwerów proxy”.

    Rząd trzech przycisków nad kartą „Parametry parsowania”
    1„Dziennik parsowania”
    2„Ustawienia harmonogramu”
    3„Lista serwerów proxy”
    1. „Dziennik parsowania” — historia każdej strony wiersz po wierszu.
    2. „Ustawienia harmonogramu” — regularne pobieranie; działa tylko w trybie serwerowym.
    3. „Lista serwerów proxy” — własne adresy do omijania blokad.

    Główny warunek: harmonogram działa tylko w trybie serwerowym. Przy wyłączonym module serwera zadanie według harmonogramu kończy pracę już w pierwszym wierszu i niczego nie zbiera — nie zobaczysz ani ostrzeżenia, ani błędu.

    Okno „Ustawienia harmonogramu” parsera strony
    1Przełącznik „Aktywność”
    2Wybór godziny uruchomienia
    1. „Aktywność” — włącza harmonogram.
    2. Godzina uruchomienia — godzina i minuta przebiegu.

    Drugi warunek dotyczy samego źródła. Jeśli parser działa w przeglądarce, harmonogram go pomija i zapisuje w dzienniku: „Źródło ID 123 zostało pominięte przez harmonogram: parser działa w przeglądarce i nie jest uruchamiany według harmonogramu”. Jeśli parser ma ustawiony tryb serwerowy, ale moduł na koncie nie jest podłączony, komunikat jest inny: „Źródło ID 123 zostało pominięte przez harmonogram: parsowanie po stronie serwera nie jest włączone dla konta”. Oba wiersze szukaj w dzienniku operacji — właśnie po nich widać, że harmonogram zadziałał, a źródło po prostu nie zostało wzięte do pracy.

    Dwa przebiegi według harmonogramu nie startują jednocześnie. Jeśli w chwili startu trwa już inne , w dzienniku pojawia się „Anulowano pobieranie wg harmonogramu, powód — trwa pobieranie innego szablonu parsowania (konflikt przetwarzania danych).” — i to uruchomienie po prostu się nie odbywa. Jeśli powtarza się to za każdym razem, rozłóż źródła na różne godziny.

    Jeszcze jeden szczegół, wspólny dla obu trybów: zadanie, które zbyt długo nie dostaje odpowiedzi, wraca do kolejki z adnotacją w dzienniku i licznikiem prób. W trybie przeglądarki aplikacja czeka 35 sekund, w serwerowym — 150. Domyślnie prób jest pięć, dla niektórych marketplace’ów więcej. W trybie przeglądarki oznacza to najczęściej zminimalizowane okno, w serwerowym — wolny serwis.

    Co ustawić na zakładce „Dodatkowo”

    Przycisku „Zapisz” w tym oknie nie ma. Formularz wysyła się na serwer sam, przy każdej zmianie pola, i nie pokazuje żadnego potwierdzenia. Przez to zdarzają się dwa przeciwne błędy: ktoś szuka przycisku i myśli, że ustawienia się nie zapisały, albo „tylko patrzy”, klika pole wyboru i już zmienił działanie pobierania. Zapisane ustawienia sprawdzisz tylko w jeden sposób: zamknij okno i otwórz je ponownie — wartości zostaną odczytane z bazy.

    Główna karta zakładki to „Parametry parsowania”, podzielona na pięć grup.

    „Jakie dane zbierać”. „Pobieraj atrybuty” (włączone; podpowiedź ostrzega, że przy aktualizacji katalogu bazowego pobierana jest za nie dodatkowa opłata), „Pobieraj zdjęcia” (włączone), „Pobieraj opinie” (wyłączone), „Zapisuj metatagi” (wyłączone), „Zapisuj tekstową kopię stron” (wyłączone).

    Pierwsze trzy pola tej grupy — „Pobieraj atrybuty”, „Pobieraj zdjęcia”, „Pobieraj opinie”, a razem z nimi „Pobieraj ceny” z ostatniej grupy — czytają gotowe moduły. Parser uniwersalny ich nie czyta: u niego o pobieraniu decyduje tabela reguł, a pole z pustym selektorem nie zostanie zebrane niezależnie od zaznaczenia. Dwa ostatnie pola grupy, „Zapisuj metatagi” i „Zapisuj tekstową kopię stron”, działają w obu przypadkach.

    „Tryb pobierania stron”. Jest tu lista „Jak serwer pobiera tę stronę” z trzema wartościami: „Przez proxy (zwykły tryb serwerowy)” — tak domyślnie; „Bezpośrednio, bez proxy” — gdy dostawca sam pozwolił Ci na pobieranie i takie zapytania są bezpłatne; „Przez usługę obchodzenia zabezpieczeń” — dla serwisów, które inaczej nie oddają stron, płatne osobno w każdym planie. Dla trzeciego wariantu pojawia się pole „Kraj zapytania” z wartością „Auto (domyślnie)”, a pole trybu serwerowego włącza się wymuszenie. W tej samej grupie są „Używaj serwera do pobierania danych”, „Używaj serwera do renderowania JavaScript”, „Ładuj JavaScript” i „Pobieraj produkty i ceny bez otwierania karty”.

    Usługi obchodzenia zabezpieczeń nie trzeba wybierać. Aplikacja najpierw próbuje tańszej, a po odmowie przechodzi do następnej. Jeśli zadziałała droższa, źródło zapamiętuje ją na 7 dni. Dlatego pierwszy przebieg serwisu z silną ochroną jest wolniejszy od kolejnych. Strona, na której serwis pokazał weryfikację zabezpieczeń, nie trafia do cennika, ale jeśli usługa pobrała za nią opłatę, jest ona płatna według tej samej zasady (ile to kosztuje).

    Karta „Parametry parsowania” na zakładce „Dodatkowo” okna „Ustawienia importu”
    1„Jakie dane zbierać”
    2„Jak serwer pobiera tę stronę”
    3„Używaj serwera do pobierania danych”
    4„Automatyzacja i debugowanie”
    5„Pobieranie cen”
    1. „Jakie dane zbierać” — atrybuty, zdjęcia, opinie, metatagi i tekstowa kopia stron.
    2. „Jak serwer pobiera tę stronę” — przez proxy, bezpośrednio albo przez usługę obchodzenia zabezpieczeń.
    3. „Używaj serwera do pobierania danych” — bez tego strony otwiera Twoja przeglądarka, więc okno musi pozostać otwarte.
    4. „Automatyzacja i debugowanie” — „Tryb debugowania” zapisuje kod stron w dzienniku.
    5. „Pobieranie cen” — czy pobierać ceny.

    O dwóch polach tej grupy warto powiedzieć osobno. „Używaj serwera do renderowania JavaScript” jest potrzebne serwisom, które bez wykonania skryptów pokazują pustą stronę — i ono też mocno spowalnia przejście: w tym trybie serwer bierze po 4 adresy naraz w 2 wątkach zamiast zwykłych 100 adresów w 10 wątkach. A „Pobieraj produkty i ceny bez otwierania karty” po utworzeniu źródła na parserze uniwersalnym już nic nie zmienia: za tryb listingu odpowiada kolumna „Produkty w tej operacji” w wierszu „Selektor operacji” grupy „Lista linków do produktów” i przełączać trzeba właśnie ją.

    „Przetwarzanie danych”. „Poprawiaj błędny HTML” (włączone), „Czyść linki” — w parserze uniwersalnym usuwa z adresów listingów końcówkę po #, a parametry w rodzaju ?param=value obcina tylko w gotowych modułach — i „Usuwaj produkty przed pobraniem” (domyślnie zaznaczone). Ostatnie pole warto dobrze zrozumieć: jeśli je odznaczysz, ze strony będą pobierane tylko nowe produkty, a to, co zniknęło ze strony, zostanie w Twoim cenniku.

    „Automatyzacja i debugowanie”. „Automatyczne wyszukiwanie selektorów” — aplikacja sama dobiera selektor tam, gdzie jest pusty, przy każdym przebiegu. „Wyszukiwanie po produktach katalogu bazowego” — przejście nie po kategoriach, lecz wyszukiwarką serwisu według Twoich produktów: w pole „Link do wyszukiwania produktu” wpisuje się adres wyszukiwania z makrem {NAME}, {SKU} lub {EAN}, a aplikacja wstawi do niego nazwę, kod lub kod kreskowy każdego produktu katalogu bazowego. „Tryb debugowania” — zapisuje kod każdej strony w dzienniku parsowania; bez niego nie będzie tam czego oglądać.

    „Pobieranie cen”. Pole „Pobieraj ceny”.

    Niżej jest karta „Adresy strony”: „Link do strony głównej”, „Link alternatywny (synonim)” (druga domena tego samego serwisu — linki do niej nie będą odrzucane), „Link do kategorii” (strona, od której zacznie się przejście, jeśli to nie główna), „Link do wyszukiwania produktu”, „ID kategorii” i „Ignoruj strony zawierające tekst”. Ostatnie pole odcina strony techniczne: strona, w której tekście wystąpił Twój ciąg, nie trafi do parsowania. Działa ono tylko w trybie serwerowym — strony dostarczane przez rozszerzenie przeglądarki tej kontroli nie przechodzą.

    Sekcja rozwijana „Dodatkowo” na dole tej samej zakładki kryje to, co potrzebne rzadko, ale bez czego niektóre serwisy się nie pobierają: „Znajdź” / „Zamień” (zamiana na całej stronie, przed parsowaniem), „Selektory CSS do usuwania zbędnych bloków”, „Lista tagów do usunięcia”, usuwanie linków własnej i obcych domen, listy cookies do usunięcia i do ustawienia, „Nagłówki HTTP”, „Kodowanie strony”, a także „Maks. liczba stron z kategorii” i „Maks. liczba produktów z kategorii” — te dwa limity czytają gotowe moduły, a parser uniwersalny ogranicza się kolumną „Maks. liczba wyników” w wierszu reguły. Tam też jest przełącznik „Typ pobieranych elementów”: „Produkt”, „Artykuł”, „Aktualność”, „Przepis”. Domyślnie — „Produkt”.

    Scenariusze

    Dodawać tylko nowe produkty, bez ponownego pobierania istniejących

    Na zakładce „Dodatkowo” odznacz „Usuwaj produkty przed pobraniem”. Na starcie przebiegu adresy produktów, które już są w cenniku, trafiają do kolejki z oznaczeniem „ignoruj” i ich strony się nie otwierają.

    Czego nie będzie: przy zwykłym przejściu z otwieraniem kart ceny i dostępność istniejących produktów w tym przebiegu się nie zaktualizują, a produkty, które zniknęły ze strony, zostaną w Twoim cenniku.

    Pobierać serwis co noc bez udziału człowieka

    Zaznacz na zakładce „Dodatkowo” „Używaj serwera do pobierania danych” (potrzebny jest moduł parsowania serwerowego na koncie), otwórz „Ustawienia harmonogramu”, ustaw dzień i godzinę i włącz „Aktywność”. Strony pobiera serwer Elbuz, okna aplikacji nie trzeba otwierać.

    Czego nie będzie: bez modułu parsowania serwerowego zadanie według harmonogramu niczego nie zbierze. Jeśli w chwili startu trwa już inne parsowanie według harmonogramu, to uruchomienie jest anulowane z wpisem „Anulowano pobieranie wg harmonogramu, powód — trwa pobieranie innego szablonu parsowania (konflikt przetwarzania danych).”

    Co zrobić, gdy pobieranie nie startuje lub się zatrzymało

    Co widziszDlaczego tak jestCo zrobić
    „Zadanie zakończone” od razu po starcie, w dzienniku parsowania ani jednego wiersza Kolejka nie powstała: „Lista linków” jest pusta, a w grupie „Lista linków do kategorii produktów” nie ma ani selektora, ani „Automatycznego wyszukiwania selektorów”. W trybie przeglądarki tak samo wygląda sytuacja, gdy nie jest zainstalowane Wypełnić „Selektor operacji” pierwszego kroku lub dodać adresy do „Listy linków”; sprawdzić rozszerzenie (od czego zaczyna się przejście)
    W podglądzie na czerwono: Main domain not exist in url! i dwa adresy Selektor objął link do innej domeny — taki nie trafia do kolejki Doprecyzować selektor. Jeśli serwis naprawdę wystawia produkty w drugiej domenie — wpisać ją w „Link alternatywny (synonim)” (o przejściu)
    „Źródło ID 123 zostało pominięte przez harmonogram: parser działa w przeglądarce i nie jest uruchamiany według harmonogramu” Parser ma odznaczone pole „Używaj serwera do pobierania danych”, a harmonogram potrafi uruchamiać tylko pobieranie serwerowe Włączyć tryb serwerowy lub uruchamiać to źródło ręcznie (o harmonogramie)
    „Źródło ID 123 zostało pominięte przez harmonogram: parsowanie po stronie serwera nie jest włączone dla konta” Parser ma ustawiony tryb serwerowy, ale sam moduł na koncie nie jest aktywny Podłączyć moduł „Używaj serwera do pobierania danych” (gdzie to jest i kto ma dostęp)
    „Anulowano pobieranie wg harmonogramu, powód — trwa pobieranie innego szablonu parsowania (konflikt przetwarzania danych).” Inny przebieg według harmonogramu już trwa; dwóch jednocześnie nie ma Poczekać na zakończenie. Jeśli powtarza się za każdym razem — rozłożyć harmonogramy źródeł na różne godziny (o harmonogramie)
    „Operacja przerwana przez użytkownika!” Kliknięto „Anuluj” — tutaj lub w innym oknie Nic. Niezakończone zadania zostały: następnym razem okno zaproponuje „Kontynuuj”
    „Są niezakończone zadania N” i „Kliknij „Kontynuuj”, aby wznowić pracę.” Poprzedni przebieg nie doszedł do końca „Kontynuuj” — przejście ruszy z tego samego miejsca. „Rozpocznij pobieranie” zacznie wszystko od nowa i usunie dziennik poprzedniego przebiegu (o uruchamianiu)
    Ustawienia na zakładce „Dodatkowo” „nie zapisały się” Przycisku „Zapisz” w oknie nie ma: formularz trafia na serwer przy każdej zmianie pola, ale nie pokazuje potwierdzenia Zamknąć i otworzyć okno — wartości zostaną odczytane z bazy (o zakładce „Dodatkowo”)

    Najczęstsze pytania

    Harmonogram jest ustawiony, a pobieranie się nie uruchamia. Co sprawdzić?

    Tryb serwerowy: bez modułu „Używaj serwera do pobierania danych” harmonogram nic nie robi. Potem — czy w tym czasie nie trwało inne parsowanie i czy w dzienniku operacji nie ma wiersza „Źródło ID … zostało pominięte przez harmonogram” z przyczyną (o harmonogramie).

    Przebieg się zakończył, ale produkty w cenniku są stare. Dlaczego?

    Najczęściej odznaczone jest „Usuwaj produkty przed pobraniem”: wtedy strony istniejących produktów się nie otwierają i ich ceny się nie aktualizują. Druga przyczyna — przebieg nie doszedł do kart: sprawdź w dzienniku parsowania zadania „Karta produktu”.

    Dlaczego z włączonym renderowaniem JavaScript pobieranie idzie wolno?

    W tym trybie serwer bierze po 4 adresy naraz w 2 wątkach zamiast zwykłych 100 adresów w 10 wątkach. Włączaj go tylko dla serwisów, które bez skryptów pokazują pustą stronę.

    Czy można uruchomić wszystkie parsery stron naraz?

    Tak: pozycja menu „Uruchom wszystkie parsery stron” w grupie „Import źródeł” listy cenników. Aktywne źródła-parsery są przetwarzane po kolei, jedno po drugim.

    Ile kosztuje tryb „Przez usługę obchodzenia zabezpieczeń”?

    Od 0,0045 € za stronę w każdym planie, na mocno chronionych serwisach trzy lub pięć razy drożej: 0,0135 € i 0,0225 €. Zapytania „Bezpośrednio, bez proxy” nie są płatne. Jeśli konto nie ma stałej ceny, przebieg zatrzymuje się, gdy skończą się środki na saldzie, z komunikatem o braku środków.

    Gdzie to jest i kto ma dostęp

    Menu
    Słowniki → Przetwarzanie cenników → Lista cenników
    Uruchomienie
    wiersz „Parser strony” → „Importuj”; w karcie źródła zakładka „Produkty” → „Importuj”
    Harmonogram, dziennik, proxy
    okno ustawień parsera, zakładka „Dodatkowo”, górny rząd przycisków
    Uprawnienia
    okno „Cenniki”
    Moduł
    „Używaj serwera do pobierania danych” — do pobierania w tle i według harmonogramu
    Przygotuj
    do pobierania bez serwera — rozszerzenie Elbuz dla Chrome

    Powiązane tematy

    Czy ten artykuł był pomocny?

    Brakuje funkcji? Napisz do nas.

    Dodamy ją za darmo, jeśli przyda się też innym.

    Jeśli potrzebujesz jej tylko ty — umówimy się osobno.

    Spis treści

    Zaproponuj usprawnienie

    Wypróbuj Elbuz za darmo