Прайс постачальника майже ніколи не містить контенту: назва, артикул, ціна, іноді одне фото. Щоб картка на сайті продавала й потрапляла у фільтри, потрібні опис, характеристики й нормальні знімки. Пошук контенту бере товари вашого каталогу, знаходить їх на сайтах-джерелах і переносить звідти опис, фото, характеристики й відео.
Режимів два. Автоматичний обробляє сотні товарів пачкою й сам перебирає джерела. Напівавтоматичний працює з одним товаром: ви самі відкриваєте потрібну сторінку, а програма забирає з неї дані.
Де це у програмі
- Автоматичний пошук
- Базовий каталог → меню «AI та контент» → «Пошук контенту для товарів»
- Напівавтоматичний
- те саме меню → «Додати контент для товару» (для рядка під курсором)
- Перед цим
- відберіть у каталозі товари, яким потрібен контент
1
Перемикач «Один сайт» / «Каскад сайтів»2
Успішність сайту за 90 днів- Каскад перебирає сайти зверху вниз і зупиняється на першому результаті, тоді як «Один сайт» шукає лише на обраному джерелі.
- Відсоток показує частку товарів, для яких сайт дав контент за останні 90 днів.
Вікно автоматичного пошуку має чотири вкладки: «Запуск» — налаштування прогону, «Прогрес» — хід і журнал, «Результати» — що знайшлося, «Історія» — статистика минулих прогонів.
Крок 1. Для яких товарів
Набір товарів береться з каталогу, а не задається у вікні пошуку. Два варіанти умови: «Позначені в каталозі» — ті, що ви відмітили галочками, або «За фільтром каталогу» — усе, що потрапило в поточний відбір. Змінити набір можна тільки в самому каталозі: закрийте вікно, поправте відбір і відкрийте пошук знову.
Тут же вибирають категорію й поле, за яким шукати. За замовчуванням шукають за назвою, але часто точніше шукати за артикулом виробника.
Якщо відбір у каталозі не заданий взагалі, у роботу піде весь каталог — вікно попереджає про це прямо. За один прогін у роботу йде не більше 5000 товарів відбору, у демо-доступі — не більше 5. Коли відбір не заданий, вікно називає цю межу в попередженні. Коли ж у ваш фільтр потрапило більше 5000 товарів, зайві просто не підуть у прогін, окремого повідомлення про них немає. Тож починайте з категорії чи фільтра, а не з усього каталогу одразу.
Товари, які вже перевірялися, відсіюються вже з цих 5000, тому в роботу може піти менше. Якщо товари відмічені галочками або вікно відкрите на одному товарі, правило «Не шукати повторно» до них не застосовується: програма шукає саме те, що ви вибрали, і лише попереджає, скільки з вибраного вже перевірялося.
Товари, які вже перевірялися на вибраних сайтах, із відбору виключаються — вікно пише, скільки саме. Це захист від повторної витрати запитів. Кнопка «Перевірити їх заново» знімає це обмеження.
Крок 2. Де шукаємо
Два режими роботи з джерелами.
| Режим | Як працює |
|---|---|
| «Один сайт» | шукаємо тільки на обраному сайті |
| «Каскад сайтів» | сайти перебираються згори вниз; каскад зупиняється на першому, де контент знайдено й підтверджено ШІ |
Каскад складають із пресетів — збережених наборів сайтів. Кнопка «Підібрати за категорією» пропонує набір, категорії якого збігаються з категоріями відібраних товарів; такий пресет позначається міткою «Рекомендуємо».
У рядку кожного сайту видно корисне:
- «Успішність» — частка товарів, для яких сайт дав контент за останні 90 днів. Кнопка «Відсортувати за успішністю» ставить найрезультативніші вгору.
- «Браузер» або «Сервер» — де виконується обхід. Браузерні сайти вимагають, щоб вкладка лишалася відкритою, і працюють через розширення Elbuz для Chrome.
- мітка «⚡ Швидкісний» — сайт віддає дані пачкою через власний програмний інтерфейс: сторінки не завантажуються, прогін іде в рази швидше.
- позначка походження: готове джерело (налаштоване заздалегідь і оновлюється саме) чи ваше власне.
Прапорець ліворуч від сайту вимикає його тільки на цей прогін; порядок обходу змінюється перетягуванням за номер. Кнопка «Свій сайт» додає джерело, якого немає в списку: адреса сайту, адреса його пошуку й правила розбору сторінки.
Крок 3. Як виконуємо
Спершу — що саме забирати: «Фото», «Характеристики», «Опис», «Відео». Поруч вибирається мова, у яку записувати знайдене.
Далі три налаштування, які найбільше впливають на результат.
- «Не шукати повторно»
- 7, 30, 90 днів або «завжди шукати». Товар, перевірений на цьому сайті нещодавно, у прогін не піде
- «Відкладати товар»
- після скількох сайтів без результату товар отримує статус «Контент не знайдено» й іде з робочого відбору. Ставте стільки, скількома сайтами реально користуєтесь — за більшого числа позначка не з'явиться ніколи
- «Якщо контент не знайдено ніде»
- ставити статус «Контент не знайдено» або лишати статус без змін
У групі «Темп обходу та очищення запиту» ховаються дві речі, через які пошук найчастіше «нічого не знаходить»:
- Прибирати спецсимволи — з запиту зникають дужки, лапки, дефіси. На більшості сайтів пошук через них збивається.
- Прибирати кирилицю — із запиту прибираються кириличні слова, щоб «холодильник Samsung RB34» шукався як «Samsung RB34». Обережно: у товару з повністю кириличною назвою запит стане порожнім і сайт буде пропущено.
Прапорець «Платні серверні запити» вмикає звернення до сервера Elbuz, які тарифікуються окремо. Без дозволу прогін не стартує, якщо в каскаді є хоч один сайт, що завантажується сервером. Вікно показує, скільки таких сайтів у вибраному наборі.
Що вважається знайденим
Коли сайт відпрацював, програма по кожному товару вирішує, чи зупиняти на ньому каскад. На цьому шляху стоять два фільтри. Перший — група «Перевірка штучним інтелектом»: з увімкненим «Перевіряти, чи той товар знайдено» ШІ оцінює кожного кандидата від 0 до 100%. Якщо жоден не дотягує до «Мінімальна впевненість, %» (від початку там 80), знахідку видалено, а товар іде на наступний сайт. Другий — група «Вимоги до знайденого контенту» з полями «Мінімум характеристик» і «Мінімум фотографій». Перевіряється той варіант, який піде в картку. 0 у полі означає, що поріг не перевіряється, і так обидва поля стоять від початку.
Відхилене не зникає мовчки. Після кожного сайту журнал на вкладці «Прогрес» пише підсумок: скільки підтверджено, скільки відхилив ШІ, скільки виявилося нижче порогу якості й скільки лишилося без контенту.
1
Мінімальна впевненість, %2
Мінімум характеристик і фотографій- Мінімальна впевненість, % — кандидати з оцінкою ШІ нижче порога відхиляються, і товар іде на наступний сайт.
- Мінімум характеристик і Мінімум фотографій — картка, бідніша за поріг, вважається ненайденою; 0 — не перевіряти.
Зберігати без перевірки
Окремий перемикач дозволяє записувати знайдене одразу в картку, якщо впевненість ШІ не нижча за задану. Працює тільки разом із перевіркою ШІ й замінює фото цілком. Умикайте, коли вже довіряєте своїм джерелам: інакше залишайте перевірку оператором.
Передпольотна зведення
Перед запуском вікно рахує чотири числа: скільки товарів, скільки сайтів, скільки вийде запитів і скільки хвилин це займе. Прогін іде у фоні — вікно можна згорнути, хід видно в центрі операцій.
Хвилини — це груба оцінка, а не замір: вікно множить кількість запитів на 1,5 секунди. Запити рахуються так: перший сайт каскаду отримує всі товари, кожен наступний — ту частину, що лишилася після попереднього з урахуванням його «Успішності» (якщо успішність сайту нульова, береться 50%). Скільки сторінок браузер завантажує паралельно, задає налаштування «Сторінок одночасно»: типово 6, більше 10 не можна.
Перед стартом програма ще й звіряє вартість прогону з балансом. Якщо грошей не вистачає, запуск відхиляється до першого запиту з повідомленням про суму й залишок, а не обривається посеред пачки.
Прогрес: що видно під час роботи
Вкладка «Прогрес» показує, який сайт зараз обробляється, скільки товарів пройдено, скільки в черзі, скільки знайдено й скільки відхилив ШІ. Поруч — журнал операції з фільтрами «Усе», «Лише помилки», «Лише не знайдено». Прогін можна поставити на паузу або зупинити.
Якщо сайт просить пройти перевірку (капчу), пошук на ньому призупиняється й вікно пропонує три дії: відкрити сторінку й пройти перевірку вручну, продовжити після цього з того самого місця або пропустити сайт. Прогін сам капчу не обходить.
Наприкінці програма пише підсумок: скільки знайдено й скільки лишилося без контенту. Якщо сайти часто відповідали помилкою, вона окремо це скаже — зазвичай це означає, що сайт змінив верстку або потрібен посилений режим завантаження.
Крок 4. Результати й збереження
Знайдене не потрапляє в картки саме. Вкладка «Результати» — це місце, де оператор вирішує, що залишити.
| Фільтр результатів | Кого показує |
|---|---|
| «Знайдено» | усі товари прогону, для яких зараз є знайдений контент |
| «Підтверджено ШІ» | ШІ звірив сторінку з вашим товаром і підтвердив, що це він |
| «Потребує перевірки» | ШІ не підтвердив збіг або перевірку було вимкнено — вирішує людина |
| «Збережено» | контент уже записано в картки |
| «Контент не знайдено» | не знайшлося на жодному з перебраних сайтів |
У рядку видно ваш товар і знахідку джерела поруч, відсоток упевненості й те, що саме приїхало — фото, характеристики, опис. Підсвічування розбіжностей показує слова й коди, яких немає в другій назві: саме там ховаються «схожий, але не той» товари. Якщо сайт знайшов кілька карток, потрібний варіант обирається в панелі праворуч.
Кнопка «Зберегти» записує знайдене в картки позначених товарів, «Відхилити» — прибирає знахідку з результатів, нічого не змінюючи; такі товари можна шукати заново.
Що саме запише «Зберегти», задає панель «Що зберігати в картку товару» — кнопка з повзунками поруч із «Відхилити». Ті самі налаштування діють і для «Зберігати без перевірки». Головне, що вирішується тут, — чи зачепить збереження те, що ви вже вичитали вручну.
| Що в картці | Що станеться при збереженні |
|---|---|
| Опис, виробник, артикул, модель, штрихкод, найменування | якщо увімкнено «Не перезаписувати заповнені поля», знайдене пишеться лише в порожні поля, а ваше лишається. Якщо вимкнено (так стоїть від початку), заповнене поле замінюється знайденим. Порожнє значення з сайту поле не стирає в жодному разі |
| Характеристики | «Не перезаписувати заповнені поля» на них не діє. Якщо увімкнено «Видаляти попередні значення атрибутів», у товару, для якого приїхала хоч одна характеристика, спершу стираються всі значення характеристик, крім атрибутів із позначкою «Тільки для читання (значення не видаляється автоматично)» в довіднику атрибутів, і лишаються тільки знайдені. Ваші ручні характеристики, яких немає на сайті-джерелі, зникнуть. Якщо вимкнено, значення тих характеристик, що є на сайті, замінюються (крім атрибутів із позначкою «Тільки для читання»), нові додаються, а решта ваших лишається |
| Фото | замінюються цілком: старі видаляються |
| Відео | відео товару, для якого на сайті знайшлося відео, видаляються й записуються знайдені |
| «Зовнішнє посилання» | заповнюється адресою сторінки-джерела, тільки якщо було порожнім |
Щоб закріпити своє значення, зніміть у панелі галочку з цього поля або з усієї групи: зняте не записується зовсім. Для одного товару галочку поля можна зняти прямо в панелі перегляду праворуч: це діє тільки на збереження цього товару, загальні налаштування не змінюються. Для характеристики, яку веде формула полів каталогу з позначкою «Тільки для читання (не замінювати значення при парсингу)», значення не стирається, не дописується й не замінюється знайденим, як би не стояла галочка «Видаляти попередні значення атрибутів».
Якщо в генераторі текстів є активні шаблони для товарів (без ШІ), у яких використано характеристики, після збереження такі шаблони застосовуються до збереженого товару й перезаписують поля, які заповнює шаблон: описи, мета-теги, H1, теги. «Не перезаписувати заповнені поля» на це не впливає.
Кожен збережений товар списує з балансу плату за запис контенту (крім тарифів, де запис уже оплачено). Після запису товар зникає з видачі: переглянути, що саме туди приїхало, у вікні пошуку вже не можна, тільки в картці.
Кожен новий запуск пошуку очищає видачу: неперевірені знахідки зникнуть. Вікно попереджає про це перед стартом. Перевіряйте й зберігайте до того, як запускати наступний прогін.
Пункт «Перевірити знайдене за допомогою ШІ» в меню вкладки запускає звірку вручну — для знахідок, яких ШІ ще не дивився.
Коли збережене потрапить на сайт
Саме збереження на сайт і в маркетплейси нічого не відправляє. Воно записує контент у базовий каталог і знімає з товару позначку «Прапор: вивантажено»: так програма помічає, що дані товару змінилися. На сайт контент поїде з найближчим вивантаженням, яке ви запустите вручну або яке стоїть за розкладом. Якщо у вивантаженні увімкнено «Вивантажувати лише нові дані», збережені товари потраплять у нього саме через цю зняту позначку. Якщо не увімкнено, вивантаження бере всі товари, що проходять його умови відбору, разом зі збереженими.
Якщо зберегли не те
У збереження контенту кнопки відкату немає, і попередніх значень воно ніде не записує. Старі фото видаляються разом із записом нових, а замінені описи й характеристики програма не пам'ятає, тому повернути їх можна лише заповнивши заново.
Знайти товари, куди приїхав контент із певного сайту, допоможуть дві колонки базового каталогу:
- «Джерело атрибутів»: у товарів, куди збереження додало характеристики, там стоїть «Site: » і назва сайту-джерела. Відфільтруйте колонку за назвою сайту.
- «Зовнішнє посилання»: якщо до збереження воно було порожнім, туди записується адреса сторінки, з якої взято контент. Фільтр за доменом сайту покаже ці товари.
Щоб замінити чужий контент правильним, відмітьте ці товари галочками в каталозі й запустіть пошук на іншому сайті або з іншим полем пошуку. Для відмічених вручну товарів правило «Не шукати повторно» не діє. Нове збереження перезапише поля за тими самими правилами з панелі «Що зберігати в картку товару». Характеристики, яких на новому сайті немає, воно прибере лише з увімкненим «Видаляти попередні значення атрибутів». Фото й описи, яких немає ніде, доведеться внести в картку вручну.
Напівавтоматичний режим: один товар
Коли товар рідкісний і автоматичний пошук його не знаходить, працює другий режим. Станьте на товар у каталозі й виберіть «Додати контент для товару». Вікно ділиться навпіл: праворуч сайт-джерело, ліворуч — те, що програма з нього забрала.
- Виберіть сайт зі списку.
- Знайдіть товар на сайті самі — назву й артикул можна скопіювати прямо під адресним рядком.
- Відкрийте картку товару: дані, характеристики й фото з'являться в лівій панелі.
- Натисніть «Зберегти».
Цей режим працює тільки в Google Chrome з установленим розширенням Elbuz: дані читаються зі сторінки, відкритої у вашому браузері.
Історія прогонів
Вкладка «Історія» відповідає на питання «чи варта ця робота витрат». За кожен прогін видно: скільки товарів узяли, скільки знайшли, скільки зберегли, скільки відхилили, скільки часу й грошей це коштувало. Окремо будується розбір каскаду за кроками — скільки товарів дійшло до кожного сайту, скільки він закрив і скільки лишилося далі. Саме по цій таблиці видно, який сайт у наборі зайвий, а якого бракує. Статистику можна вивантажити в Excel.
Нові характеристики й куди вони лягають
Разом із контентом приїжджають характеристики, яких у вашому каталозі ще немає. Перед збереженням варто зіставити їх зі своїми: якщо на сайті-джерелі є «Розмір екрана», а у вас «Діагональ», зіставлення не дасть програмі завести дубль.
Окремо працює перенесення значень характеристик у поля каталогу: якщо поле й атрибут зіставлені, значення ляже і в поле теж.
Нові характеристики з'являються в довіднику атрибутів як звичайні, і їх можна видалити там, як будь-які інші. Видалення атрибута прибирає разом із ним усі його значення в усіх товарах, прив'язки до категорій, колонку в сітці каталогу, формули на цьому атрибуті й поле в шаблонах вивантаження. У товарах, де характеристика вже проставлена, вона просто зникне, і повернути її значення програма не зможе. Якщо така характеристика по суті збігається з вашою, надійніше спершу зіставити її зі своєю, а видаляти лише ту, що справді не потрібна.
Сценарії
Наповнити нові товари й не зачепити вже вичитані картки
Задача: у каталозі поруч лежать картки, які ви заповнювали вручну, і нові товари з прайсу без опису.
Що ввімкнути: у панелі «Що зберігати в картку товару» увімкніть «Не перезаписувати заповнені поля» і зніміть «Видаляти попередні значення атрибутів». Якщо фото в картках уже свої, зніміть і «Фото».
Що вийде: опис, виробник, артикул, модель і штрихкод запишуться тільки туди, де в картці порожньо. Характеристики, які є на сайті-джерелі, замінять значення тих самих характеристик у картці (крім атрибутів із позначкою «Тільки для читання»), нові додадуться, решта ваших лишиться.
Чого не буде: захисту характеристик від заміни «Не перезаписувати заповнені поля» не дає, він діє тільки на поля картки. Якщо галочку «Фото» залишити, старі фото товару буде видалено й замінено знайденими.
Дошукати товари, які не знайшлися на першому наборі сайтів
Задача: після прогону частина товарів лишилася без контенту, і ви хочете спробувати інші джерела.
Що ввімкнути: у кроці «Де шукаємо» виберіть інші сайти або додайте нові до набору. «Не шукати повторно» залиште як є, відбір — «За фільтром каталогу».
Що вийде: товар, який за вибраний у «Не шукати повторно» строк уже перевірявся на всіх сайтах нового прогону, у роботу не піде. Якщо хоч один сайт прогону для товару новий, товар іде в прогін. Усередині прогону він проходить сайти набору згори вниз, включно з тими, де його вже шукали раніше. «Відкладати товар» рахує різні сайти без результату за всі прогони разом: з трьома в цьому полі товар, якого не знайшли на трьох різних сайтах, наприкінці прогону отримає «Контент не знайдено», навіть якщо сайти перебиралися окремими прогонами.
Чого не буде: на товари, відмічені в каталозі галочками, «Не шукати повторно» не діє: вони підуть у прогін, скільки б разів їх не шукали раніше.
Не брати з сайту порожні картки
Задача: сайт-джерело часто знаходить товар, але віддає картку з однією характеристикою й без фото, і каскад на ній зупиняється.
Що ввімкнути: у групі «Вимоги до знайденого контенту» задайте «Мінімум характеристик» і «Мінімум фотографій».
Що вийде: якщо у варіанта, який піде в картку, характеристик або фото менше за поріг, контент вважається незнайденим: знахідка з цього сайту видаляється, товар іде на наступний сайт каскаду, а в журналі з'являється рядок «відхилено» з фактичним числом і порогом.
Чого не буде: замість бідного варіанта програма не візьме інший варіант із того самого сайту: перевіряється тільки той, що піде в картку.
Шукати за прямими посиланнями на сторінки постачальника
Задача: у товарів уже записана адреса їхньої сторінки на сайті постачальника, і шукати за назвою не потрібно.
Що ввімкнути: у кроці «Для яких товарів» у полі «Шукати за полем» виберіть «Зовнішнє посилання».
Що вийде: у прогін підуть тільки товари, у яких «Зовнішнє посилання» заповнене. Сайт набору, у якого не задано адресу пошуку, у такому режимі не відкидається: адреса береться з картки.
Чого не буде: товари з порожнім посиланням у прогін не підуть зовсім. Сайт, якому бракує налаштувань серверного обходу, пропускається і в цьому режимі.
Чого пошук не робить
- Не пише текст сам. Він переносить чуже. Якщо потрібен власний опис — це генератор текстів.
- Не обходить капчу. Перевірку проходить людина.
- Не гарантує збігу. ШІ підтверджує схожість, але остаточне рішення за оператором — тому й існує фільтр «Потребує перевірки».
- Не доповнює фото. Збереження знімків замінює наявні, а не додає до них.
Розбір частих проблем
| Що ви бачите | Чому так | Що зробити |
|---|---|---|
| «У роботу не піде жоден товар» | усі відібрані вже перевірялися на цих сайтах | виберіть інші сайти або натисніть «Перевірити їх заново» |
| Нічого не знаходиться на жодному сайті | у запит іде повна назва з типом товару й символами | увімкніть очищення спецсимволів і кирилиці або шукайте за артикулом виробника |
| Сайт пропускається без пояснень | після очищення кирилиці запит став порожнім | вимкніть очищення кирилиці для таких товарів |
| Прогін не стартує в серверному режимі | не дозволені платні серверні запити | увімкніть прапорець або виберіть браузерні сайти |
| Браузерний сайт нічого не віддає | закрита вкладка або не працює розширення | тримайте вкладку відкритою, перевірте розширення Elbuz |
| Результати зникли | запустили новий пошук, не зберігши попередні знахідки | зберігайте до наступного запуску |
| Збереглися не ті фото | знайдено схожий товар, ШІ його пропустив | користуйтеся фільтром «Потребує перевірки» й підсвічуванням розбіжностей |
| У каталозі з'явилися дублі характеристик | атрибути джерела не зіставлені з вашими | зіставте атрибути до збереження |
Часті питання
Чи потрібне розширення Chrome для пошуку контенту?
Для сайтів, що працюють у режимі «Браузер», — так, і вкладка має лишатися відкритою. Сайти в серверному режимі обходяться без нього, але серверні запити тарифікуються окремо.
Чим каскад сайтів кращий за один сайт?
Каскад перебирає джерела згори вниз і зупиняється на першому, де контент знайдено й підтверджено. Один сайт закриває частину товарів, каскад — більшу частину, за ті самі кліки.
Що робить перевірка ШІ?
Звіряє знайдену сторінку з вашим товаром і ставить упевненість у відсотках. Підтверджені знахідки можна зберігати пачкою, решта лишається в фільтрі «Потребує перевірки».
Чи можна зберігати знайдене без перевірки оператором?
Так, окремим перемикачем із порогом упевненості ШІ. Врахуйте, що збереження фото замінює наявні знімки цілком.
Що означає статус «Контент не знайдено»?
Товар перебрали на заданій кількості сайтів і ніде не знайшли. Він іде з робочого відбору, щоб не витрачати запити. Далі або додайте в набір нове джерело, або заповніть картку вручну.
Як знайти контент для одного конкретного товару?
Пунктом «Додати контент для товару»: ви самі відкриваєте сторінку на сайті-джерелі, програма забирає з неї дані. Працює в Chrome із розширенням Elbuz.
Суміжні теми
- Розширення Elbuz для Chrome — без нього браузерні джерела не працюють.
- Що забирає парсер із картки — які саме поля приїжджають із чужого сайту.
- Селектори CSS і XPath — знадобляться, коли додаєте власне джерело.
- Довідник атрибутів — щоб знайдені характеристики не плодили дублі.
- Фото товарів — що відбувається зі знімками після збереження.