Як знайти дублікати в каталозі й розібрати пари

Що вміє пошук пар

• Перевірка відбору сітки — у прогін іде те, що зараз показує базовий каталог: категорія, фільтри, галочки.
• Два режими — «Без AI» безкоштовно, «З перевіркою AI» з вердиктом моделі по кожній парі.
• Одна кнопка на весь цикл — «Знайти дублікати» порівнює товари й одразу віддає пари на перевірку AI.
• Розбір пар — кнопки в рядку, масові дії галочками, сторінки по сто пар.
• Автопідтвердження — точні збіги й упевнений вердикт AI стають «Підтвердженими» самі, без видалення карток.

Де це і хто має доступ

Із базового каталогу

Довідники → Базовий каталог товарів → Товари → бургер тулбара → «Дублікати каталогу»

Право доступу

вікно «Дублікати каталогу»

Підготувати

потрібний відбір товарів у сітці базового каталогу

Пункту в меню у вікна немає. Чому вхід лише з каталогу — у загальній статті.

Які товари потраплять у перевірку

Вікно забирає відбірТе, що зараз показує сітка: категорія дерева, фільтри над сіткою, фільтри колонок і рядок пошуку разом. Підсумок видно в лічильнику «Всього». Відбір звужує список на екрані, але сам собою не робить товари позначеними. сітки в момент відкриття — і категорію дерева разом із підкатегоріями, і фільтри, і рядок пошуку, і галочки. Скільки товарів відібрано, написано першим числом у шапці: «N товарів відібрано»; стільки й піде в прогін, якщо відбір не впирається в стелю прогону (про неї нижче).

Поруч, у полі «Умова», стоїть «позначені в каталозі», якщо в сітці були галочки, і «за фільтром каталогу» в решті випадків. Як звузити відбір — описано в статті про сітку каталогу.

Якщо відбір не заданий узагалі, вікно попереджає: «Відбір не задано — перевірятиметься весь каталог. Щоб звузити, поставте фільтр або позначте товари в базовому каталозі.» Це не помилка — повний прогін потрібен і корисний, просто він довший.

Що в прогін не потрапляє ніколи — товари-варіанти: картки, прив’язані до головного товару, дублікатами не вважаються.

Який режим вибрати: без AI чи з перевіркою AI

У шапці вікна два перемикачі: «Без AI» і «З перевіркою AI». Різниця між ними не лише у швидкості й ціні — у них по-різному згруповано список знайдених пар, бо в них різне те, за чим можна групувати.

• Треба швидко й безкоштовноСписок згруповано за схожістю назв, вирішує оператор
• Треба точно, і в каталозі багато модифікаційКожну пару дивиться AI й окремо відкладає модифікації одного товару

Без AI

Програма показує схожі пари, рішення по кожній ухвалюєте ви. Нічого не коштує. Плиток над таблицею шість: «Дуже схожі» (оцінка від порога дубліката), «Схожі» (між двома порогами), «Підтверджені», «Злиті», «Відхилені» і «Усього пар».

З перевіркою AI

Кожну знайдену пару дивиться модель і відповідає, це один товар чи різні. Довше і коштує грошей, зате список групується за вердиктом: «Дублікати (AI)», «Чекають перевірки AI», «Модифікації», «Різні товари». Пари йдуть пачками по 20 в один запит, вікно повторює крок, доки список не скінчиться.

Вердиктів рівно три: дублікат (один і той самий товар), інша модифікація (той самий модельний ряд, але інший обсяг, колір, розмір або комплектація) і різні товари. У сумніві модель відповідає «різні товари»: помилковий «дублікат» дорожчий за пропущений, бо по ньому оператор зіллє дві живі картки.

За що платите. Одиниця оплати — один запит до AI, а в запиті до 20 пар. Ціна запиту рахується за токенами: окремо за те, що пішло моделі, і за її відповідь, за ціною моделі.

У запит для кожної картки йде назва (до 200 знаків), а також артикул виробника й бренд, якщо вони заповнені, тому пачка з довгими назвами коштує дорожче за пачку з короткими. Перевіряє модель GPT-6-Luna. Якщо в налаштуваннях заведено власний ключ OpenAI, запит піде через нього й на ту модель, яку вказано для ключа.

Платите ви лише за пари, яких AI ще не бачив: пара з готовим вердиктом у наступні запити не потрапляє, і новий прогін її вердикт не стирає. Якщо модель пропустила якусь пару у відповіді, пара лишається без вердикту й піде в наступну пачку, тобто в наступний оплачуваний запит.

У самому вікні суми немає. Кожна пачка окремим рядком лягає в журнал операцій з колонкою «Вартість»; рядок підписаний «Перевірка дублікатів товарів (AI)». Рядки журналу зберігаються 14 днів.

Навіщо це, якщо оцінка вже є: оцінка вимірює схожість назв, а вона модифікацію від дубліката не відрізняє. Серед пар з оцінкою 85 і вище дублікатів виявилося 18, а модифікацій — 74.

Приклад: «QUBE QBC-GPM-650W-80B» і «QUBE QBC-GPM-650W-80BBULK» — назви майже однакові, а товари різні; зрозуміти це може лише той, хто знає, що означає суфікс. За умовчаннями така пара до списку взагалі не дійде: її оцінка 46, а це нижче за поріг спірної зони.

У демо-акаунті режим із AI недоступний: вікно одразу показує «Функції AI недоступні в демо-версії: вони використовують платні сторонні AI-сервіси та доступні лише на платній підписці.»

1

Плитка «Дублікати (AI)»

2

Плитка «Чекають перевірки AI»

3

Плитка «Модифікації»

1. Дублікати (AI) — пари, які перевірка AI підтвердила як один товар.
2. Чекають перевірки AI — пари, що ще не проходили перевірку AI.
3. Модифікації — пари, які AI визнав різними варіантами одного товару.

Як запустити й зупинити пошук

Кнопка одна на весь цикл. У режимі з AI вона спершу порівнює товари, а потім одразу віддає знайдені пари на перевірку — і на час перевірки перетворюється на «Зупинити». Пачка, яка вже пішла на сервер, доробить і збереже свої вердикти; зупинка спрацює перед наступною.

Після зупинки: «Перевірку зупинено. Перевірено пар: N. Решта спірних пар лишилася у списку — перевірку можна продовжити пізніше.»

Якщо запит чергової пачки не пройшов (сервер не відповів вчасно або повернув помилку), перевірка теж завершується: вікно показує «Перевірено пар: N» і окремим червоним повідомленням — текст помилки. Пари, до яких черга не дійшла, лишаються без вердикту, їх перевірить наступний прогін.

Під шапкою вікно саме підказує наступний крок — рядок змінюється залежно від того, що вже зроблено. До прогону: «Натисніть «Знайти дублікати»…», під час роботи: «Триває порівняння товарів…».

У режимі «З перевіркою AI», поки в списку є пари, яких не бачив AI, підказка радить запустити пошук ще раз: «Частину пар ще не перевірено — перевірку зупиняли.» У режимі «Без AI» цього рядка не буває: там підказка пропонує розібрати пари.

Щойно в списку є хоч одна підтверджена пара (у режимі з AI — коли пар без вердикту AI не залишилося): «Є підтверджені пари — натисніть «Застосувати», щоб злити їх.»

1

Кількість відібраних товарів

2

Чипи режиму «Без AI» / «З перевіркою AI»

3

Кнопка «Знайти дублікати»

4

Значок «Налаштування пошуку»

5

Плитка «Дуже схожі» з лічильником

6

Попередження про неповну перевірку пар

1. Зверху — кількість товарів, відібраних за поточним фільтром категорії.
2. Перемикач визначає, чи перевіряє пари AI, чи рішення приймає оператор.
3. Запускає порівняння відібраних товарів і пошук пар зі схожими назвами.
4. Відкриває діалог із порогами та полями для розрахунку схожості.
5. Кожна плитка — це фільтр таблиці нижче за категорією пари.
6. Жовта підказка з'являється, якщо частину пар не вдалося перевірити за один прогін.

Разом із результатом може з’явитися попередження бурштиновим кольором «Частину товарів перевірити не вдалося». Це означає, що одне й те саме значення стоїть у полі-ідентифікаторі більш ніж у 20 карток — наприклад, артикул «0», однаковий одразу в багатьох товарів. За таким значенням не можна зрозуміти, це один товар чи різні, тому вся група в пошук не пішла.

Програма перелічує такі значення з кількістю карток: або виправте поле в каталозі, або вимкніть це поле в налаштуваннях пошуку.

Як розбирати пари

Плитки над таблицею — це фільтри. Клік по плитці показує тільки її пари. У режимі з AI першою відкрита «Дублікати (AI)»: там лежить готовий до злиття список.

Під плитками стоїть смуга фільтрів — на великому каталозі це основний інструмент, а не плитки. «Знайдено за» залишає пари, знайдені одним конкретним ключем; «Оцінка» «від» і «до» звужує список до потрібної полоси; «Пошук за назвою» шукає підрядок в обох назвах пари.

Заголовки всіх п’яти колонок сортують список (за замовчуванням — «Оцінка» від більшої до меншої), а самих пар на сторінці показується сто: якщо список наче обірвався, гортайте сторінки внизу.

Таблиця має п’ять колонок і колонку з галочками. «Оцінка» — відсоток і під ним те, чим знайдена пара: «штрихкодом EAN», «артикулом виробника», «назвою», «рідкісним словом назви». «Картка 1» і «Картка 2» — мініатюра, назва, під нею «ID» та артикул. ID стоїть першим не випадково: у парі назви часто збігаються слово в слово, і відрізнити картки можна тільки за ним.

«Перевірка AI» — вердикт, відсоток упевненості й значок, під яким ховається пояснення моделі; у режимі «Без AI» там стоїть «не перевірялася». Остання колонка — «Статус».

При наведенні на рядок у назвах підсвічуються збіги — зеленим те, що однакове, жовтим те, що розходиться. Підсвічування з’являється тільки на наведеному рядку: у щільній таблиці постійна заливка перетворюється на шум.

Там само, при наведенні, у колонці «Статус» з’являються три кнопки: «Підтвердити», «Злити» і «Не дублікат». У підтвердженої пари перша з трьох кнопок інша — «Зняти рішення»: вона повертає пару на розбір і виймає її з черги на «Застосувати». У самій комірці картки є кнопка «Відкрити картку»: вона відкриває картку товару в окремому вікні, щоб звірити обидві картки перед рішенням.

1

Відсоток оцінки та ознака збігу

2

Підсвічені слова в назві

3

ID картки під назвою

4

Кнопки «Підтвердити», «Злити», «Не дублікат»

5

Чекбокс пари

1. Відсоток і причина збігу показують, за чим система визнала пару схожою.
2. Зеленим підсвічені спільні слова назви, жовтим — розбіжні фрагменти.
3. Під назвою картки — її внутрішній ID та артикул.
4. Кнопки статусу з'являються під курсором: підтвердити пару, злити картки або відхилити як недублікат.
5. Чекбокс призначений для масових дій над кількома парами одразу.

Якщо пар багато, розмічайте їх галочками замість кнопок у кожному рядку: відзначте кілька рядків, і під таблицею з’явиться смуга «Позначено: N» з кнопками «Підтвердити», «Не дублікат» і «Зняти рішення». Уже злиті пари галочки не мають — знімати рішення в них нема з чого.

Відхилена пара більше не повертається. Позначили «Не дублікат» — наступні прогони її не покажуть. Це зроблено, щоб не розбирати одне й те саме щотижня.

Які пари підтверджуються самі

Частина пар підтверджується сама. Це відбувається у двох випадках: назви дали той самий набір слів у тому самому порядку (оцінка рівно 100) або AI відповів «дублікат» з упевненістю від 95 %.

Оцінку 100 отримує й пара, у якої назви написані по-різному: регістр, розділові знаки, кома чи крапка в дробовому числі й кириличні двійники латинських літер до уваги не беруться — важать тільки склад і порядок слів. Такі пари одразу стають «Підтвердженими», але картки при цьому не видаляються — злиття й далі окрема дія. Автоматика економить розмітку, не ухвалюючи необоротних рішень.

Обидва пороги змінюються в налаштуваннях пошуку, у блоці «Підтверджувати автоматично»: «За оцінки від, %» (100) і «За впевненості AI від, %» (95). Нуль вимикає автопідтвердження, а значення нижче за «Поріг «дублікат», %» програма піднімає до цього порога.

Автопідтвердження ще й самоочищається: пара, яку підтвердила автоматика, при новому прогоні зникає зі списку й рахується заново. Якщо оцінка знову вийшла 100 — пара знову стане підтвердженою; якщо ж її підтвердив вердикт AI, вона повернеться на розбір, але вердикт при ній лишиться, і повторно AI її не перевірятиме.

Знову підтвердженою таку пару зробить наступна пачка перевірки AI: після кожної пачки програма підтверджує всі пари, що чекають розбору, з вердиктом «дублікат» від 95 %. Якщо нових пар для перевірки немає, пачка не запускається, і пара чекає вашого рішення. Ваші власні рішення — підтвердження, відхилення, злиття — новий прогін не чіпає ніколи.

Сценарії

Той самий товар приїхав із двох прайсів із різним порядком слів у назві

Що зробити. Відкрийте вікно з базового каталогу без фільтрів, щоб перший прогін пройшов по всьому каталогу. У шапці виберіть «Без AI». У «Налаштування пошуку» лишіть увімкненими «Назва» й «Рідкісні слова назви» — вони стоять так за замовчуванням. Натисніть «Знайти дублікати».

Що вийде. Пари з тими самими словами в тому самому порядку отримують 100 і самі стають «Підтвердженими». Пара з тими самими словами в іншому порядку отримує не більше 95: за порогами за замовчуванням вона лягає в плитку «Дуже схожі», і підтверджуєте її ви. Далі «Застосувати» зливає все підтверджене.

Чого не буде. До натискання «Застосувати» жодна картка не видаляється: автоматика тільки ставить пару в «Підтверджені». Пара, у назвах якої числа розходяться в обидва боки («128» проти «256»), у список не потрапить узагалі.

У каталозі багато модифікацій, які відрізняються одним словом або суфіксом

Що зробити. У шапці перемкніть «З перевіркою AI» й натисніть «Знайти дублікати». AI має бути доступний акаунту: у демо-акаунті цей режим недоступний.

Що вийде. Після порівняння товарів та сама кнопка віддає пари без вердикту на перевірку AI пачками до 20. Вердикт «дублікат» з упевненістю від 95 % підтверджується сам і лягає в плитку «Підтверджені». Інші вердикти розкладаються по плитках «Дублікати (AI)», «Модифікації» й «Різні товари» і чекають вашого рішення.

Чого не буде. Пару з вердиктом «інша модифікація» автоматика не підтвердить за жодної впевненості. За пару, яку AI вже перевірив, повторно не платять: новий прогін її вердикт не стирає, і в нову пачку вона не йде.

Що робити, коли пошук зупинився або не запускається

Часті запитання

Скільки товарів перевіряється за один прогін?

До 200 000, у демо-акаунті — до 100. Якщо у відборі більше, вікно скаже, скільки товарів перевірено і скільки лишилося, і запропонує звузити відбір фільтром каталогу.

А AI відрізнить чохол на iPhone 15 від чохла на 15 Pro? Це ж різні товари

Так, для цього є режим «З перевіркою AI»: модель дає кожній парі вердикт «дублікат», «інша модифікація» або «різні товари». Чохли до різних моделей ляжуть у «Модифікації» чи «Різні товари». У режимі «Без AI» такі пари різняться лише оцінкою схожості (режим із AI).

Пише «Перевірка через AI вимкнена в налаштуваннях пошуку». Що увімкнути?

У налаштуваннях пошуку прапорець «Перевіряти спірні пари через AI». Це та сама настройка, що й перемикач режиму в шапці вікна (налаштування пошуку).

Запускаю пошук ще раз — за перевірку AI заплачу вдруге?

Ні. Пара з готовим вердиктом у нові запити не потрапляє, і новий прогін вердикт не стирає. Платите лише за пари, яких AI ще не бачив (за що платите).

Чому пара з однаковим штрихкодом не підтвердилася сама?

Збіг штрихкоду піднімає оцінку, але не робить пару дублікатом: поле буває заповнене сміттям. Сама підтверджується тільки пара з оцінкою 100 або з вердиктом AI «дублікат» від 95 % (автопідтвердження).

Суміжні теми

• Якщо потрібна загальна картина — Як знайти й прибрати дублікати товарів.
• Якщо пари підтверджено й час склеювати — Як злити дві картки товару в одну.
• Якщо пошук не бачить очевидних пар — налаштування пошуку.
• Якщо треба знайти вартість кожної пачки перевірки AI — Журнал операцій.