Як знайти й прибрати дублікати товарів у каталозі

15 хв

Elbuz сам знаходить у базовому каталозі пари карток одного товару — за штрихкодом, артикулом і словами назви, навіть коли назви відрізняються порядком слів, — і дає злити кожну пару в одну картку.

Коли це знадобиться:

  • Той самий товар приїхав із двох прайсів під різними назвами — програма складе з карток пару й поставить оцінку схожості.
  • У каталозі багато модифікацій, що різняться одним суфіксом — перевірка AI відкладе модифікації окремо від дублікатів.
  • По одній із карток уже є замовлення — під час склейки замовлення й документи переїдуть на картку, що лишається.
  • Товар заведено тричі — повторний пошук після склейки знайде третю картку.

З чого почати: перший прогін по всьому каталогу.

Розмова з підтримкою — замість читати: навіщо це потрібно, що налаштувати і що ви отримаєте.

Що вміє пошук дублікатів

  • Пошук пар — програма порівнює відібрані товари й показує пари з оцінкою схожості від 0 до 100.
  • Перевірка AI — модель дивиться кожну пару й відокремлює дублікат від іншої модифікації.
  • Розбір пар — «Підтвердити» чи «Не дублікат» у рядку або галочками; точні збіги підтверджуються самі.
  • Склейка — одна пара через порівняння карток або всі підтверджені кнопкою «Застосувати».
  • Налаштування пошуку — поля, за якими шукати пари, і пороги схожості.

Де це і хто має доступ

Меню
пункту немає
Із базового каталогу
Довідники → Базовий каталог товарів → Товари → бургер тулбара → «Дублікати каталогу»
Право доступу
вікно «Дублікати каталогу»: хто його відкрив, той і шукає, і зливає картки
Підготувати
відбір товарів у сітці; що записано в полях «Артикул виробника» та «Модель»

Єдиний вхід у вікно — : у меню програми пункту немає. Так зроблено навмисно — вікно перевіряє той відбір товарів, який зараз стоїть у сітці, а запуск із меню прийшов би без відбору, тобто по всьому каталогу.

Вікно відкривається розгорнутим на весь робочий стіл: у таблиці дві колонки з назвами, і на половині екрана порівнювати їх нічим.

Розкрите меню тулбару сітки товарів з пунктом «Дублікати каталогу»
1Пункт «Дублікати каталогу»
2Кнопка-бургер тулбару
  1. Пункт «Дублікати каталогу» — єдиний вхід у вікно пошуку дублів.
  2. Кнопка-бургер у правому кінці тулбару сітки товарів відкриває це меню.

Як програма вирішує, що дві картки — дублікат

Дублікат — це пара карток, а не одна «зайва» картка. Програма ніколи не говорить «ось цей товар зайвий»: вона показує дві картки поруч і оцінку того, наскільки вони схожі.

Щоб дві картки взагалі зустрілися в парі, у них має збігтися хоча б один ключ. Ключів шість:

  • Штрихкод EAN і Штрихкод UPC — беруться самі цифри, коротші за 8 цифр не рахуються: це не штрихкод, а обрізок вводу;
  • Артикул виробника (MPN) і Модель — нижній регістр, тільки літери й цифри, коротші за 3 символи не рахуються;
  • Назва — слова назви нормалізуються й сортуються за абеткою, тому «Ноутбук Lenovo IdeaPad 3» і «Lenovo IdeaPad 3 ноутбук» дають однаковий ключ;
  • Рідкісні слова назви — 2–3 найрідкісніші слова з назви товару. Для планшета це «Y336», для крісла — «Barsky», для кави — «Lavazza». Рідкість рахується по всьому каталогу, а не по відбору: інакше в межах однієї категорії рідкісним виявиться слово «ноутбук» і пов’яже пів категорії.

Під час нормалізації кожна кирилична літера, схожа на латинську, замінюється латинською — такий двійник називається . Завдяки заміні «Samsung» із кириличною «а» перестає бути окремим товаром. Знак «+» усередині слова навпаки зберігається: «Redmi A2+» і «Redmi A2» — різні моделі.

Шлях від відбору товарів до злиття карток
НіТакНіТакТакНіВідбір товарів у сітці каталогуПрогін: програма рахує ключіштрихкод, артикул, модель,назва, рідкісні слова назвиКлюч збігсяу двох карток?Пари немаєОцінка від порогаспірної зони?Пара відкидаєтьсяй до списку не потрапляєПара стає в списокзі статусом «Чекають розбору»Режим«З перевіркою AI»?AI відповідає:дублікат / інша модифікація /різні товариРозбір за схожістю назвОператор: «Підтвердити»або «Не дублікат»«Застосувати»: злиттяпідтверджених парВідсутнє переїжджає на картку,що залишаєтьсяДруга картка видаляється.Скасувати не можна
  • Дія або результат
  • Розвилка: далі шлях залежить від відповіді

Далі кожна знайдена пара отримує оцінку від 0 до 100. Її рахує сама програма, без інтернету, за словами назв. Три правила цієї оцінки пояснюють майже все, що ви побачите у списку.

Різні модифікації — не дублікати. Якщо числа в назвах розходяться в обидва боки («128» проти «256», 24 дюйми проти 27), пара отримує нуль і в список не потрапляє взагалі. Так вирішено навмисно: інший обсяг пам’яті, інший розмір, інший колір — це інший товар.

Порядок чисел має значення. «Планшет Blackview Active 6 8/128GB» і «Планшет Blackview Active 8 6/128GB» складаються з тих самих чисел, переставлених місцями, — і це різні планшети. Такі пари теж отримують нуль.

Сотню отримує тільки повний збіг слів у тому самому порядку. Перестановка слів дає максимум 95. Причина проста: «Перехідник HDMI на VGA» і «Перехідник VGA на HDMI» складаються з однакових слів, а товари протилежні. Така пара отримує 95, залишається у списку — і рішення по ній ухвалює людина, а не автоматика.

Збіг штрихкоду різко піднімає оцінку, але не робить пару дублікатом автоматично. У реальному каталозі знайшлися «Vintage Camera Kodak Retina» і «Aparat analogowy Zenit 122» з одним EAN — поле було заповнене сміттям. Така пара отримує 73 і йде на розбір, а не в підтверджені.

Як налаштувати пошук дублікатів

Значок із повзунками в шапці відкриває «Налаштування пошуку дублікатів». Вони спільні для всього акаунта, а не для одного прогону.

Верхній блок — «Поля, за якими рахувати збіг». Увімкнені за замовчуванням: «Штрихкод EAN», «Штрихкод UPC», «Назва», «Рідкісні слова назви». Вимкнені: «Артикул виробника (MPN)» і «Модель» — у цих полях у вас може лежати внутрішній код постачальника або спільний код серії, і збіг за ними нічого не доводить. Подивіться, що записано саме у вас, перш ніж вмикати.

Три числа поруч:

Числові налаштування пошуку
ПолеЗа замовчуваннямЩо робить
«Поріг «дублікат», %»85межа плитки «Дуже схожі» в режимі без AI
«Поріг спірної зони, %»60нижня межа потрапляння в список: пари з меншою оцінкою відкидаються й не показуються
«Максимум карток на один ключ»20більше — і група вважається сміттям у полі, у пошук не йде; це саме число обмежує, наскільки частим може бути слово, щоб рахуватися «рідкісним»

Порог спірної зони — головне число, якщо здається, що програма чогось не знаходить. Приклад із живого каталогу: «Крісло офісне Barsky Soft Grey» і «Крісло офісне Barsky Soft, сіре» — одне й те саме крісло, але колір написано словом іншою мовою, і оцінка виходить 46. За порога 60 така пара до вас не дійде.

Опустіть поріг до 40 — і вона з’явиться, разом із певною кількістю зайвого.

Перевірка AI дивиться всі нерозібрані пари списку, хоч би якою була їхня оцінка, — поріг спірної зони вирішує тільки те, які пари взагалі потраплять у список. Про це ж каже й підказка під полями.

Під числами ще два прапорці: «Вимагати збігу виробника» (увімкнено; порожній виробник хоча б з одного боку пари все одно допускається) і «Перевіряти спірні пари через AI» — це та сама настройка, що й перемикач режиму в шапці. Найнижче — блок «Підтверджувати автоматично» з двома порогами автопідтвердження (які пари підтверджуються самі).

Діалог «Налаштування пошуку дублікатів»
1Флажок «Артикул виробника (MPN)»
2Флажок «Рідкісні слова назви»
3Поле «Поріг спірної зони, %»
4Поле «Максимум карток на один ключ»
5Флажок «Вимагати збігу виробника»
  1. MPN вимкнено за замовчуванням — у цьому полі часто лежить код постачальника, а не виробника.
  2. Рідкісні слова назви — основний спосіб зіставлення товарів без артикулів.
  3. Пари з оцінкою між порогами «дублікат» і цим значенням вважаються спірними та йдуть на перевірку AI.
  4. Обмежує розмір групи товарів з однаковим ключем зіставлення.
  5. Вимагає збігу виробника, щоб не поєднувати схожі за назвою товари різних брендів.

Значок-гумка поруч із налаштуваннями очищає список знайдених пар. Він питає підтвердження й прибирає все, крім записів про вже виконані злиття: «Товари лишаться на місці: видаляється лише список.»

Сценарії

Перший прогін по всьому каталогу

Перший прогін робіть без фільтрів: тоді й наступні перевірки окремих категорій побачать дублікати, що лежать деінде (чому так).

Порядок дій

У полі «Артикул виробника» записано справжній артикул виробника

Що зробити. У «Налаштування пошуку» увімкніть «Артикул виробника (MPN)». «Максимум карток на один ключ» лишіть 20 і збережіть. Потім натисніть «Знайти дублікати».

Що вийде. Картки з однаковим артикулом зустрічаються в парі, навіть якщо назви в них різні. Регістр, пробіли й дефіси в артикулі не важать. Збіг артикула піднімає оцінку пари, але стелю задають назви: пара з дуже різними назвами може так і не дотягнути до «Поріг спірної зони, %».

Чого не буде. Значення, яке стоїть більш ніж у 20 картках, у пошук не піде. Вікно покаже його в блоці «Частину товарів перевірити не вдалося» з кількістю карток. Сам лише збіг артикула пару не підтвердить: оцінку 100 дає тільки повний збіг слів назви в тому самому порядку.

Що робити, коли пошук не знаходить пар

Розбір частих проблем
Що ви бачитеЧому такЩо зробити
«Не вибрано жодного поля для порівняння — увімкніть хоча б одне в налаштуваннях пошуку.» У налаштуваннях знято всі шість прапорців полів Відкрийте «Налаштування пошуку» і увімкніть хоча б «Назва» або «Рідкісні слова назви» (налаштування)
«Дублікатів не знайдено» У відборі немає жодної пари з оцінкою від порога спірної зони Розширте відбір, увімкніть «Рідкісні слова назви», опустіть «Поріг спірної зони, %» (налаштування)
«Частину товарів перевірити не вдалося.» і рядки на кшталт «Артикул виробника «12345» — однаковий у 300 товарів» Одне й те саме значення стоїть у полі-ідентифікаторі більш ніж у 20 карток (поріг «Максимум карток на один ключ»): за таким значенням не зрозуміти, один це товар чи різні, і групу в перевірку не беруть. Це не помилка імпорту і не дублікати Якщо значення проставлено помилково — виправте або очистіть його в каталозі масовою зміною; якщо так і має бути — вимкніть це поле в «Налаштування пошуку» або підніміть поріг (налаштування пошуку)

Часті запитання

Чому програма не знайшла дублікат, який я бачу очима?

Найчастіше в карток не збігся жодний ключ — штрихкод, артикул чи рідкісні слова назви — або оцінка вийшла нижчою за «Поріг спірної зони, %». Ще одна причина: числа в назвах розходяться в обидва боки, і програма вважає це різними модифікаціями (як рахується оцінка).

Пише «Частину товарів перевірити не вдалося», однакове значення у 300 товарів. Що робити?

Це не помилка імпорту: одне значення стоїть у більшій кількості карток, ніж дозволяє «Максимум карток на один ключ», і ці картки в перевірку не пішли. Виправте поле масовою зміною в каталозі або вимкніть його в налаштуваннях пошуку (налаштування).

Чим «інша модифікація» відрізняється від дубліката?

Модифікація — це той самий модельний ряд, але інший обсяг пам’яті, колір, розмір або комплектація. Такі картки мають існувати окремо, тому програма ніколи не підтверджує їх автоматично, з якою б упевненістю AI не відповів.

Чи попередить програма, що такий товар уже є, коли я його створюю?

Ні. Перевірки «такий товар уже є» при введенні назви немає ні в картці, ні у вікнах додавання. Дублікати розбираються тільки у вікні «Дублікати каталогу», коли обидві картки вже існують.

Чи знайде програма однакові товари за фото?

Ні. Пари шукаються за штрихкодом, артикулом, моделлю та словами назви. Дві однакові речі під зовсім різними назвами й без спільних ідентифікаторів програма не пов’яже.

Товар приходить від кількох постачальників — це теж дублікати?

Ні, якщо рядки прайсів зіставлені з однією карткою каталогу: тоді картка одна. Дублікат з’являється, коли з прайсу створено нову картку замість зіставлення. Як зіставляти — зіставлення товарів постачальника з каталогом.

Суміжні теми

Чи була стаття корисною?