Дублікати товарів: пошук і склейка карток

Той самий товар потрапляє в каталог двічі: один раз його завели руками, другий раз він приїхав із прайсу під іншою назвою. Звичайний пошук їх не пов’язує — назви відрізняються порядком слів, роздільниками, латиницею замість кирилиці. Вікно «Дублікати каталогу» робить пошук дублікатів товарів інакше: воно порівнює картки між собою за штрихкодом, артикулом і словами назви, показує знайдені пари з оцінкою схожості й дає злити їх в одну. Яку пару зливати, вирішуєте ви — і саме злиття скасувати вже неможливо.

Де це у програмі

Єдиний вхід у вікно — базовий каталогВаш власний каталог товарів — той, що йде на сайт і у вивантаження. Прайси постачальників живуть окремо і потрапляють до нього лише під час оновлення.: у меню програми пункту немає. Так зроблено навмисно — вікно перевіряє той відбір товарів, який зараз стоїть у сітці, а запуск із меню прийшов би без відбору, тобто по всьому каталогу.

Меню

пункту немає

Із базового каталогу

Довідники → Базовий каталог товарів → Товари, далі бургер у правій частині тулбара → «Дублікати каталогу»

Вікно відкривається розгорнутим на весь робочий стіл: у таблиці дві колонки з назвами, і на половині екрана порівнювати їх нічим.

1

Пункт «Дублікати каталогу»

2

Кнопка-бургер тулбару

1. Пункт «Дублікати каталогу» — єдиний вхід у вікно пошуку дублів.
2. Кнопка-бургер у правому кінці тулбару сітки товарів відкриває це меню.

Що програма вважає дублікатом

Дублікат — це пара карток, а не одна «зайва» картка. Програма ніколи не говорить «ось цей товар зайвий»: вона показує дві картки поруч і оцінку того, наскільки вони схожі.

Щоб дві картки взагалі зустрілися в парі, у них має збігтися хоча б один ключ. Ключів шість:

• Штрихкод EAN і Штрихкод UPC — беруться самі цифри, коротші за 8 цифр не рахуються: це не штрихкод, а обрізок вводу;
• Артикул виробника (MPN) і Модель — нижній регістр, тільки літери й цифри, коротші за 3 символи не рахуються;
• Назва — слова назви нормалізуються й сортуються за абеткою, тому «Ноутбук Lenovo IdeaPad 3» і «Lenovo IdeaPad 3 ноутбук» дають однаковий ключ;
• Рідкісні слова назви — 2–3 найрідкісніші слова з назви товару. Для планшета це «Y336», для крісла — «Barsky», для кави — «Lavazza». Рідкість рахується по всьому каталогу, а не по відбору: інакше в межах однієї категорії рідкісним виявиться слово «ноутбук» і пов’яже пів категорії.

Під час нормалізації кожна кирилична літера, схожа на латинську, замінюється латинською — такий двійник називається гомогліфЛітера, яка виглядає як інша: кирилична «с» і латинська «c» однакові на око, але для програми це різні символи. Через них «Cisco» і «Сisco» стають двома різними виробниками.. Завдяки заміні «Samsung» із кириличною «а» перестає бути окремим товаром. Знак «+» усередині слова навпаки зберігається: «Redmi A2+» і «Redmi A2» — різні моделі.

Далі кожна знайдена пара отримує оцінку від 0 до 100. Її рахує сама програма, без інтернету, за словами назв. Три правила цієї оцінки пояснюють майже все, що ви побачите у списку.

Різні модифікації — не дублікати. Якщо числа в назвах розходяться в обидва боки («128» проти «256», 24 дюйми проти 27), пара отримує нуль і в список не потрапляє взагалі. Так вирішено навмисно: інший обсяг пам’яті, інший розмір, інший колір — це інший товар.

Порядок чисел має значення. «Планшет Blackview Active 6 8/128GB» і «Планшет Blackview Active 8 6/128GB» складаються з тих самих чисел, переставлених місцями, — і це різні планшети. Такі пари теж отримують нуль.

Сотню отримує тільки повний збіг слів у тому самому порядку. Перестановка слів дає максимум 95. Причина проста: «Перехідник HDMI на VGA» і «Перехідник VGA на HDMI» складаються з однакових слів, а товари протилежні. Така пара отримує 95, залишається у списку — і рішення по ній ухвалює людина, а не автоматика.

Що саме перевірятиметься

Вікно забирає відбірТе, що зараз показує сітка: категорія дерева, фільтри над сіткою, фільтри колонок і рядок пошуку разом. Підсумок видно в лічильнику «Всього». Відбір звужує список на екрані, але сам собою не робить товари позначеними. сітки в момент відкриття — і категорію дерева разом із підкатегоріями, і фільтри, і рядок пошуку, і галочки. Скільки товарів відібрано, написано першим числом у шапці: «N товарів відібрано»; стільки й піде в прогін, якщо відбір не впирається в стелю прогону (про неї нижче). Поруч, у полі «Умова», стоїть «позначені в каталозі», якщо в сітці були галочки, і «за фільтром каталогу» в решті випадків. Як звузити відбір — описано в статті про сітку каталогу.

Якщо відбір не заданий узагалі, вікно попереджає: «Відбір не задано — перевірятиметься весь каталог. Щоб звузити, поставте фільтр або позначте товари в базовому каталозі.» Це не помилка — повний прогін потрібен і корисний, просто він довший.

Що в прогін не потрапляє ніколи — товари-варіанти: картки, прив’язані до головного товару, дублікатами не вважаються.

Два режими роботи

У шапці вікна два перемикачі: «Без ШІ» і «З перевіркою ШІ». Різниця між ними не лише у швидкості й ціні — у них по-різному згруповано список знайдених пар, бо в них різне те, за чим можна групувати.

• Треба швидко й безкоштовноСписок згруповано за схожістю назв, вирішує оператор
• Треба точно, і в каталозі багато модифікаційКожну пару дивиться ШІ й окремо відкладає модифікації одного товару

Без ШІ

Програма показує схожі пари, рішення по кожній ухвалюєте ви. Нічого не коштує. Плиток над таблицею шість: «Дуже схожі» (оцінка від порога дубліката), «Схожі» (між двома порогами), «Підтверджені», «Злиті», «Відхилені» і «Усього пар».

З перевіркою ШІ

Кожну знайдену пару дивиться модель і відповідає, це один товар чи різні. Довше і коштує грошей, зате список групується за вердиктом: «Дублікати (ШІ)», «Чекають перевірки ШІ», «Модифікації», «Різні товари». Пари йдуть пачками по 20 в один запит, вікно повторює крок, доки список не скінчиться.

Вердиктів рівно три: дублікат (один і той самий товар), інша модифікація (той самий модельний ряд, але інший обсяг, колір, розмір або комплектація) і різні товари. У сумніві модель відповідає «різні товари»: помилковий «дублікат» дорожчий за пропущений, бо по ньому оператор зіллє дві живі картки.

Навіщо це, якщо оцінка вже є: оцінка вимірює схожість назв, а вона модифікацію від дубліката не відрізняє. Серед пар з оцінкою 85 і вище дублікатів виявилося 18, а модифікацій — 74. Приклад: «QUBE QBC-GPM-650W-80B» і «QUBE QBC-GPM-650W-80BBULK» — назви майже однакові, а товари різні; зрозуміти це може лише той, хто знає, що означає суфікс. За умовчаннями така пара до списку взагалі не дійде: її оцінка 46, а це нижче за поріг спірної зони.

У демо-акаунті режим із ШІ недоступний: вікно одразу показує «Функції ШІ недоступні в демо-версії: вони використовують платні сторонні AI-сервіси та доступні лише на платній підписці.»

1

Плитка «Дублікати (ШІ)»

2

Плитка «Чекають перевірки ШІ»

3

Плитка «Модифікації»

1. Дублікати (ШІ) — пари, які перевірка ШІ підтвердила як один товар.
2. Чекають перевірки ШІ — пари, що ще не проходили перевірку ШІ.
3. Модифікації — пари, які ШІ визнав різними варіантами одного товару.

Прогін: кнопка «Знайти дублікати»

Кнопка одна на весь цикл. У режимі з ШІ вона спершу порівнює товари, а потім одразу віддає знайдені пари на перевірку — і на час перевірки перетворюється на «Зупинити». Пачка, яка вже пішла на сервер, доробить і збереже свої вердикти; зупинка спрацює перед наступною. Після зупинки: «Перевірку зупинено. Перевірено пар: N. Решта спірних пар лишилася у списку — перевірку можна продовжити пізніше.»

Під шапкою вікно саме підказує наступний крок — рядок змінюється залежно від того, що вже зроблено. До прогону: «Натисніть «Знайти дублікати»…», під час роботи: «Триває порівняння товарів…». Поки в списку є пари, яких не бачив ШІ, підказка радить запустити пошук ще раз: «Частину пар ще не перевірено — перевірку зупиняли.» У режимі «Без ШІ» такі пари — увесь список, тому цей рядок висітиме, доки ви не розберете останню пару; це нормальний стан списку, а не збій. Коли нерозібраних пар не залишиться: «Є підтверджені пари — натисніть «Застосувати», щоб злити їх.»

1

Кількість відібраних товарів

2

Чипи режиму «Без ШІ» / «З перевіркою ШІ»

3

Кнопка «Знайти дублікати»

4

Значок «Налаштування пошуку»

5

Плитка «Дуже схожі» з лічильником

6

Попередження про неповну перевірку пар

1. Зверху — кількість товарів, відібраних за поточним фільтром категорії.
2. Перемикач визначає, чи перевіряє пари ШІ, чи рішення приймає оператор.
3. Запускає порівняння відібраних товарів і пошук пар зі схожими назвами.
4. Відкриває діалог із порогами та полями для розрахунку схожості.
5. Кожна плитка — це фільтр таблиці нижче за категорією пари.
6. Жовта підказка з'являється, якщо частину пар не вдалося перевірити за один прогін.

Разом із результатом може з’явитися попередження бурштиновим кольором «Частину товарів перевірити не вдалося». Це означає, що одне й те саме значення стоїть у полі-ідентифікаторі більш ніж у 20 карток — наприклад, артикул «0», однаковий одразу в багатьох товарів. За таким значенням не можна зрозуміти, це один товар чи різні, тому вся група в пошук не пішла. Програма перелічує такі значення з кількістю карток: або виправте поле в каталозі, або вимкніть це поле в налаштуваннях пошуку.

Як розбирати пари

Плитки над таблицею — це фільтри. Клік по плитці показує тільки її пари. У режимі з ШІ першою відкрита «Дублікати (ШІ)»: там лежить готовий до злиття список.

Під плитками стоїть смуга фільтрів — на великому каталозі це основний інструмент, а не плитки. «Знайдено за» залишає пари, знайдені одним конкретним ключем; «Оцінка» «від» і «до» звужує список до потрібної полоси; «Пошук за назвою» шукає підрядок в обох назвах пари. Заголовки всіх п’яти колонок сортують список (за замовчуванням — «Оцінка» від більшої до меншої), а самих пар на сторінці показується сто: якщо список наче обірвався, гортайте сторінки внизу.

Таблиця має п’ять колонок і колонку з галочками. «Оцінка» — відсоток і під ним те, чим знайдена пара: «штрихкодом EAN», «артикулом виробника», «назвою», «рідкісним словом назви». «Картка 1» і «Картка 2» — мініатюра, назва, під нею «ID» та артикул. ID стоїть першим не випадково: у парі назви часто збігаються слово в слово, і відрізнити картки можна тільки за ним. «Перевірка ШІ» — вердикт, відсоток упевненості й значок, під яким ховається пояснення моделі; у режимі «Без ШІ» там стоїть «не перевірялася». Остання колонка — «Статус».

При наведенні на рядок у назвах підсвічуються збіги — зеленим те, що однакове, жовтим те, що розходиться. Підсвічування з’являється тільки на наведеному рядку: у щільній таблиці постійна заливка перетворюється на шум.

Там само, при наведенні, у колонці «Статус» з’являються три кнопки: «Підтвердити», «Злити» і «Не дублікат». У самій комірці картки живе кнопка «Відкрити картку», але зараз вона не працює: замість картки товару відкривається вікно з повідомленням, що сторінку не знайдено. Щоб подивитися картку, знайдіть товар за його ID у базовому каталозі.

1

Відсоток оцінки та ознака збігу

2

Підсвічені слова в назві

3

ID картки під назвою

4

Кнопки «Підтвердити», «Злити», «Не дублікат»

5

Чекбокс пари

1. Відсоток і причина збігу показують, за чим система визнала пару схожою.
2. Зеленим підсвічені спільні слова назви, жовтим — розбіжні фрагменти.
3. Під назвою картки — її внутрішній ID та артикул.
4. Кнопки статусу з'являються під курсором: підтвердити пару, злити картки або відхилити як недублікат.
5. Чекбокс призначений для масових дій над кількома парами одразу.

Якщо пар багато, розмічайте їх галочками замість кнопок у кожному рядку: відзначте кілька рядків, і під таблицею з’явиться смуга «Позначено: N» з кнопками «Підтвердити», «Не дублікат» і «Зняти рішення». Уже злиті пари галочки не мають — знімати рішення в них нема з чого.

Відхилена пара більше не повертається. Позначили «Не дублікат» — наступні прогони її не покажуть. Це зроблено, щоб не розбирати одне й те саме щотижня.

Частина пар підтверджується сама. Це відбувається у двох випадках: назви дали той самий набір слів у тому самому порядку (оцінка рівно 100) або ШІ відповів «дублікат» з упевненістю від 95 %. Оцінку 100 отримує й пара, у якої назви написані по-різному: регістр, розділові знаки, кома чи крапка в дробовому числі й кириличні двійники латинських літер до уваги не беруться — важать тільки склад і порядок слів. Такі пари одразу стають «Підтвердженими», але картки при цьому не видаляються — злиття й далі окрема дія. Автоматика економить розмітку, не ухвалюючи необоротних рішень. Пороги автопідтвердження в налаштуваннях вікна не показані й змінити їх звідти не можна.

Автопідтвердження ще й самоочищається: пара, яку підтвердила автоматика, при новому прогоні зникає зі списку й рахується заново. Якщо оцінка знову вийшла 100 — пара знову стане підтвердженою; якщо ж її підтвердив вердикт ШІ, вона повернеться на розбір, бо вердикт стирається разом із нею. Ваші власні рішення — підтвердження, відхилення, злиття — новий прогін не чіпає ніколи.

Склейка: що саме відбувається

Злити можна двома способами. Одну пару — кнопкою «Злити» в рядку: відкриється порівняння двох карток, де видно, яка залишиться, яка піде і що саме переїде. Пачкою — кнопкою «Застосувати» над таблицею: вона зіллє всі пари зі статусом «Підтверджені», по 20 пар за крок. Поки підтверджених пар немає, цієї кнопки у вікні теж немає — вона з’являється разом із першою.

Хто залишається

Залишається картка з більшим наповненням. Це число програма рахує сама:

• фотографії галереї — 4 бали за штуку, не більше 40;
• характеристики — 1 бал за штуку, не більше 30;
• опис — 1 бал за кожні 500 знаків, не більше 20;
• заповнене головне фото — 5;
• є рядки в замовленнях — 100;
• є рядки в документах — 100;
• прив’язка до зовнішніх магазинів — 50;
• зіставлені рядки прайсів — 10.

Замовлення й документи важать більше за будь-який контент: картку, по якій ішли продажі, алгоритм не видалить, навіть якщо опис у неї бідніший. За однакового рахунку залишається картка з меншим ID, тобто створена раніше — вона, як правило, вже розійшлася по вивантаженнях і посиланнях.

У діалозі порівняння обидва числа показані поруч, у рядку «наповнення». Переможця вибирає програма, і змінити цей вибір у діалозі зараз не можна: якщо залишити треба саме другу картку, перенесіть із неї потрібне вручну — фото, опис, характеристики — до злиття, або не зливайте цю пару взагалі.

1

Колонка «Залишиться»

2

Колонка «Буде видалена»

3

Наповненість карток

4

Що переїде на картку, яка залишається

1. Картка зліва лишається в каталозі після злиття.
2. Картка справа буде видалена без відкату.
3. Порівняння заповненості карток — за цим показником система обирає, яку залишити.
4. Список пояснює, що замовлення, документи та зв'язки з прайсами переїдуть на картку, що залишається.

Що переїжджає

Контент переїжджає за правилом «тільки те, чого немає». Умова в кожного рядка своя, і вона важлива:

• головне фото — тільки якщо в переможця воно порожнє;
• галерея фотографій — тільки якщо в переможця немає жодного знімка галереї. Є хоч один — фотографії другої картки не переїдуть і зникнуть разом із нею;
• характеристики — тільки ті, яких у переможця немає;
• опис і короткий опис — тільки в ті мови, які вже заведені в переможця й порожні. Якщо такої мови в його картці немає взагалі, опис другої картки не переїде, хоча діалог може порахувати його як такий, що переїде;
• штрихкоди, артикул і модель — тільки в незаповнені поля переможця.

Що саме переїде, діалог перелічує словами: «Переїде на картку, що залишається: фотографій: 4, характеристик: 12, незаповнені поля: ean». Якщо переносити нічого — так і напише: «переносити нічого — у картки, що залишається, все це вже є».

А от зв’язки переїжджають цілком: замовлення, документи, складські рухи, зіставлення з прайсами постачальників, історія цін, моніторинг цін, склад магазинів і вивантажень, відгуки, кошики покупців. Список цих зв’язків програма будує зі структури бази, а не зберігає в коді.

Два винятки варто знати. Перший: якщо обидві картки мають запис із однаковим ключем, залишається запис переможця. Найпомітніше це в історії цін — коли в обох карток є ціна за один і той самий день, точка другої картки не переїде.

Другий — набори. Якщо друга картка входила складником у чужий набір, у наборі її замінить переможець, і тут усе гаразд. А от якщо вона сама була набором, її склад на переможця не переїде й зникне разом із карткою: набір доведеться зібрати заново.

Чого злиття не переносить

Ціна, кількість, статус, категорія і виробник другої картки не переносяться взагалі: у переможця залишаються його власні. Не переносяться акції та знижки, супутні товари, відео, файли, опції товару, прив’язки до категорій і макетів. Якщо в другої картки були товари-опції (варіанти, прив’язані до неї), вони видаляються разом із нею.

Трійки дублікатів за один раз не склеюються

Якщо якусь пару злити не вдалося, програма позначає її «Не дублікат» і повідомляє: «Не вдалося злити: N — такі пари позначено як «не дублікат».» Шукати їх треба в плитці «Відхилені».

Налаштування пошуку

Значок із повзунками в шапці відкриває «Налаштування пошуку дублікатів». Вони спільні для всього акаунта, а не для одного прогону.

Верхній блок — «Поля, за якими рахувати збіг». Увімкнені за замовчуванням: «Штрихкод EAN», «Штрихкод UPC», «Назва», «Рідкісні слова назви». Вимкнені: «Артикул виробника (MPN)» і «Модель» — у цих полях у вас може лежати внутрішній код постачальника або спільний код серії, і збіг за ними нічого не доводить. Подивіться, що записано саме у вас, перш ніж вмикати.

Три числа поруч:

Порог спірної зони — головне число, якщо здається, що програма чогось не знаходить. Приклад із живого каталогу: «Крісло офісне Barsky Soft Grey» і «Крісло офісне Barsky Soft, сіре» — одне й те саме крісло, але колір написано словом іншою мовою, і оцінка виходить 46. За порога 60 така пара до вас не дійде. Опустіть поріг до 40 — і вона з’явиться, разом із певною кількістю зайвого.

Підказка під цим полем каже, що ШІ перевіряє пари між двома порогами. Насправді він дивиться всі нерозібрані пари списку, хоч би якою була їхня оцінка, — поріг спірної зони вирішує тільки те, які пари взагалі потраплять у список.

Знизу ще два прапорці: «Вимагати збігу виробника» (увімкнено; порожній виробник хоча б з одного боку пари все одно допускається) і «Перевіряти спірні пари через ШІ» — це та сама настройка, що й перемикач режиму в шапці.

1

Флажок «Артикул виробника (MPN)»

2

Флажок «Рідкісні слова назви»

3

Поле «Поріг спірної зони, %»

4

Поле «Максимум карток на один ключ»

5

Флажок «Вимагати збігу виробника»

1. MPN вимкнено за замовчуванням — у цьому полі часто лежить код постачальника, а не виробника.
2. Рідкісні слова назви — основний спосіб зіставлення товарів без артикулів.
3. Пари з оцінкою між порогами «дублікат» і цим значенням вважаються спірними та йдуть на перевірку ШІ.
4. Обмежує розмір групи товарів з однаковим ключем зіставлення.
5. Вимагає збігу виробника, щоб не поєднувати схожі за назвою товари різних брендів.

Значок-гумка поруч із налаштуваннями очищає список знайдених пар. Він питає підтвердження й прибирає все, крім записів про вже виконані злиття: «Товари лишаться на місці: видаляється лише список.»

Перший запуск

Чого функція не робить

• Не попереджає під час створення товару. Перевірки «такий товар уже є» при введенні назви немає ні в картці, ні у вікнах додавання. Дублікати розбираються тільки тут, коли обидві картки вже існують.
• Не зливає нічого сама. Автоматика вміє лише поставити пару в «Підтверджені». Кнопку «Застосувати» натискає людина.
• Не вміє скасувати злиття. Відкату немає, кошика для товарів немає, відновити видалену картку нема з чого.
• Не порівнює фотографії. Пари шукаються за штрихкодом, артикулом, моделлю та словами назви. Дві однакові речі під зовсім різними назвами й без спільних ідентифікаторів програма не пов’яже.
• Не показує вартості перевірки ШІ. Ні тарифу, ні лічильника витрат у вікні немає.
• Не перевіряє варіанти товару. Картки, прив’язані до головного товару як варіанти, у пошук не потрапляють узагалі.
• Не переносить ціну й залишок. Злиття залишає ціну, кількість, категорію та виробника картки-переможця; у другої вони просто зникають.

Розбір частих проблем

Часті запитання

Чи можна скасувати злиття?

Ні. Друга картка пари видаляється фізично, кошика для товарів у програмі немає, відкату у функції теж немає. Тому порядок дій такий: спершу розмітити пари, потім перевірити плитку «Підтверджені» і лише тоді тиснути «Застосувати».

Чому програма не знайшла дублікат, який я бачу очима?

Три найчастіші причини. Перша: у карток не збігся жодний ключ — немає спільного штрихкоду, артикула й спільних рідкісних слів у назві. Друга: оцінка вийшла нижчою за «Поріг спірної зони, %», і пара відкинулася — опустіть поріг. Третя: у назвах є числа, які розходяться в обидва боки, і програма вважає це різними модифікаціями.

Чим «інша модифікація» відрізняється від дубліката?

Модифікація — це той самий модельний ряд, але інший обсяг пам’яті, колір, розмір або комплектація. Такі картки мають існувати окремо, тому програма ніколи не підтверджує їх автоматично, з якою б упевненістю ШІ не відповів.

Що буде із замовленнями по картці, яку видалять?

Замовлення, документи, складські рухи, зіставлення з прайсами та історія цін переїжджають на картку, що залишається, ще до видалення другої. Крім того, наявність замовлень і документів додає картці по 100 балів наповнення — тому саме її алгоритм і залишає.

Скільки товарів перевіряється за один прогін?

До 200 000, у демо-акаунті — до 100. Якщо у відборі більше, вікно скаже, скільки товарів перевірено і скільки лишилося, і запропонує звузити відбір фільтром каталогу.