Що робити, якщо у постачальників різні назви для тих самих товарів?

Причини розбіжностей у назвах товарів

Розуміння причин відмінностей допомагає вибрати правильну стратегію зіставлення.

Технічні причини

• Різні ERP-системи: кожен постачальник використовує свою облікову систему із власними правилами формування найменувань
• Ручне введення даних: оператори по-різному запроваджують характеристики товарів
• Імпорт від виробників: різні версії каталогів та перекладів
• Автоматичні транслітерації: перетворення назв з інших мов

Лінгвістичні відмінності

• Синоніми: "мобільний телефон", "смартфон", "стільниковий"
• Абревіатури: "256GB" vs "256 Гб" vs "256 ГБ"
• Порядок слів: "Samsung Galaxy S24 Ultra 256GB Black" vs "Galaxy S24 Ultra 256GB Samsung Black"
• Реєстр: "iPhone 15 Pro" vs "IPHONE 15 PRO" vs "iphone 15 pro"
• Розділювачі: "iPhone15Pro" vs "iPhone 15 Pro" vs "iPhone-15-Pro"

Регіональні особливості

• Локалізація: європейські назви можуть відрізнятись від азіатських версій
• Колірні варіанти: "Titanium" vs "Титан" vs "Титановий"
• Маркетингові назви: різні постачальники додають свої акценти
• Одиниці виміру: літри vs л vs L, кілограми vs кг vs kg

Методи зіставлення товарів

Існує кілька базових методів ідентифікації товарів, які можна комбінувати задля досягнення максимальної точності.

1. Зіставлення по артикулам виробника

Принцип: використання унікального коду виробника (SKU, MPN – Manufacturer Part Number) як основного ідентифікатора.

Переваги:

• Висока точність - артикул виробника.
• Не залежить від назви товару
• Стандартизовано для більшості брендів
• Легко автоматизувати

Проблеми:

• Не всі постачальники надають артикул виробника
• Можливі друкарські помилки в артикулах
• Різні формати запису (з пробілами, дефісами)
• Деякі товари не мають артикулів (noname продукція)

2. Зіставлення по штрих-кодах

Міжнародні стандарти штрих-кодів:

• EAN-13: європейський стандарт, 13 цифр (наприклад, 5901234123457)
• UPC-A: американський стандарт, 12 цифр
• ISBN: для книг, 10 або 13 символів
• GTIN: глобальний ідентифікатор торгової одиниці

Переваги штрих-кодів:

• Абсолютна унікальність для кожної товарної позиції
• Міжнародний стандарт, визнаний усіма учасниками ринку
• Використовується в логістиці та складському обліку
• Легко верифікувати через відкриті бази даних

Обмеження:

• Не всі постачальники вказують штрих-коди в прайсах
• Один товар може мати кілька штрих-кодів (для різних регіонів)
• Дрібні виробники можуть не реєструвати штрих-код
• Можливі технічні помилки під час введення довгих цифрових кодів

3. Зіставлення за характеристиками

Коли артикули та штрих-коди недоступні, використовується аналіз ключових характеристик товару.

Ключові параметри для електроніки:

• Бренд: Apple, Samsung, Sony (обов'язково)
• Модель: iPhone 15 Pro, Galaxy S24 Ultra (обов'язково)
• Об'єм пам'яті: 128GB, 256GB, 512GB
• Колір: Black, White, Titanium
• Додаткові параметри: покоління процесора, розмір екрану

Для одягу та взуття:

• Бренд
• Артикул колекції
• Розмір (EU, US, UK)
• Колір
• Сезон/колекція

4. Комбінований підхід

Найбільш ефективна стратегія - використання кількох методів із пріоритизацією:

1. Перший рівень: пошук по штрихкоду EAN/UPC (100% точність)
2. Другий рівень: пошук за артикулом виробника (95-98% точність)
3. Третій рівень: зіставлення за характеристиками (85-90% точність)
4. Четвертий рівень: нечітке текстове порівняння назв (70-80% точність)
5. Ручна перевірка: для випадків, що залишилися

Автоматичне зіставлення

Сучасні системи управління даними використовують комплексні алгоритми для автоматизації процесу зіставлення.

Алгоритми нечіткого порівняння

Відстань Левенштейна (Levenshtein Distance):

Вимірює мінімальну кількість операцій (вставка, видалення, заміна символу) для перетворення одного рядка на інший.

Інші алгоритми:

• Jaro-Winkler Distance: враховує позицію символів, що збігаються, краще працює з короткими рядками
• Soundex / Metaphone: фонетичне порівняння, корисне для транслітерацій
• N-grams: порівняння підрядок фіксованої довжини
• TF-IDF: векторне подання тексту для пошуку подібних документів

Токенізація та нормалізація

Етапи підготовки даних:

1. Приведення до нижнього регістру: "iPhone" → "iphone"
2. Видалення спецсимволів: "iPhone-15" → "iphone 15"
3. Нормалізація прогалин: "iPhone 15" → "iphone 15"
4. Уніфікація одиниць виміру: "256 Гб" → "256gb"
5. Видалення стоп-слів: "новий", "оригінальний", "офіційний"
6. Транслітерація: "Айфон" → "iphone"

Використання AI та Machine Learning

Сучасні підходи із застосуванням штучного інтелекту значно підвищують точність зіставлення.

Supervised Learning (Навчання з учителем)

Система навчається на розмічених даних - парах продуктів, які були зіставлені вручну.

Процес:

1. Збір навчальної вибірки (1000-5000 пар товарів)
2. Вилучення ознак (features): схожість назв, збіг артикулів, категорія
3. Навчання моделі класифікації (Random Forest, Gradient Boosting)
4. Валідація на тестовій вибірці
5. Застосування моделі для автоматичного зіставлення

Deep Learning із використанням ембеддингів

Просунута техніка, що використовує нейронні мережі для представлення товарів у векторному просторі.

• Word2Vec / FastText: векторні уявлення слів та фраз
• BERT / Transformers: контекстне розуміння назв товарів
• Siamese Networks: нейромережі для визначення схожості пар об'єктів
• Cosine Similarity: вимірювання схожості векторів у багатовимірному просторі

Практична реалізація

Процес автоматичного зіставлення:

1. Отримання нового прайсу: завантаження файлу від постачальника
2. Передобробка: парсинг, нормалізація даних
3. Пошук точних збігів: по EAN, артикулу виробника
4. Нечітке зіставлення: для товарів без точних ідентифікаторів
5. ML-аналіз: застосування навченої моделі
6. Формування результатів: автоматично зіставлені кандидати для перевірки
7. Логування: збереження всіх операцій для аудиту

Ручне коригування та керування винятками

Навіть найпросунутіші системи автоматизації вимагають ручного контролю для обробки нестандартних випадків та підвищення точності.

Коли необхідне ручне втручання

• Нові бренди: система ще не навчена на цих товарах
• Складні конфігурації: товари з безліччю варіацій
• Схожі моделі: "iPhone 15" vs "iPhone 15 Plus" - відмінності критичні
• Регіональні версії: EU версія vs US версія з різними характеристиками
• Набори та комплекти: окремий товар vs набір
• Низька впевненість системи: схожість нижче встановленого порога

Інтерфейс ручного зіставлення

Ключові елементи UI:

• Список кандидатів: товари з нового прайсу, які вимагають перевірки
• Пропозиції системи: автоматично знайдені схожі товари з відсотком схожості
• Паралельне порівняння: таблиця з характеристиками обох позицій
• Історія змін: попередні зіставлення цього товару
• Швидкі дії: прийняти / відхилити / створити новий товар

Управління аліасами

Система аліасів (псевдонімів) дозволяє пов'язати різні назви одного товару:

• Основна назва: "Apple iPhone 15 Pro 256GB Titanium"
• Аліаси:
  • "iPhone 15 Pro 256GB Titanium"
  • "iPhone15Pro 256Gb Титан"
  • "Айфон 15 Про 256 ГБ Титановий"
  • "APPLE IPHONE 15 PRO (256GB) Natural Titanium"

При наступному імпорті прайсу з будь-якою з цих назв система автоматично розпізнає товар.

Словники та довідники

Ведення довідників допомагає стандартизувати дані:

Словник брендів

• "Apple" = ["Apple", "APPLE", "apple", "Епл", "Яблуко"]
• "Samsung" = ["Samsung", "SAMSUNG", "Samsung", "Samsung Electronics"]

Словник квітів

• "Black" = ["Black", "Чорний", "Чорний", "BLK", "Noir"]
• "White" = ["White", "Білий", "WHT", "Blanc"]

Одиниці виміру

• "GB" = ["GB", "Gb", "ГБ", "Гб", "Гб", "Гігабайт"]
• "kg" = ["kg", "кг", "кілограм", "кілограма"]

Навчання системи на ручних рішеннях

Кожне ручне зіставлення – це цінні дані для покращення ML-моделі:

1. Логування рішень: запис усіх ручних зіставлень
2. Періодичне перенавчання: раз на місяць/квартал
3. A/B тестування: перевірка нової моделі на історичних даних
4. Feedback loop: система стає точнішою з кожним рішенням

Найкращі практики та рекомендації

Стандартизація даних біля джерела

Працюйте з постачальниками над покращенням якості прайсів:

• Запитуйте артикули виробника та EAN коди
• Погодьте стандартний формат найменувань
• Просіть виділяти характеристики в окремі стовпці
• Надайте постачальникам шаблон прайс-листа

Регулярний аудит

Періодично перевіряйте якість зіставлення:

• Щотижня: перегляд нових автоматичних зіставлень
• Щомісяця: аналіз статистики (відсоток автоматизації, помилки)
• Щоквартально: повний аудит каталогу на дублі
• При змінах: перевірка після додавання нового постачальника

Метрики ефективності

Слідкуйте за ключовими показниками:

• Відсоток автоматизації: скільки товарів зіставляється без участі людини (мета: 85-90%)
• Точність зіставлення: відсоток правильних рішень (ціль: 98%+)
• Час обробки: середній час на ручне зіставлення одного товару
• Кількість дублів: відсоток дубльованих карток у каталозі (ціль:<1%)

Висновок

Проблема зіставлення товарів із різними назвами - це неминучий виклик під час роботи з кількома постачальниками. Однак сучасні технології дозволяють автоматизувати до 85-90% процесу, залишаючи для ручної обробки лише найскладніші випадки.

Ключові висновки

• Багаторівневий підхід працює найкраще: починайте з точних ідентифікаторів (EAN, артикули), потім переходьте до алгоритмів нечіткого порівняння
• Machine Learning збільшує точність: системи з ML зіставляють на 10-15% точніше, ніж rule-based алгоритми
• Якість даних критична: робота з постачальниками над стандартизацією окупається зниженням ручної праці
• Ручне коригування необхідне: навіть кращі системи вимагають людського контролю для edge cases
• Система навчається на рішеннях: кожне ручне зіставлення робить алгоритми точнішими

План впровадження системи зіставлення

1. Аналіз поточної ситуації: оцініть масштаб проблеми дублів у каталозі
2. Стандартизація даних: запитайте у постачальників артикули та EAN коди
3. Вибір інструментів: визначте, які алгоритми підходять для вашого каталогу
4. Пілотний проект: почніть з 1-2 основних постачальників
5. Навчання команди: підготуйте співробітників до роботи із системою
6. Поступове масштабування: додавайте інших постачальників
7. Безперервне покращення: аналізуйте метрики та оптимізуйте процеси

Правильно налаштована система зіставлення - це інвестиція, яка окупається за кілька місяців за рахунок економії часу співробітників, зниження помилок у каталозі та покращення якості даних для прийняття бізнес-рішень.