Як позбутися дублів товарів у каталозі раз і назавжди?

Чому з'являються дублі товарів у каталозі

Розуміння причин виникнення дублів — перший крок усунення. Основні джерела дублювання:

1. Множинні джерела даних

Коли товари завантажуються з різних прайс-листів постачальників, Excel-файлів або систем керування складом, той самий товар може з'явитися кілька разів під різними артикулами або з незначними відмінностями в описі.

2. Людський фактор

Менеджери створюють вручну картки товарів, не перевіряючи наявність аналогів. Особливо це притаманно великих команд, де кілька співробітників працюють із каталогом одночасно.

3. Варіації товарів без правильного угруповання

Товари з різними кольорами, розмірами чи комплектацією створюються як окремі позиції замість варіантів одного товару. Наприклад, "Футболка Nike червона M" та "Футболка Nike синя L" мають бути варіантами, а не окремими товарами.

4. Зміна артикулів постачальниками

Виробники та дистриб'ютори періодично змінюють систему артикулів. Старий SKU залишається у каталозі, а новий імпортується як окремий товар.

5. Технічні збої під час імпорту

Помилки у логіці синхронізації, коли система не розпізнає існуючий товар та створює дублікат замість оновлення існуючої картки.

Типи дублів: як класифікувати проблему

Алгоритми та методи пошуку дублів

Пошук по точному збігу

Найпростіший метод - пошук товарів з ідентичними ключовими полями:

• За артикулом (SKU): виявляє повні дублі, коли один артикул зустрічається кілька разів
• EAN/UPC/GTIN: міжнародні ідентифікатори товарів, особливо важливі для продукції відомих брендів
• За назвою: пошук товарів з абсолютно ідентичними назвами

Нечітке зіставлення (Fuzzy matching)

Алгоритми обчислення ступеня схожості рядків:

• Відстань Левенштейна: підрахунок мінімального числа операцій для перетворення одного рядка на інший
• Алгоритм Джаро-Вінклера: враховує збіги символів та їх позиції, ефективний для коротких назв
• N-грами: розбиття тексту на послідовності N символів для порівняння

Пошук по комбінації атрибутів

Створення унікального відбитка товару на основі комбінації характеристик:

• Бренд + модель + ключові характеристики
• Категорія + виробник + основні параметри
• Хешування нормалізованих даних

Машинне навчання для виявлення дублів

Сучасний підхід використовує алгоритми ML для інтелектуального розпізнавання:

• Векторизація описів: перетворення тексту на числові вектори за допомогою word2vec або BERT
• Кластеризація: угруповання схожих товарів для візуального аналізу
• Навчання на розмічених даних: створення моделі на основі експертної розмітки дублів

Стратегії об'єднання дублів

Визначення головної картки (Master Record)

Критерії вибору основної версії товару:

• Найстаріша картка: зберігає історію продажів і SEO-вагу
• Найбільш повна: містить максимум заповнених характеристик та якісні фотографії
• З найкращими показниками: більше переглядів, відгуків, конверсія
• З правильним URL: відповідає SEO-вимогам та містить ключові слова

Методи об'єднання даних

1. Повне злиття

Усі дублікати видаляються, їх дані переносяться до головної картки:

• Об'єднання описів (вибір найбільш повного)
• Консолідація зображень
• Перенесення всіх відгуків та рейтингів
• Підсумовування залишків
• Історія замовлень перенаправляється на головну картку

2. Створення варіантів товару

Коли дублі представляють різні модифікації:

• Визначення базового товару
• Перетворення дублів у варіанти (колір, розмір, комплектація)
• Налаштування матриці варіантів з індивідуальними цінами та залишками

3. Налаштування редиректів

Критично важливо для SEO:

• 301 редирект з усіх віддалених карток на головну
• Оновлення внутрішніх посилань у каталозі
• Перенаправлення зовнішніх посилань

Автоматична дедуплікація: інструменти та технології

Вбудовані механізми платформ e-commerce

• Shopify: Bulk Editor для масового редагування, додатки для об'єднання товарів
• WooCommerce: плагіни Product Merger, Bulk Edit Products
• Magento: модулі автоматичної дедуплікації та злиття атрибутів
• OpenCart: розширення для пошуку та видалення дублів

Спеціалізовані PIM-системи

Product Information Management системи з просунутими можливостями:

• Akeneo: правила дедуплікації, автоматичне збагачення даних
• Pimcore: алгоритми нечіткого пошуку, ML-моделі для виявлення дублів
• Salsify: інтелектуальне об'єднання даних із безлічі джерел

Рішення Elbuz для дедуплікації

Платформа Elbuz пропонує комплексний підхід до автоматичної обробки дублів:

• Автоматичне виявлення дублів при імпорті прайс-листів
• Налаштовані правила зіставлення (по артикулу, EAN, назві, комбінації полів)
• Інтелектуальне злиття даних із вибором пріоритетних полів
• Перегляд змін перед застосуванням
• Аудит-лог всіх операцій злиття
• API для інтеграції із зовнішніми системами

SQL-запити для пошуку дублів

Для технічних фахівців приклади запитів до бази даних:

 -- Пошук дублів по артикулу SELECT sku, COUNT(*) as count FROM products GROUP BY sku HAVING COUNT(*) > 1; -- Пошук за схожими назвами (вимагає розширення pg_trgm для PostgreSQL) SELECT p1.id, p1.name, p2.id, p2.name, similarity(p1.name, p2.name) як similarity_score FROM products p1, products p2 WHERE p1.id< p2.id AND similarity(p1.name, p2.name) > 0.8; -- Пошук товарів з однаковим EAN SELECT ean, COUNT(*) як duplicate_count, STRING_AGG(name, ' | ') as product_names FROM products WHERE ean IS NOT NULL AND ean!= '' GROUP BY ean HAVING COUNT(*) > 1;

SEO-наслідки дублів та правильне усунення

Негативний вплив на пошукове просування

• Канібалізація ключових слів: кілька сторінок конкурують за одні запити, знижуючи позиції всіх
• Розпилення ваги: зовнішні посилання ведуть різні дублі, зменшуючи авторитет кожної сторінки
• Проблеми з індексацією: пошукові системи не знають, яку версію показувати у видачі
• Зниження краулінгового бюджету: роботи витрачають час на сканування дублів замість унікального контенту
• Фільтри за дубльований контент: у крайніх випадках сайт може потрапити під санкції

Правильна стратегія усунення для SEO

1. Аудит поточного стану

• Аналіз індексації в Google Search Console
• Перевірка дублів через site: оператор
• Виявлення сторінок з канібалізацією в Ahrefs/Semrush

2. Приоритизація сторінок

• Вибір головної картки з трафіку та позицій
• Облік кількості зовнішніх посилань
• Аналіз історії індексації

3. Технічна реалізація

• 301 редирект: обов'язково для всіх сторінок, що видаляються
• Оновлення sitemap.xml: видалення старих URL
• Canonical тег: якщо тимчасово потрібно зберегти кілька версій
• Оновлення внутрішньої перелінковки

4. Моніторинг після усунення

• Відстеження переіндексації у Search Console
• Перевірка коректності редиректів
• Моніторинг зміни позицій
• Аналіз динаміки трафіку

Система профілактики дублів

Організаційні заходи

1. Регламенти роботи з каталогом

• Чіткі інструкції для менеджерів щодо перевірки наявності товару перед створенням
• Обов'язковий пошук за артикулом та назвою
• Призначення відповідального за якість даних
• Регулярні аудити каталогу

2. Навчання персоналу

• Правила іменування товарів
• Використання варіантів замість створення окремих позицій
• Робота з ідентифікаторами (EAN, UPC)
• Перевірка результатів імпорту

Технічні рішення

1. Валідація під час створення товару

• Автоматична перевірка унікальності артикулу
• Попередження при схожій назві
• Пошук по EAN у базі перед збереженням
• Пропозиція існуючих товарів при збігу

2. Правила імпорту даних

• Чітке визначення ключів зіставлення (SKU, EAN, артикул постачальника)
• Режим "тільки оновлення" для існуючих товарів
• Логування всіх створюваних позицій
• Карантин для нових товарів з ручною перевіркою

3. Регулярна автоматична перевірка

• Щотижневе сканування каталогу на дублі
• Звіти про підозрілі товари
• Дашборд з метриками якості даних
• Алерти при перевищенні порога дублів

Використання майстер-даних (MDM)

Створення єдиного джерела правди для товарної інформації:

• Централізований каталог: усі товари в одній системі з унікальними ідентифікаторами
• Правила збагачення: автоматичне доповнення даних із перевірених джерел
• Workflow узгодження: модерація нових товарів перед публікацією
• API-інтеграція: всі системи одержують дані з єдиного джерела

Міжнародні ідентифікатори: EAN, UPC, GTIN

Використання стандартизованих кодів – найбільш надійний спосіб запобігання дублям.

Типи ідентифікаторів

• EAN-13: Європейський стандарт, 13 цифр (наприклад, 5901234123457)
• UPC-A: Північноамериканський стандарт, 12 цифр (наприклад, 012345678905)
• GTIN: Глобальний ідентифікатор включає EAN і UPC
• ISBN: Для книг, 10 чи 13 цифр
• MPN: Номер виробника (Manufacturer Part Number)

Переваги використання

• Абсолютна унікальність у глобальному масштабі
• Спрощення інтеграції з маркетплейсами (Ozon, Wildberries, Amazon вимагають EAN/UPC)
• Автоматичне збагачення даних із зовнішніх баз
• Точне зіставлення товарів від різних постачальників
• Покращення якості торгових фідів для Google Shopping

Впровадження в процес керування каталогом

1. Аудит поточних даних: перевірка наявності EAN у існуючих товарів
2. Збагачення: отримання EAN від постачальників або відкритих баз (GS1, UPC Database)
3. Валідація: перевірка коректності кодів (контрольна сума, формат)
4. Налаштування правил імпорту: EAN як основний ключ зіставлення
5. Моніторинг якості: відсоток товарів з EAN, звіти про некоректні коди

Практичні приклади та рішення

Приклад 1: Дублі із-за різних артикулів постачальників

Приклад 2: Дублі через модифікації товару

Приклад 3: Дублі після міграції платформи