Як поєднати 10 прайсів від різних постачальників в один зведений каталог?

Проблеми об'єднання множинних прайсів

Коли ви працюєте з кількома постачальниками, об'єднання даних перетворюється на серйозний виклик. Розглянемо основні проблеми, із якими стикається кожен інтернет-магазин.

1. Різні формати файлів

• Excel (.xls,.xlsx) - 40% постачальників використовують старі версії з кирилицею
• CSV з різними роздільниками - кома, крапка з комою, табуляція
• XML/JSON — сучасні API, але кожен має свою структуру
• Онлайн-таблиці — Google Sheets, які оновлюються у реальному часі
• PDF — найпроблемніший формат, що вимагає OCR та парсингу

2. Відмінності у структурі даних

3. Ідентичні товари з різними назвами

Це найкритичніша проблема. Один і той же товар у різних постачальників може мати такий вигляд:

• Смартфон Apple iPhone 15 Pro 256GB Blue Titanium
• iPhone 15 Pro 256 Gb Синій Титан
• APPLE iPhone15Pro 256GB Blue
• Телефон iPhone 15 Pro (A2848) 256 ГБ Синій

Без правильного алгоритму зіставлення система створить 4 різні картки товару замість однієї.

4. Конфлікти у даних

5. Регіональні та валютні відмінності

Якщо працюєте з міжнародними постачальниками:

• Ціни у різних валютах (EUR, USD, GBP, PLN)
• Різні формати чисел: 1,234.56 (US) vs 1.234,56 (EU)
• Одиниці виміру: дюйми/см, фунти/кг, галони/літри
• Різні мови описів товарів

Етапи об'єднання прайсів: Покроковий процес

Етап 1: Інвентаризація джерел даних

Створіть реєстр усіх постачальників та їх прайсів:

1. Ідентифікація: Надайте кожному постачальнику унікальний ID
2. Формати: Задокументуйте формат файлу, кодування, роздільники
3. Частота оновлення: Як часто постачальник оновлює прайс
4. Спосіб отримання: Email, FTP, API, завантаження з сайту
5. Пріоритет: Ранжуйте постачальників за важливістю (основний/резервний)

Етап 2: Стандартизація структури даних

Створіть єдину схему даних (майстер-шаблон), до якої будуть наводиться всі прайси:

Обов'язкові поля:

• supplier_id - Ідентифікатор постачальника
• supplier_sku - артикул товару у постачальника
• master_sku - Ваш внутрішній артикул (заповнюється після зіставлення)
• product_name - Назва товару
• price - ціна в єдиній валюті (EUR)
• stock_status - статус наявності (in_stock / out_of_stock / preorder)
• stock_quantity - кількість на складі

Додаткові поля:

• brand - Виробник
• category - категорія товару
• ean - Штрих-код (EAN-13/UPC)
• mpn - Номер виробника
• attributes - Характеристики (JSON)
• images - Посилання на зображення
• description - Опис товару
• updated_at - Дата останнього оновлення

Етап 3: Парсинг та нормалізація

Для кожного прайсу створіть парсер, який перетворює дані на єдиний формат:

Нормалізація назв:

• Видалення зайвих прогалин та спецсимволів
• Приведення до єдиного регістру (Title Case)
• Стандартизація одиниць виміру (GB → ГБ → 128GB)
• Видалення інформаційного сміття ("!!!", "ХІТ ПРОДАЖУ", "АКЦІЯ")

Нормалізація цін:

• Конвертація в єдину валюту (використовуйте актуальні курси)
• Видалення символів валют та форматування
• Приведення до єдиного формату (float, 2 знаки після коми)

Нормалізація залишків:

• "В наявності" → in_stock (quantity > 0)
• "Під замовлення", "3-5 днів" → preorder
• "Немає", "0" → out_of_stock

Етап 4: Зіставлення товарів (Matching)

Найскладніший етап – визначити, що товари від різних постачальників ідентичні.

Рівні зіставлення (від точного до приблизного):

1. За EAN/UPC: Штрих-код – 100% точність (якщо постачальники його вказують)
2. За MPN: Номер виробника - 95% точність
3. По артикулу постачальника: Якщо ви вже зіставляли цей SKU раніше
4. За зв'язкою "бренд + модель": Apple + iPhone 15 Pro 256GB Blue
5. По нечіткому порівнянню назв: Алгоритм Левенштейна із порогом 85%+

Уніфікація даних: Вирішення невідповідностей

Проблема 1: Різні одиниці виміру

Проблема 2: Різні валюти

Ціни приходять у USD, EUR, GBP, PLN. Необхідно:

• Отримувати актуальні курси валют (API центробанку або послуги Fixer.io)
• Конвертувати всі ціни в базову валюту вашого магазину
• Зберігати оригінальну валюту та курс для прозорості
• Оновлювати курси щонайменше 1 раз на день

Проблема 3: Різні формати дат та часу

• US: MM/DD/YYYY (12/25/2024)
• EU: DD.MM.YYYY (25.12.2024)
• ISO: YYYY-MM-DD (2024-12-25)
• Timestamp: 1735084800

Рішення: Наведіть всі дати до формату ISO 8601 (YYYY-MM-DD HH:MM:SS)

Проблема 4: Категоризація товарів

Кожен постачальник має свою систему категорій. Створіть мапінг:

• Постачальник А: "Mobile Phones" → Ваша категорія: "Смартфони"
• Постачальник Б: "Smartphones & Tablets" → "Смартфони"
• Постачальник В: "Телефони GSM" → "Смартфони"

Вирішення конфліктів: Правила пріоритету

Коли один товар має кілька постачальників, необхідно вирішити, чиї дані використовувати.

Стратегія 1: Пріоритет за ціною

Правило: Завжди вибирати найнижчу ціну

• Плюси: Максимальна конкурентоспроможність
• Мінуси: Можливо низька маржа, можливі проблеми з якістю
• Застосування: Товари-локомотиви, масовий ритейл

Стратегія 2: Пріоритет надійності

Правило: Віддавати перевагу перевіреним постачальникам

• Критерії надійності: Історія роботи, % шлюбу, швидкість доставки
• Плюси: Менше повернень, стабільні поставки
• Мінуси: Можливо дорожче
• Застосування: Преміум-сегмент, техніка, електроніка

Стратегія 3: Пріоритет наявності

Правило: Вибирати постачальника з товаром у наявності

• In stock → вище пріоритет, ніж preorder
• Великий залишок (50+ шт) → вище пріоритет ніж малий (1-5 шт)
• Склад у вашому регіоні → вище пріоритет, ніж віддалений

Стратегія 4: Виважений пріоритет (рекомендується)

Розраховуйте підсумковий бал для кожної пропозиції:

Налаштування ваги пріоритетів

Ваги повинні залежати від категорії товару:

• Масові товари: Ціна 60% | Надійність 20% | Наявність 20%
• Преміум-сегмент: Ціна 25% | Надійність 50% | Наявність 25%
• Скоропсовані: Ціна 30% | Надійність 30% | Наявність 40%

Вирішення конфліктів у характеристиках

Якщо опис товару розрізняються:

• Бренд, модель, артикул: Довіряємо офіційному дистриб'ютору
• Технічні характеристики: Беремо з офіційного джерела (сайт виробника)
• Опис: Об'єднуємо найкращі частини або генеруємо власне
• Зображення: Пріоритет якісним фото (дозвіл, фон)

Автоматизація процесу об'єднання

Інструменти для автоматизації

1. ETL-системи (Extract, Transform, Load)

• Apache NiFi - візуальний конструктор пайплайнів даних (open-source)
• Talend - платформа інтеграції даних (free/paid)
• Pentaho Data Integration - ETL для бізнесу (open-source)

2. Спеціалізовані платформи для e-commerce

• Elbuz - Автоматична обробка прайсів постачальників → докладніше
• Channable - Feed management для маркетплейсів
• DataFeedWatch - Оптимізація товарних фідів

3. Власна технологія

Для складних кейсів (10+ постачальників, специфічні формати) розгляньте створення власного рішення:

• Python + pandas - обробка CSV/Excel
• Python + Beautiful Soup - парсинг HTML
• Python + pdfplumber - Вилучення даних з PDF
• PostgreSQL + процедури, що зберігаються - Логіка зіставлення
• Redis/RabbitMQ черги для обробки великих обсягів

Архітектура автоматизованої системи

1. Складальник даних (Collector): Отримання прайсів з різних джерел
2. Парсер: Вилучення даних із файлів різних форматів
3. Нормалізатор: Приведення до єдиної схеми
4. Matching Engine: Зіставлення товарів
5. Conflict Resolver: Вирішення конфліктів за правилами
6. Master Data Storage: Зберігання зведеного каталогу
7. Export Engine: Вивантаження у ваш магазин/CMS

Частота оновлення

Виберіть оптимальний режим синхронізації:

• Real-time (API): Для товарів з швидко мінливими залишками
• Кожні 1-4 години: Для популярних категорій (електроніка)
• Щодня (вночі): Для стандартного асортименту
• Щотижня: Для товарів з низькою оборотністю

Реальний кейс: Інтернет-магазин електроніки

Міжнародна адаптація: Мультирегіональність

Робота з міжнародними форматами даних

Працюючи з постачальниками з різних країн:

Формати чисел:

• US/UK: 1,234.56 (кома - роздільник тисяч, точка - десяткова)
• EU: 1.234,56 (точка - роздільник тисяч, кома - десяткова)
• Рішення: Визначайте формат автоматично або задавайте для кожного постачальника

Кодування тексту:

• UTF-8 (універсальна, рекомендується)
• Windows-1251 (кирилиця, застаріла)
• ISO-8859-1 (Western Europe)
• Рішення: Автовизначення кодування (бібліотека chardet для Python)

Мультивалютність: Управління цінами

Стратегія 1: Єдина базова валюта

Конвертуйте всі ціни в одну валюту (наприклад, EUR):

• Використовуйте API з актуальними курсами (ECB, Fixer.io, CurrencyLayer)
• Обновляйте курси щонайменше 1 раз на день
• Для B2B можна фіксувати курс на період (тиждень/місяць)
• Зберігайте оригінальну валюту та курс конвертації для аудиту

Стратегія 2: Мультивалютний каталог

Тримайте ціни в оригінальних валютах, конвертуйте при показі клієнту:

• Дозволяє уникнути накопичення помилок округлення
• Актуальні ціни у реальному часі
• Складніше порівнювати пропозиції різних постачальників

Податки та митні збори

Якщо працюєте із зовнішніми постачальниками:

• VAT: Враховуйте, чи включено ПДВ у ціну постачальника
• Мита: Додайте до вартості товарів з-за меж ЄС
• Доставка: Міжнародні поставки дорожчі за локальні

Висновок

Об'єднання прайсів від безлічі постачальників - це складне, але вирішуване завдання. Ключові висновки:

• Стандартизація - основа: Створіть єдину схему даних, до якої наводяться всі джерела
• Автоматизація критична: Ручна обробка 10+ прайсів забирає 15-20 годин на тиждень
• Зіставлення товарів - найскладніший етап: Використовуйте EAN/MPN, де можливо, для інших — алгоритми нечіткого пошуку.
• Правила пріоритету мають бути гнучкими: Різні стратегії для різних категорій товарів
• Моніторинг та валідація обов'язкові: 5-10% даних можуть приходити з помилками
• ROI високий: Системи окупаються за 2-4 місяці за рахунок економії часу та оптимізації закупівель

Почніть з інвентаризації ваших джерел даних, визначте пріоритетних постачальників та створіть єдину схему. Автоматизуйте процес поступово - спочатку парсинг, потім зіставлення, потім вирішення конфліктів.