Cómo configurar un analizador para cualquier sitio de tienda en línea: obtener un catálogo de productos con precios, descripciones y fotos

Cómo funciona el analizador de comercio electrónico Elbuz

Todas las tiendas en línea se crean usando el lenguaje HTML, este es un lenguaje de marcado de página estandarizado en la World Wide Web, por lo que todos los sitios usan los mismos elementos para diferentes bloques, el analizador Elbuz usa este estándar para recibir datos de la tienda en línea sitio.


Lista de las etiquetas HTML más utilizadas que se encuentran en las páginas de las tiendas online:

• etiqueta div. Un elemento de bloque universal que le permite seleccionar una sección con contenido visual en el sitio. Podría ser una lista de productos.
• Etiqueta a. Muestra un enlace a una página. Estos pueden ser enlaces a productos en una categoría particular.
• etiqueta h1. Muestra el encabezado del primer nivel (también hay h2, h3, h4, h5, h6). Puede ser el nombre del producto.
• etiqueta p. Muestra un párrafo de texto. Podría ser una descripción del producto.
• etiqueta de mesa Muestra una tabla. Puede ser una tabla de atributos del producto.
• etiqueta ul. Muestra una lista con viñetas. Puede ser una breve descripción del artículo.
• etiqueta img. Diseñado para ser mostrado en la página de la imagen. Estas pueden ser fotos de productos.

Las etiquetas pueden contener el nombre del estilo para la visualización de la información en el sitio, por ejemplo, el estilo de bloque especificado le permite mostrar texto en negrita o color verde para cualquier elemento. En función de estos datos estandarizados en el sistema Elbuz, puede configurar el analizador para cualquier tienda en línea para obtener la información que necesita, el analizador Elbuz utiliza selectores CSS (estilos de diseño del sitio) o XPath (lenguaje de consulta para el sitio). elementos) para recibir datos.

Para comenzar, debe instalar la extensión para el navegador Google Chrome, para hacer esto, siga este enlace. El análisis solo es posible en el navegador Google Chrome. Si el enlace de Chrome Store no funciona, instale la extensión manualmente. Tampoco puede usar la extensión del navegador, para esto necesita activar la función de análisis del servidor.

Creando un nuevo analizador

Para configurar el analizador, siga este orden de operaciones:

1. Listas de precios abiertas.
2. Haga clic en el botón Agregar contraparte.
3. Especifique el nombre del sitio.
4. Seleccione la pestaña Analizador.
5. Haga clic en el botón Agregar sitio.
6. Proporcionar un enlace a la página principal del sitio.
7. Especifique los selectores de etiquetas.

Para agregar un nuevo analizador de sitios, abra la ventana "Listas de precios", haga clic en el botón "+" y seleccione "Agregar contraparte".


Especifique el nombre de la contraparte (tienda en línea) y seleccione un grupo, los siguientes grupos están disponibles por defecto: Proveedor, Competidor, Cliente.


Después de agregar la contraparte, se le pedirá que elija desde dónde desea descargar los datos, en esta lista, seleccione el elemento "Análisis del sitio web" y haga clic en el botón "Agregar sitio".


Especifique la dirección de la tienda en línea para el análisis de datos

Configuración de un analizador para recibir datos de una tienda en línea

El orden del analizador para descargar productos de la tienda en línea:

1. Obtener enlaces a categorías de productos
2. Obtener enlaces de productos
3. Obtenga fichas de productos y guarde la información necesaria

Después de agregar el analizador de la tienda en línea, se abrirá la ventana de configuración


La tabla de configuración contiene los tipos de operaciones y la lista de campos para almacenar datos en ellos. Los tipos de operación son las etapas del analizador para obtener datos del sitio.

Por ejemplo, para obtener una lista de productos del sitio, debe obtener enlaces a categorías de productos para que el analizador pueda abrir una página para obtener información sobre cada producto, por lo que la primera operación que utilizará el analizador es "Lista de enlaces". a las categorías de productos".

Tipos de operaciones:

• Lista de enlaces a categorías de productos. Se utiliza para obtener enlaces a categorías de productos.
• Lista de enlaces a productos. Se utiliza para obtener enlaces a productos.
• Producto de tarjeta. Se utiliza para obtener información del producto. Al realizar esta operación, puede obtener el nombre del producto, el artículo del fabricante, el modelo, la garantía, el nombre del fabricante, fotos, reseñas de videos y otra información del sitio.
• Atributos del producto. Se utiliza para obtener los atributos del producto.

Descripción de las columnas de la cuadrícula para configurar el analizador

• Selector de operaciones. Signo del selector principal para recibir datos del sitio para realizar esta operación.
• Nombre del campo. El nombre de la operación o campo en el que se almacenarán los datos.
• Selector #1-4. El analizador Elbuz utiliza selectores CSS (estilos de sitio) o XPath (lenguaje de consulta para elementos del sitio) para recibir datos de las páginas del sitio. Los campos del selector especifican las condiciones para encontrar los bloques que necesita en el sitio y obtener información de ellos.
• Enlace para probar. Enlace a la página del sitio para probar la adquisición de datos. Para cada operación, se indica un enlace a una sección separada del sitio, por ejemplo, para la operación "Lista de enlaces a categorías de productos", se indica un enlace a la página principal del sitio, donde hay una lista de todos Categorías de Producto. Para probar los atributos de recepción de mercancías para la operación "Tarjeta de artículo", se especifica un enlace a las mercancías.
• Texto para limpiar. Palabras clave para limpiar al obtener datos. Por ejemplo, en el nombre del producto en el sitio hay texto adicional que no desea recibir del sitio, puede configurar este texto en el campo "Texto para limpiar" para eliminarlo.
• Encontrar. Buscar texto.
• Reemplazar. Texto a reemplazar (basado en el texto encontrado).
• Recibir HTML. Si es necesario conservar el formato del texto recibido de la página del sitio utilizando etiquetas html, establezca esta bandera.
• Expresión regular. Puede usar una expresión regular para obtener el valor deseado en función del texto recibido a través del selector, es decir, analizar la cadena en componentes con más detalle y obtener lo que necesita al final.
• XPath. Activación para el selector de modo de lenguaje de consulta XPath.
• El número máximo de resultados. Le permite limitar la descarga de datos para la prueba de descarga, para no esperar hasta que se descargue todo el sitio, puede configurar para recibir solo 1 enlace a una categoría y recibir, por ejemplo, 2 enlaces a productos, para esto puede establecer el número de resultados para cada operación.
• Bienes en esta operación. Puede recibir productos sin abrir tarjetas de productos en el sitio. Este modo será útil si desea obtener solo los precios de los bienes y otros valores que están disponibles al enumerar bienes en una categoría.
• Nota. Una nota para una cadena de configuración, por ejemplo, puede guardarse un recordatorio de lo que significa esta configuración.

Los selectores pueden tener la forma de etiquetas html y estilos CSS (estilos de diseño del sitio), así como la forma de un lenguaje de consulta para los elementos del sitio XPath. Para activar el modo XPath en la cuadrícula, configure esta bandera para el campo u operación que necesita

Etapa número 1. Obtener una lista de enlaces a categorías de productos

Para obtener una lista de enlaces a categorías de productos, debe encontrar el selector de enlaces que conduce a la categoría, para esto, copie el enlace del sitio (generalmente esta es la página principal del sitio) en el "Enlace para prueba" campo y haga clic en el botón "T"


Se abrirá la pestaña "Descargar prueba", en la que se mostrará la página en el enlace que especificó, las categorías de productos deberían estar visibles en ella. Los resultados del trabajo del analizador se muestran a la izquierda. Su tarea es obtener una lista de enlaces a categorías de productos del sitio; si el analizador se configura correctamente, verá una lista de enlaces a categorías en el lado izquierdo del pantalla.

¡Atención! La prueba de descarga solo es posible para los sitios que usan el protocolo https seguro, solo para esos sitios puede verificar visualmente la recepción de datos en la pestaña "Prueba de descarga", mientras que aún puede configurar el análisis de dichos sitios (usando el no seguro protocolo http), pero la verificación visual de la obtención de datos no funcionará, es decir, todas las etiquetas y selectores deben ingresarse "a ciegas" (al azar).

Para buscar un selector de enlaces para categorías de productos, haga clic derecho en el nombre de cualquier categoría y seleccione "Ver código", después de lo cual se abrirá una ventana del navegador con el código fuente del sitio. Puedes colocarlo como quieras, por ejemplo, a la izquierda o en la parte inferior de la pantalla

También puede abrir el enlace en una pestaña separada del navegador si necesita más espacio en la pantalla para buscar el selector de enlaces del producto y hacer lo mismo allí.

Estamos buscando bloques de categorías de productos y un enlace en ellos.
Su tarea es encontrar bloques de enlaces a categorías de productos. Después de haber seleccionado el elemento "Ver código", el navegador abrirá el código fuente del sitio en el lugar donde se presionó el botón derecho del mouse, en este ejemplo, hicimos clic en el nombre de la categoría y vemos que los enlaces a las categorías se encuentran en las etiquetas "div" y "a" (se puede hacer clic en la imagen a continuación para ampliarla).

Como puede ver, cada categoría de producto tiene un bloque "div" y contiene enlaces "a", mientras que el bloque "div" tiene el nombre de estilo lista de enlaces (class="links-list") y el enlace "a" tiene el enlace de nombre de estilo ( class="link") .

Escribamos los selectores en la configuración del analizador de esta forma: especifique los nombres de las etiquetas separados por un espacio y especifique los nombres de estilo separados por un punto. Simplemente puede especificar la etiqueta "a" y su estilo, si es único dentro de la página para un enlace que conduce a una categoría de producto (entonces el primer párrafo no es obligatorio).

Comprobamos el resultado, para ello pulsamos el botón "T". Como puede ver en el ejemplo, obtuvimos 74 enlaces a categorías de productos, es decir, nuestro analizador ya sabe cómo buscar categorías en un sitio de terceros.

Etapa número 2. Obtener una lista de enlaces de productos

Para obtener una lista de enlaces de productos, debe encontrar el selector de enlaces de productos en la página de listado de productos en la categoría, para abrir cualquier categoría de productos en el sitio y copiar el enlace en el campo "Enlace para prueba", luego haga clic en el botón "T"


Se abrirá la pestaña "Descargar prueba", en la que se mostrará la página en el enlace que especificó, una lista de productos debería estar visible en ella. Los resultados del trabajo del analizador se muestran a la izquierda. Su tarea es obtener una lista de enlaces a productos del sitio, si el analizador está configurado correctamente, verá una lista de enlaces en el lado izquierdo de la pantalla.

Para buscar un selector de enlaces de productos, haga clic derecho en el nombre de cualquier producto y seleccione "Ver código", después de lo cual se abrirá una ventana del navegador con el código fuente del sitio.

Estamos buscando bloques de bienes y un enlace en ellos.
Su tarea es encontrar bloques de productos con enlaces a la ficha del producto. Después de haber seleccionado el elemento "Ver código", el navegador abrirá el código fuente del sitio en el lugar donde se presionó el botón derecho del mouse, en este ejemplo hicimos clic en el nombre del producto y vemos que se encuentran los enlaces del producto en las etiquetas "div" y "a".
Es decir, cada producto en los resultados de búsqueda tiene un bloque "div" y contiene un enlace "a", mientras que el bloque "div" tiene el nombre de estilo de mosaico (class="tile").

Es decir, cada producto de la lista tiene el mismo estilo llamado mosaico, y usaremos esta información para obtener enlaces a cada producto.
Escribamos los selectores en la configuración del analizador de esta forma: especifique el nombre del estilo a través de un punto y la etiqueta "a" separada por un espacio

Comprobamos el resultado, para ello pulsamos el botón "T". Como puede ver en el ejemplo, obtuvimos 28 enlaces a productos, es decir, nuestro analizador ya sabe cómo encontrar productos en un sitio de terceros.


Configuración de navegación de página (paginación)
Al abrir una categoría de productos, no se suelen mostrar todos los productos, por ejemplo, solo se pueden mostrar 28 productos, los siguientes productos están en la página No. 2, este modo se llama paginación (paginación). Para obtener enlaces de productos en otras páginas, debe encontrar un selector de enlaces que lleve a la página siguiente, debe encontrar un bloque de navegación en la página para ir a otras páginas (paginador), en el ejemplo a continuación, este bloque se ve así esto y tiene tal selector
ul[nombre="paginador"] li a

El selector encontrado para la paginación de mercancías se indica en el campo "Selector No. 2"

Hay sitios en los que los enlaces de paginación no contienen el enlace actual a la página (enlace a la categoría del producto), entonces la paginación puede no determinarse correctamente, un ejemplo de una definición incorrecta, cuando el enlace contiene solo el número de página, como resultado, el enlace llevará a la página principal del sitio

Para resolver este problema, necesita saber la dirección de la página actual. Debe abrir el código fuente del sitio e intentar encontrar la dirección de la página actual, si se encuentra una, debe especificar en el campo Selector No. 3 las etiquetas cómo obtenerlo, por ejemplo, desde el Bloque "Breadcrumbs" (migas de pan): div. breadcrumbs a. active


La etapa 2 se puede usar para obtener solo una lista de productos, este modo será útil cuando necesite obtener solo precios de productos, sin descripciones, especificaciones técnicas. características y fotos, mientras que la velocidad de obtención de datos del sitio será muchas veces mayor (no es necesario ir a las tarjetas de productos en el sitio). Para activar este modo, configure la bandera "Productos en esta operación" para el tipo de operación "Lista de enlaces a productos", luego especifique los selectores para los campos que se completarán desde el sitio. En consecuencia, no es necesario que complete el profesor para obtener enlaces a productos, solo para obtener "paginación".

Etapa número 3. Obtención de datos de la ficha del producto.

Por analogía con la búsqueda de un selector de enlace de producto, debe encontrar selectores para los campos que necesita en la tarjeta del producto, para esto escribimos un enlace al producto de prueba en el campo "Enlace para probar" y lo abrimos


Debe hacer clic derecho en el nombre del producto y seleccionar el elemento "Ver código", después de lo cual se abrirá una ventana del navegador con el código fuente del sitio.
Por ejemplo, el nombre del producto está en la etiqueta h1

Escribamos el selector h1 en la tabla de ajustes


A continuación, buscamos un selector por el precio del producto.

Escribe el selector así
div. main-price span. price-number span


A continuación, buscamos un selector para la descripción del producto.

Escribe el selector así
div[itemprop="descripción"]

Para enlaces a fotos, prescribimos dicho selector
div. imagen img::attr(src)

Comprobando el resultado

Etapa número 4. Obtención de atributos del producto.

Para obtener los atributos del producto, debe especificar un selector para un bloque de atributos (tabla) y un selector de cadena que contenga el nombre y el valor del atributo.

Procedimiento:

• En el campo "Selector No. 1", especifique el selector para el bloque de atributos
• En el campo "Selector No. 2", especifique el selector para el bloque que contiene el nombre y el valor del atributo (es decir, para la fila de la tabla de atributos)
• En el campo "Nombre del atributo", especifique el selector donde se encuentra el nombre del atributo
• En el campo "Valor de los atributos", especifique el selector donde se encuentra el valor del atributo

Ejemplo de configuración


Un ejemplo de personalización basado en el código fuente del sitio


El resultado de verificar la recepción de los atributos del producto (características, propiedades)


Si los atributos están en una página separada
Si los atributos están en una página separada, por ejemplo, al hacer clic en la pestaña "Características" se abre una nueva página, entonces hay dos soluciones, todas se reducen a obtener un enlace a la página donde están los atributos del producto, de modo que el programa puede pasar a través de él y obtener datos.

Opción número 1. El enlace está en el código fuente html.
El selector n. º 3 debe configurarse para el tipo de operación "Atributos del producto" para obtener un enlace (o parte de un enlace a una página de atributos).
Por ejemplo, al hacer clic en una pestaña del sitio, hay dicho código html, entonces el selector para obtener el enlace será: a. nav-tabs-link

Opción número 2. Se agrega un prefijo al enlace al producto, que no está explícitamente en el código fuente html.
Es necesario que el tipo de operación "Atributos del producto" registre el prefijo del enlace en el selector N° 4 para agregarlo al enlace del producto.
Por ejemplo, puede escribir: tab=características, luego el programa abrirá un enlace al producto + prefijo, por lo que el analizador irá a la página de atributos del producto. Lo que se prescribe exactamente en el prefijo se determina empíricamente después de un análisis exhaustivo del sitio.

Comenzar el análisis con la carga de un catálogo de productos desde un sitio de terceros.

La descarga de productos del sitio web de la tienda en línea se realizará en el siguiente orden:

1. Obtener enlaces a categorías de productos
2. Obtener enlaces a productos
3. Recibimos fichas de productos y guardamos la información necesaria

Para las pruebas de descarga, establezca la cantidad máxima de resultados para las etapas para verificar rápidamente el análisis de datos desde el sitio de la tienda en línea. En este ejemplo, se cargará un enlace a una categoría de producto con una lista de productos de la que se obtendrán tres enlaces de productos.


Cómo obtener opciones de productos
En el programa Elbuz, los productos de opciones son productos virtuales que están vinculados a un producto principal, mientras que en el sitio de origen se trata de una tarjeta de producto con un conjunto de opciones. Para obtener opciones, debe registrar un selector para obtener los nombres de las opciones, especificar un separador de coma y establecer la bandera "Opción de producto"

Al realizar la prueba, los valores se mostrarán separados por comas

Después de cargar productos del sitio, se crearán 1 producto principal y varios productos opcionales para cada valor especificado en el sitio.

Cómo raspar un sitio

Hay varios modos de análisis:

1. Especifique enlaces manualmente a las categorías o productos que necesita.
   Si necesita recibir productos solo de ciertas categorías, debe agregar enlaces a las categorías necesarias en la pestaña "Lista de enlaces". También es posible recibir información solo sobre los productos que necesita, para esto, especifique un enlace al producto y marque la bandera "Enlace al producto".
   
2. Cargue una lista de enlaces de un archivo que requieren información del sitio. El archivo debe estar en formato CSV (archivo de texto).
3. Cargue sus productos en el catálogo base y comience a buscar productos en el sitio según sus productos, el programa insertará el nombre de su producto en la barra de búsqueda del sitio y guardará el producto recibido en la base de datos del programa. En este modo, es importante que los nombres de sus productos sean idénticos a los nombres en el sitio o muy parecidos a ellos, porque la precisión de la búsqueda depende del algoritmo del sitio en sí, ya sea que pueda encontrar el producto que necesita o no. .

Para cargar una lista de enlaces desde un archivo, siga estos pasos


Búsqueda automatizada de sus productos en sitios web

1. Debe especificar un enlace a la búsqueda en la configuración. El enlace es individual para cada sitio. Para obtener un enlace, ingrese cualquier texto en la barra de búsqueda en el sitio, copie el enlace sin texto del navegador, un ejemplo de un enlace:
   https://site.com/?search_text={NOMBRE}
   
   En lugar de {NOMBRE}, el programa sustituirá su palabra clave y generará enlaces para buscar su producto en el sitio de origen. También puede especificar la macro sustitución {SKU} para que la búsqueda se realice por el valor del campo "Artículo del fabricante", en lugar del nombre.
2. Activa la opción "Busca tus productos"
   

Esta es solo una breve presentación de las capacidades del programa E-Trae Jumper, que automatiza los procesos de una tienda en línea moderna.
Contáctenos para una consulta detallada sobre cómo resolver sus problemas individuales. Los datos de contacto están en este sitio.

Programa para tienda online

Guardar un enlace a este articulo