No se conforme con "suficientemente bueno" en la incrustación

Un sistema de búsqueda puede devolver un resultado que parezca relevante y aun así fallarle al usuario. Ése es el problema de las incrustaciones “suficientemente buenas”. Un modelo puede colocar oraciones relacionadas unas cerca de otras, pero perder el significado que importa. Puede tratar "cancelar una suscripción" y "pausar una suscripción" como casi la misma solicitud. Puede coincidir con el nombre de un producto ignorando el objetivo real del usuario. He visto que esto sucede en la búsqueda de soporte, catálogos de productos y asistentes de documentos. El sistema devuelve algo relacionado con la consulta, pero no algo útil. Luego, los usuarios repiten la pregunta, cambian la redacción o dejan de confiar en la experiencia de búsqueda. Las mejores incorporaciones comienzan con un mejor proceso. ## Comprenda qué debe preservar la incrustación. Una incrustación convierte el texto en una representación numérica. Los significados similares deberían estar muy juntos en el espacio vectorial. Eso suena simple hasta que el texto contiene detalles como: - Modelos de producto - Números de versión - Roles de usuario - Fechas - Condiciones legales - Negación - Instrucciones paso a paso - Términos similares con resultados diferentes Considere estas dos oraciones: - "Puede pausar su plan por hasta tres meses". - “Puedes cancelar tu plan dentro de los tres meses”. Las palabras se superponen, pero las acciones difieren. Una incrustación débil puede acercarlos demasiado. Un sistema útil debe preservar la diferencia entre pausar y cancelar. No juzgo una incrustación por lo naturales que parecen sus vectores. Lo juzgo por si ayuda a completar la tarea de búsqueda. ## Comience con preguntas de usuarios reales. Los datos de referencia genéricos pueden ayudar a comparar modelos, pero no muestran cómo buscan sus usuarios. Prefiero recopilar consultas reales de: - Registros de búsqueda - Tickets de soporte - Conversaciones de chat - Preguntas de ventas - Solicitudes de conocimiento interno - Búsquedas fallidas - Consultas que llevaron a visitas repetidas a la página Elimine la información personal y agrupe las preguntas por intención. Un grupo puede incluir preguntas sobre reembolsos, acceso a cuentas, cambios de envío o configuración técnica. Luego crea un pequeño conjunto de referencia. Para cada consulta, registre los documentos que deberían aparecer cerca de la parte superior. No necesitas una gran colección para encontrar problemas tempranos. Un conjunto específico de 100 a 300 consultas puede revelar problemas con la redacción, el tamaño de los fragmentos, los metadatos y la clasificación. Un registro de prueba útil puede verse así: Consulta de texto: ¿Puedo pausar mi plan anual después del primer pago? Pasaje relevante: Los planes anuales se pueden pausar después del primer ciclo de facturación. La pausa dura hasta tres meses. Pasaje relacionado pero incorrecto: Los planes anuales se pueden cancelar dentro de los tres meses posteriores a la compra. Este ejemplo prueba más que la similitud de temas. Pone a prueba la acción, el momento y los detalles de la política. ## Mejore el texto antes de cambiar el modelo Muchos problemas de incrustación comienzan con un texto de entrada deficiente. Un documento puede contener un encabezado, un párrafo, una tabla y una nota al pie. Si el proceso de extracción mezcla estas secciones, la incrustación recibe un bloque de contenido confuso. Normalmente reviso cuatro áreas: ### 1. Preservar los encabezados Un párrafo sobre reembolsos significa más cuando se incluye su encabezado. En lugar de incrustar: texto Las solicitudes deben realizarse dentro de los 14 días posteriores a la entrega. use: text Devoluciones: límite de tiempo Las solicitudes de devolución deben realizarse dentro de los 14 días posteriores a la entrega. El contexto agregado le da al vector una señal más clara. ### 2. Mantenga unido el contenido relacionado. Un fragmento que termina a la mitad de una condición puede perder el significado de la siguiente oración. Bad split: text Los clientes podrán solicitar un reembolso si el dispositivo tiene un defecto de fabricación. Los reembolsos no están disponibles cuando Better split: text Los clientes pueden solicitar un reembolso si el dispositivo tiene un defecto de fabricación. Los reembolsos no están disponibles cuando los daños resultan de un mal uso. Los límites de los fragmentos deben seguir el significado en lugar de un recuento fijo de caracteres únicamente. ### 3. Evite fragmentos de gran tamaño Los fragmentos grandes pueden contener varios temas. Entonces, el vector representa una mezcla amplia en lugar de una respuesta clara. Una guía del producto podría analizar la instalación, el mantenimiento, la cobertura de la garantía y la solución de problemas en una sola sección. Una consulta sobre la cobertura de la garantía puede recuperar la sección completa, pero el pasaje útil se vuelve más difícil de identificar. Los fragmentos más pequeños a menudo ayudan a la recuperación, pero los fragmentos muy pequeños pueden eliminar el contexto. Pruebo varios tamaños e inspecciono los resultados en lugar de elegir un número por costumbre. ### 4. Mantenga intactos los identificadores clave. Los nombres de modelos, códigos de error, nombres de planes y términos técnicos no deben dividirse en fragmentos. Por ejemplo, dividir el “Error PX-204 durante la verificación de la cuenta” en fragmentos separados puede debilitar tanto la búsqueda de palabras clave como la búsqueda semántica. Un fragmento debe conservar el identificador con la explicación que le da significado. ## Recuperación separada de la clasificación final. Las incrustaciones son buenas para encontrar candidatos. No es necesario que tomen solos todas las decisiones de clasificación. Un flujo de búsqueda práctico puede utilizar: 1. Recuperación densa de significado 2. Recuperación de palabras clave para nombres, códigos y frases exactas 3. Filtros de metadatos para producto, idioma, fecha o nivel de acceso 4. Un reordenador para el pedido final Supongamos que un usuario busca "Error de inicio de sesión PX-204". Un modelo semántico puede recuperar documentos sobre errores de verificación de cuentas que utilizan códigos diferentes. La coincidencia de palabras clave puede proteger el código exacto. Los dos métodos de búsqueda pueden funcionar juntos. A menudo veo mejores resultados cuando el sistema combina señales semánticas y léxicas en lugar de solicitar un método para manejar cada consulta. Lo mismo se aplica a los metadatos. Una consulta sobre la aplicación móvil no debería devolver una guía de escritorio antigua sólo porque la redacción es similar. Los filtros pueden reducir este tipo de ruido antes de la etapa de clasificación final. ## Pruebe ejemplos concretos, no sólo coincidencias fáciles. Las consultas sencillas hacen que casi cualquier sistema de integración parezca saludable. Las consultas difíciles muestran dónde se rompe. Cree casos de prueba que incluyan: - Sinónimos - Errores tipográficos - Consultas cortas - Preguntas largas - Redacción negativa - Productos similares - Políticas similares - Múltiples idiomas - Acrónimos - Números de versión - Consultas sin contexto Para cada consulta, verifique si el pasaje correcto aparece en los resultados principales. Puede realizar un seguimiento de medidas como Recall@K y MRR, pero la revisión humana sigue siendo importante. Un resultado puede contar como relacionado sin responder a la necesidad del usuario. También reviso los falsos positivos. Un resultado incorrecto que parece muy similar suele ser más útil que un error aleatorio porque muestra lo que el modelo confunde. Ejemplo: Consulta de texto: ¿Cómo transfiero la propiedad sin perder el historial de facturación? Coincidencia incorrecta: ¿Cómo transfiero archivos a otra cuenta? Coincidencia útil: las transferencias de propiedad de la cuenta preservan el historial de facturación cuando las completa un administrador.Ambos pasajes mencionan transferencias y cuentas. Sólo uno aborda la intención completa del usuario. ## Esté atento a los cambios después de la implementación. La calidad de la incrustación puede cambiar a medida que cambia el contenido. Los nombres de productos nuevos pueden parecerse a los antiguos. Las actualizaciones de políticas pueden entrar en conflicto con las páginas archivadas. El idioma del cliente puede cambiar después del lanzamiento de una función. Un sistema de búsqueda que funcionó bien el último trimestre puede producir malos resultados después de una gran importación de documentos. Recomiendo mantener un pequeño conjunto de evaluaciones como parte de cada actualización de contenido o modelo. Compare los nuevos resultados con la versión anterior. Preste atención a: - Consultas que perdieron el resultado correcto - Nuevas coincidencias falsas - Cambios en el orden de los resultados principales - Tasas de resultados vacíos - Búsquedas repetidas - Clics seguidos de devoluciones rápidas - Preguntas de soporte técnico que la búsqueda no pudo resolver Los comentarios de los usuarios pueden revelar problemas que las pruebas fuera de línea pasan por alto. Si las personas abren repetidamente un resultado y luego buscan nuevamente, el resultado puede estar relacionado pero no ser suficiente. ## No ignore el modelo de incrustación La preparación del texto y el diseño de clasificación son importantes, pero el modelo aún afecta el rendimiento. Al comparar modelos, utilice lo mismo: - Documentos - Reglas de fragmentación - Conjunto de consultas - Filtros - Configuración de índice - Proceso de clasificación Un modelo puede parecer sólido en una prueba pública y funcionar mal en el idioma de su dominio. Un modelo más pequeño puede funcionar bien para artículos de soporte claros, mientras que un modelo especializado puede ayudar con términos técnicos o contenido multilingüe. El coste y la rapidez también entran en la decisión. Un modelo que ofrece una recuperación ligeramente mejor pero crea un retraso inaceptable puede no adaptarse al producto. La elección correcta depende de la experiencia completa del usuario, no de una puntuación. ## Almacene suficiente información para depurar. Una base de datos vectorial no debe ser una caja negra. Para cada fragmento, mantenga campos útiles como: - Documento fuente - Ruta del encabezado - Producto o tipo de contenido - Idioma - Fecha de publicación - Reglas de acceso - Posición del fragmento - Versión fuente Cuando un resultado parece incorrecto, estos campos ayudan a explicar la causa. Es posible que descubras que el vector estaba bien, pero el documento estaba desactualizado. Es posible que descubra que un filtro eliminó el mejor pasaje. Es posible que vea que dos fragmentos provienen de versiones diferentes de la misma guía. La depuración se vuelve mucho más fácil cuando el sistema puede mostrar cómo se creó un resultado. ## Trate "suficientemente bueno" como un resultado de prueba, no como un objetivo. No es necesario que una integración sea perfecta para respaldar un producto útil. Es necesario que coincida con la tarea, el contenido y el idioma del usuario. Me centro en tres preguntas: - ¿Aparece el significado correcto cerca de la consulta? - ¿Puede el sistema de clasificación colocar el mejor pasaje en un nivel suficientemente alto? - ¿Puede el usuario completar la tarea sin repetir la búsqueda? Si la respuesta a cualquiera de estas preguntas es no, es posible que cambiar el modelo de integración no resuelva el problema. La causa puede ser una fragmentación débil, falta de contexto, filtros deficientes, contenido desactualizado o falta de compatibilidad con coincidencias exactas. Una buena recuperación proviene del sistema completo. La incrustación es una parte de ese sistema, y ​​su valor se mide por las respuestas que los usuarios pueden encontrar, no por cuán aceptable parece la búsqueda vectorial de forma aislada.

Muchos equipos esperan que las incorporaciones comprendan su contenido tan pronto como conectan un modelo a una base de datos vectorial. La primera búsqueda suele parecer prometedora. Entonces aparecen pequeños problemas: un cliente solicita un reembolso, pero el sistema recupera un artículo entregado. Un desarrollador busca "tiempo de espera de inicio de sesión", mientras el sistema devuelve documentos sobre restablecimiento de contraseña. El nombre de un producto tiene varias versiones, por lo que un texto similar apunta al artículo incorrecto. He descubierto que la calidad de la incrustación depende de algo más que el modelo. Los buenos resultados se obtienen con texto claro, fragmentos adecuados, metadatos útiles y pruebas periódicas. ## Empiezo con el problema de búsqueda. Empiezo escribiendo lo que el usuario quiere encontrar. Es posible que un equipo de soporte necesite responder preguntas como: - "¿Puedo devolver un artículo dañado?" - "¿Cuánto tiempo tarda el envío estándar?" - "¿Por qué se rechazó mi pago?" - “¿Puedo cambiar la dirección de entrega?” Estas preguntas parecen relacionadas porque todas mencionan pedidos o pagos. Sus respuestas pueden vivir en diferentes documentos. El sistema de búsqueda debe comprender la intención del usuario, no sólo coincidir con palabras compartidas. Recopilo consultas de búsqueda reales de tickets de soporte, registros de sitios web y equipos internos. Un pequeño conjunto de preguntas reales puede revelar más que un gran conjunto de ejemplos inventados. ## Limpiar el contenido antes de crear incrustaciones. Un texto fuente deficiente puede limitar la calidad de cualquier modelo de incrustación. Elimino menús de navegación repetidos, HTML roto, texto de seguimiento y páginas duplicadas. Mantengo información que ayuda al usuario a comprender el tema: - Nombres de productos - Condiciones de servicio - Fechas - Ubicaciones - Requisitos del usuario - Excepciones - Instrucciones paso a paso También aclaro los términos clave. Una página que dice "el plan estándar" puede resultar confusa si se almacena sin el encabezado que identifica el plan. Prefiero un pasaje completo como: "Plan estándar: los clientes pueden cancelar dentro de los 30 días posteriores a la compra". Esa frase tiene más significado que "Los clientes pueden cancelar dentro de los 30 días". ## Elija un tamaño de fragmento que se ajuste al contenido. Un fragmento demasiado corto puede perder el contexto. Un fragmento demasiado largo puede contener varios temas no relacionados. Para un manual de producto, puedo usar una sección con su encabezado y pasos de apoyo. Para una política legal o página de precios, puedo mantener una regla completa con sus condiciones y excepciones. Un fragmento útil suele contener: - Un título claro - Una idea principal - Los detalles necesarios para comprender esa idea - Una pequeña cantidad de contexto cercano Evito dividir una oración en fragmentos. También mantengo juntos los artículos relacionados. Una regla de devolución sin límite de tiempo puede crear una respuesta que suene correcta pero que omita una condición clave. No existe un tamaño de fragmento único que se adapte a todos los proyectos. Pruebo varias opciones con las mismas preguntas de búsqueda y comparo los resultados. ## Mantenga los metadatos al lado del texto. La incrustación representa el significado del texto. Los metadatos agregan filtros y contexto empresarial. Para cada fragmento, puedo almacenar: - Título del documento - Nombre del producto o servicio - Idioma - Región - Tipo de cliente - Fecha de publicación - Nivel de acceso - URL de origen - Número de versión Una búsqueda de "cancelación de plan móvil" puede necesitar un filtro de país. Una búsqueda de "límite de API más reciente" puede necesitar un filtro de versión. Sin metadatos, contenido semánticamente similar de la región o versión incorrecta puede ingresar a los resultados. Trato los metadatos como parte del diseño de recuperación, no como una ocurrencia tardía. ## Haga coincidir el modelo con el contenido Un modelo de incrustación entrenado para texto general puede funcionar bien para preguntas comunes. Un sistema de búsqueda técnica puede necesitar un manejo más estricto de códigos de productos, términos de software o consultas breves. Pruebo el modelo con el idioma, el estilo del documento y la longitud de la consulta utilizados por mis clientes. Un modelo puede funcionar bien con contenido de soporte en inglés, pero comportarse de manera diferente con documentos en varios idiomas, abreviaturas o términos de la industria. No elijo un modelo de un solo ejemplo. Creo un conjunto de prueba con: - Búsquedas comunes - Búsquedas cortas - Preguntas detalladas - Errores ortográficos - Nombres de productos - Diferentes idiomas, cuando sea necesario - Consultas con fechas o números de versión El conjunto de prueba me brinda una forma estable de comparar modelos y configuraciones. ## Utilice la búsqueda híbrida cuando los términos exactos sean importantes. Las incrustaciones son útiles para la búsqueda basada en el significado. Es posible que no manejen bien todos los términos exactos. Un usuario puede buscar: - “ERR_CONN_RESET” - “SKU-48391” - “v2.4.7” - “Código de reembolso AC-19” Un sistema de palabras clave puede encontrar estas cadenas exactas de manera más confiable. A menudo combino la búsqueda de vectores con la búsqueda de palabras clave y luego clasifico los resultados utilizando ambas señales. Este enfoque ayuda cuando una consulta contiene una combinación de lenguaje natural e identificadores precisos. La capa semántica puede conectar "¿Por qué falló mi pago?" con una guía de solución de problemas de pago. La capa de palabras clave puede ubicar un código de error específico dentro de esa guía. ## Agregar un paso de reclasificación La búsqueda de vectores puede devolver varios pasajes generalmente relacionados. Un reclasificador puede revisar los pasajes de la consulta y del candidato juntos y luego colocar los elementos más relevantes en un lugar más alto. Utilizo este paso cuando la base de datos contiene muchos documentos similares, como: - Múltiples versiones de instrucciones del producto - Bases de conocimiento grandes - Varios planes con nombres similares - Artículos de soporte que comparten textos comunes La reclasificación no corrige el contenido fuente deficiente. Funciona mejor cuando la búsqueda inicial arroja un grupo útil de candidatos. ## Mida la recuperación con preguntas reales Un sistema de búsqueda no debe juzgarse únicamente por si el resultado "se ve bien". Utilizo una pequeña mesa de evaluación. Para cada consulta, registro: - El documento o pasaje esperado - Si aparece en los primeros resultados - Su posición - Si el pasaje contiene suficiente contexto - Si el resultado pertenece al producto o región correctos Supongamos que pruebo 100 preguntas de soporte. Si el pasaje correcto aparece en los primeros cinco resultados de 82 preguntas, tengo una base útil. El número por sí solo no explica todos los problemas, por lo que reviso las búsquedas fallidas por tipo. Un equipo minorista puede descubrir que la mayoría de las fallas provienen de páginas de productos obsoletas. Otro equipo puede encontrar que los fragmentos separan las reglas de envío de sus excepciones. La solución depende del patrón de falla. ## Esté atento a las palabras que cambian de significado. Pequeñas diferencias en las palabras pueden afectar la recuperación: - “Reembolso después de la cancelación” - “Cancelación después del reembolso” - “Reembolso no disponible después del envío” - “Reembolso disponible solo antes del envío” Estas frases comparten muchas palabras pero describen reglas diferentes. Mantengo condiciones cercanas a las declaraciones que modifican. También conservo los títulos, las etiquetas y el contexto de la tabla cuando tienen significado. Las mesas necesitan cuidados. Una fila con "Plan Básico | 5 usuarios | $20" puede perder su significado cuando se extrae como fragmentos separados. Lo convierto en texto legible antes de crear la incrustación. ## Conecte las incrustaciones para generar respuestas con cuidado. La recuperación y la generación de respuestas son tareas separadas. Un resultado de recuperación sólido no garantiza una respuesta correcta. El modelo de lenguaje aún puede combinar pasajes de diferentes versiones o llenar vacíos con detalles no respaldados. Paso información fuente a la capa de respuesta y le pido que permanezca dentro del contenido recuperado. También muestro citas o enlaces a fuentes cuando el caso de uso requiere revisión. Es posible que los agentes de soporte, los equipos de cumplimiento y los usuarios técnicos deban verificar el pasaje original antes de responder. Cuando el sistema carece de suficiente información, una solicitud clara de más detalles es más segura que una suposición segura. ## Revisar el sistema después de cambios de contenido. Una base de conocimientos cambia con el tiempo. Los nuevos precios, versiones de productos, políticas y artículos de ayuda pueden afectar la recuperación. Realizo un seguimiento de la versión fuente y la fecha de incorporación de cada registro. Cuando un documento cambia, actualizo los fragmentos relacionados en lugar de dejar las versiones antiguas y nuevas mezcladas sin etiquetas. Reviso el rendimiento de la búsqueda después de: - Un lanzamiento importante de un producto - Una actualización de política - Se agrega un nuevo idioma - Las preguntas de los clientes cambian - La interfaz de búsqueda se rediseña Los comentarios de los usuarios ayudan aquí. Una acción “no útil”, una consulta reformulada o la corrección de un agente de soporte pueden revelar un sinónimo faltante o un pasaje poco claro. ## Un flujo de trabajo práctico Utilizo esta secuencia para muchos proyectos de incrustación: 1. Reúna búsquedas de usuarios reales. 2. Defina qué se considera un resultado útil. 3. Limpiar y organizar el contenido fuente. 4. Pruebe los tamaños de los fragmentos con títulos y contexto. 5. Agregue metadatos para filtros y versiones. 6. Compare los modelos de empotramiento adecuados. 7. Combine la búsqueda semántica y de palabras clave cuando los términos exactos sean importantes. 8. Agregue reclasificación cuando muchos resultados parezcan similares. 9. Pruebe con un conjunto de consultas etiquetadas. 10. Revisar fallas y actualizar el contenido fuente. La lección más útil es simple: las incorporaciones no pueden reemplazar una arquitectura de información clara. Si el contenido fuente está duplicado, incompleto o falta su contexto, la experiencia de búsqueda reflejará esos problemas. Trato las incrustaciones como parte de un sistema de recuperación más amplio. Los pruebo con preguntas reales, mantengo un contexto importante dentro de cada fragmento y conecto cada resultado con el producto, la versión y la audiencia correctos. Ese proceso le da al sistema una mejor oportunidad de comprender lo que quieren decir los usuarios en lugar de hacer coincidir palabras sin comprender la solicitud.

Cuando los resultados de la búsqueda parecen irrelevantes, es posible que el problema no sea el cuadro de búsqueda. Puede ser la forma en que el sistema entiende el lenguaje. Una búsqueda de palabras clave busca palabras coincidentes. Una búsqueda basada en incrustaciones analiza el significado. Esta diferencia es importante cuando los usuarios escriben preguntas de diferentes maneras, utilizan términos de la industria o describen un problema sin nombrar la página exacta que necesitan. He visto equipos dedicar tiempo a ajustar los filtros de búsqueda mientras el verdadero problema reside en el proceso de preparación de datos. Fragmentos de texto débiles, contexto faltante y pruebas deficientes pueden hacer que incluso un modelo de búsqueda sólido arroje resultados confusos. ## Cómo las incrustaciones mejoran la búsqueda Una incrustación convierte el texto en un grupo de números que representa su significado. Los textos con significado similar tienden a aparecer más juntos en el espacio de incrustación. Por ejemplo: - "¿Cómo puedo restablecer la contraseña de mi cuenta?" - “No puedo iniciar sesión porque olvidé mi contraseña”. Estas oraciones usan palabras diferentes, pero describen una necesidad similar. Un sistema de búsqueda semántica puede conectarlos de manera más efectiva que una búsqueda básica por palabra clave. El mismo enfoque puede ayudar con: - Documentación de productos - Portales de atención al cliente - Bases de conocimiento internas - Descubrimiento de productos de comercio electrónico - Búsqueda de documentos legales o técnicos - Sistemas de respuesta a preguntas Una incrustación no comprende el contenido de la misma manera que una persona. Crea una representación matemática que ayuda al sistema a comparar texto. La calidad del resultado depende del modelo, el contenido fuente y la configuración de búsqueda. ## Comience con contenido de fuente limpia. Una mejor búsqueda comienza antes de que se utilice el modelo de incrustación. Reviso los documentos fuente en busca de: - Menús de navegación repetidos - Instrucciones desactualizadas - Formato roto - Nombres de productos faltantes - Páginas duplicadas - Encabezados poco claros - Contenido que combina varios temas no relacionados Un artículo de soporte que contiene cinco problemas diferentes puede crear una incrustación débil. El sistema puede tener dificultades para decidir qué parte coincide con la pregunta del usuario. Una estructura más clara ayuda: Título: Cambiar el correo electrónico de facturación Propósito: Actualizar el correo electrónico utilizado para facturas y avisos de cuenta Pasos: Abra la configuración de la cuenta, seleccione facturación, edite el correo electrónico y guarde Límites: Solo los administradores de cuentas pueden realizar este cambio Este formato le brinda al sistema de búsqueda un contexto más útil que una página llena de oraciones cortas e inconexas. ## Utilice tamaños de fragmentos prácticos Los documentos grandes a menudo necesitan dividirse en secciones más pequeñas antes de incrustarlos. Este proceso se conoce como fragmentación. Un fragmento demasiado grande puede contener varios temas. Una porción demasiado pequeña puede perder el contexto necesario para comprender la respuesta. Por lo general, mantengo junta la información relacionada: - Un encabezado con el párrafo debajo - Una pregunta con su respuesta - Un procedimiento con sus condiciones - Una característica del producto con sus límites - Un problema de solución de problemas con su resolución Por ejemplo, este fragmento puede funcionar bien: > Para exportar un informe mensual, abra Informes, elija el mes, seleccione CSV y haga clic en Exportar. Los usuarios con acceso de visor pueden ver el informe pero no pueden exportarlo. Los detalles del permiso deben permanecer con las instrucciones de exportación. Separar esas líneas podría conducir a una respuesta que explique los pasos pero omita la regla de acceso. No existe un tamaño de fragmento único que se adapte a todos los proyectos. Pruebo varias opciones con consultas reales y comparo los resultados. ## Mantenga metadatos útiles. Es posible que el texto por sí solo no proporcione suficiente información. Los metadatos ayudan al sistema de búsqueda a filtrar y clasificar el contenido. Los campos útiles pueden incluir: - Área de producto - Idioma - Tipo de documento - Plan del cliente - Fecha de publicación - Región - Función del usuario - Nivel de acceso - Estado del contenido Imagine que una empresa tiene guías de configuración independientes para los planes básico y empresarial. Un usuario puede recibir instrucciones incorrectas cuando el sistema de búsqueda solo compara el texto. Un filtro de metadatos puede reducir ese riesgo al hacer coincidir el tipo de cuenta del usuario con el conjunto de documentos correcto. El control de acceso merece un manejo cuidadoso. Un documento no debería aparecer en los resultados de búsqueda sólo porque su redacción coincide con una consulta. Los permisos de búsqueda deben seguir las mismas reglas que la aplicación principal. ## Combinar búsqueda semántica y de palabras clave Las incrustaciones son útiles, pero no reemplazan la búsqueda de palabras clave en todas las situaciones. La concordancia de palabras clave puede ser útil cuando los usuarios buscan: - Códigos de error - Números de modelo - Nombres de productos - ID de boletos - Nombres de archivos - Términos técnicos exactos La búsqueda semántica funciona bien con preguntas naturales y textos relacionados. Una búsqueda híbrida combina ambos métodos. Por ejemplo, un usuario puede buscar: > Error E104 después de instalar el controlador AX-220. El código de error y el número de modelo deben coincidir. La frase "después de la instalación" añade un significado que la búsqueda semántica puede ayudar a interpretar. Un sistema de clasificación práctico puede dar peso a: - Concordancias exactas de palabras clave - Similitud semántica - Actualización del documento - Metadatos del producto o plan - Permisos de usuario - Señales de interacción pasadas El equilibrio adecuado depende del objetivo de búsqueda. Un portal de soporte puede valorar identificadores técnicos. Una página de descubrimiento de productos puede dar más peso al significado y las preferencias del usuario. ## Mida la calidad de la búsqueda con preguntas reales Un sistema de búsqueda puede parecer impresionante en una pequeña demostración y aun así funcionar mal para los usuarios diarios. Construyo un conjunto de pruebas a partir del comportamiento de búsqueda real. Puede incluir: - Preguntas comunes - Términos mal escritos - Consultas cortas - Descripciones largas - Códigos de producto - Preguntas sin contexto - Consultas que no deberían arrojar ningún resultado Cada consulta recibe un juicio, como por ejemplo: - Relevante - Parcialmente relevante - No relevante - Ningún resultado útil Un pequeño equipo de soporte puede revisar los tres o cinco resultados principales de cada consulta. Esto crea un punto de referencia práctico sin requerir un gran equipo de investigación. Considere un ejemplo de atención al cliente. Una empresa de software observa que los usuarios buscan “descarga de facturas”, pero los resultados conducen a páginas de facturación generales. Después de revisar los datos, el equipo descubre que el útil artículo utiliza la frase "estado de cuenta de exportación". El equipo mejora el encabezado de la página, mantiene los detalles de permiso de la cuenta cerca de los pasos, agrega metadatos para facturación y prueba tanto la búsqueda semántica como de palabras clave. Los resultados de la búsqueda se vuelven más útiles porque el contenido y el método de recuperación ahora satisfacen las mismas necesidades del usuario. La mejora debe medirse con datos como: - Clics en resultados relevantes - Tasa de reformulación de búsqueda - Tasa de falta de resultados - Tiempo antes de abrir una página útil - Solicitudes de soporte después de la búsqueda - Comentarios de los usuarios Una tasa de falta de resultados más baja es útil, pero no prueba que todas las respuestas sean correctas. La relevancia aún necesita revisión. ## Esté atento a los problemas de incrustación comunes. Algunos problemas aparecen con frecuencia durante la implementación. Contenido desactualizado Un artículo antiguo puede tener una buena clasificación porque contiene las palabras correctas. Agregue el estado de publicación y actualice las fechas, luego revise las páginas de alto tráfico. Contenido duplicado Varias copias de la misma guía pueden dividir los clics de los usuarios y crear respuestas inconsistentes. Mantenga una versión principal siempre que sea posible. Falta contexto Un fragmento que dice "Haga clic en Guardar" puede no tener sentido sin el nombre de la página o la tarea. Agregue suficiente información circundante. Idiomas mixtos Un sistema de búsqueda multilingüe puede necesitar incrustaciones que tengan en cuenta el idioma, índices separados o metadatos de idioma. Consultas de prueba de cada idioma admitido. Información confidencial Los sistemas integrados pueden exponer contenido privado si las reglas de acceso son débiles. Aplique permisos antes de devolver resultados, no después de que un usuario abra un documento. Comportamiento de falla poco claro Algunas consultas no tienen una buena respuesta en la base de conocimientos. El sistema debería poder decir que no se encontró ninguna coincidencia confiable en lugar de presentar una página vagamente relacionada como respuesta. ## Haga que los comentarios de búsqueda formen parte del mantenimiento La calidad de la búsqueda cambia a medida que cambian los productos, las políticas y el idioma del usuario. Reviso: - Consultas sin clics - Consultas con reformulación repetida - Páginas que reciben muchas visitas pero poca satisfacción - Términos de nuevos productos - Temas de soporte que generan tickets frecuentes - Documentos con una participación cada vez menor Los comentarios de los usuarios pueden revelar una brecha que las métricas no muestran. Un usuario puede encontrar una página, leerla y aun así contactar al soporte porque faltaba una condición clave. Una opción de retroalimentación simple puede preguntar: > ¿Te ayudó este resultado? La respuesta no explica todos los problemas, pero le da al equipo una señal útil cuando se combina con registros de consultas y revisiones de contenido. ## Un flujo de trabajo práctico Utilizo un proceso de trabajo claro: 1. Recopile consultas de búsqueda reales. 2. Limpiar y organizar los documentos fuente. 3. Agregue títulos, contexto y metadatos. 4. Pruebe varios enfoques de fragmentación. 5. Cree incrustaciones para contenido aprobado. 6. Configure la recuperación semántica y de palabras clave. 7. Aplicar permisos y filtros de metadatos. 8. Revise los resultados con preguntas de usuarios reales. 9. Realice un seguimiento de la relevancia, las consultas sin resultados y las reformulaciones. 10. Actualiza el contenido y repite la prueba. Este trabajo no se trata solo de seleccionar un modelo de incrustación. Un modelo más pequeño combinado con contenido limpio y una evaluación cuidadosa puede ser más útil para los usuarios que un modelo más grande conectado con datos mal estructurados. Mejores incorporaciones pueden respaldar resultados más inteligentes, pero el sistema completo es importante. El contenido de origen claro, los fragmentos adecuados, los metadatos útiles, la recuperación híbrida y las pruebas periódicas brindan a los usuarios un mejor camino desde la pregunta hasta la respuesta.

Muchos equipos mejoran su chatbot, herramienta de búsqueda o sistema de recomendaciones cambiando el mensaje. El verdadero problema suele aparecer en una fase anterior del proceso: el texto se ha convertido en incrustaciones débiles. Cuando una incrustación no logra capturar el significado, el contenido relacionado permanece muy alejado en el espacio vectorial. Un usuario pregunta: "¿Puedo devolver un dispositivo abierto?" El sistema recupera una página sobre productos sin abrir porque ambas páginas mencionan "devoluciones" y "dispositivos". La respuesta puede parecer fluida, pero se basa en la fuente equivocada. Veo este patrón a menudo. Una mejor calidad de integración comienza con datos más limpios, modelos adecuados y un proceso de prueba que refleje las preguntas reales de los usuarios. ### Comience con el contenido, no con el modelo. Un modelo de incrustación sólido no puede reparar texto poco claro o ruidoso. Reviso el material fuente antes de cambiar la configuración técnica. Elimino menús de navegación repetidos, HTML roto, páginas duplicadas, versiones antiguas de políticas y texto al que le falta contexto. Una frase como “Esta tarifa se aplica después de 30 días” es difícil de usar cuando el documento nunca dice lo que significa “esta tarifa”. También conservo una estructura útil: - Nombres de productos - Etiquetas de funciones - Encabezados de secciones - Fechas de póliza - Nombres de planes de clientes - Información de región o idioma - Versión del documento Un documento limpio le da al modelo de incrustación suficiente contexto para representar el significado de cada pasaje. ### Mejorar la fragmentación antes de aumentar el tamaño del vector La fragmentación controla cuánto significado tiene cada vector. Un fragmento demasiado corto puede perder el sujeto de la oración. Un fragmento demasiado largo puede contener varios temas no relacionados. Ambos casos pueden reducir la calidad de la recuperación. Normalmente pruebo varios tamaños de trozos en lugar de elegir uno por costumbre. Para una base de conocimientos de apoyo, un pasaje de 150 a 400 palabras puede funcionar bien como punto de partida. Los manuales técnicos pueden necesitar secciones más grandes porque un procedimiento depende de definiciones anteriores. Las prácticas útiles de fragmentación incluyen: - Mantener el título con el cuerpo del texto - Evitar cortar un proceso paso a paso en el medio - Mantener los nombres de los productos dentro de cada fragmento relacionado - Usar una pequeña superposición cuando el contexto continúa en las secciones - Almacenar el título del documento y la ruta de la sección con cada fragmento Un fragmento debe responder a una pregunta clara o respaldar una tarea clara. Esto facilita tanto la recuperación como la revisión. ### Haga coincidir el modelo con el idioma y la tarea. Los modelos de incrustación difieren en la cobertura del idioma, los límites de entrada, el comportamiento de búsqueda y los datos de entrenamiento. Un modelo que funciona bien para páginas de productos en inglés puede funcionar de manera menos confiable en contenido de soporte en varios idiomas. Comparo modelos con las preguntas que realmente hacen mis usuarios. No me baso únicamente en una puntuación de referencia general. Para un conjunto de pruebas básico, recopilo: - Preguntas naturales de los mensajes de los clientes - Búsquedas cortas de palabras clave - Preguntas largas y detalladas - Preguntas con errores ortográficos - Preguntas que utilizan apodos de productos - Preguntas que requieren filtrado por fecha o región - Preguntas similares con diferentes respuestas Cada pregunta necesita un pasaje relevante y confiable. Esto me permite comparar los resultados de la recuperación en lugar de juzgar el resultado por el sentimiento. Las medidas útiles incluyen recuperación@k, precisión@k y rango recíproco medio. Si el pasaje correcto aparece entre los cinco primeros resultados, recordar@5 registra ese éxito. Si pasajes no relacionados llenan la lista de resultados, la precisión muestra el problema. ### Agregar significado a los metadatos Un vector representa contenido semántico. Es posible que no represente completamente las reglas comerciales. Supongamos que dos documentos explican la misma característica. Uno se aplica a los clientes de Canadá y el otro se aplica a los clientes del Reino Unido. Su texto puede ser muy similar. Los metadatos pueden separarlos. Adjunto campos como: - País - Idioma - Producto - Plan del cliente - Fecha de publicación - Estado del documento - Nivel de acceso - Tipo de contenido El sistema de búsqueda puede utilizar estos campos como filtros antes o después de la recuperación de vectores. Esto reduce la posibilidad de que un usuario reciba una respuesta del producto o período de póliza incorrecto. ### Combine la búsqueda semántica con la búsqueda de palabras clave. Las incrustaciones manejan bien el significado. Las palabras exactas siguen siendo importantes. Un usuario puede buscar un número de modelo, un código de error, un ID de factura o un término legal. Un sistema de palabras clave puede hacer coincidir esas cadenas exactas de manera más confiable que un sistema de búsqueda vectorial. Para muchos sistemas empresariales, utilizo un enfoque híbrido: 1. Ejecutar una búsqueda vectorial para detectar similitudes semánticas. 2. Ejecute una búsqueda de palabras clave para obtener coincidencias exactas. 3. Fusionar los resultados con un método de clasificación. 4. Aplique filtros por producto, idioma, fecha o acceso. 5. Utilice un reclasificador cuando el conjunto de resultados necesite una comparación más detallada. Esta configuración le da al sistema de búsqueda dos señales: qué quiere decir el usuario y qué palabras utilizó. ### Pruebe consultas difíciles a propósito. Las preguntas fáciles pueden hacer que un sistema débil parezca saludable. Construyo un conjunto de pruebas que incluye los casos con mayor probabilidad de causar fallas: - Dos documentos con redacción similar - Versiones antiguas y nuevas de la misma política - Nombres de productos con ortografía similar - Preguntas a las que les faltan detalles - Preguntas que usan lenguaje informal - Preguntas que combinan dos temas - Preguntas donde no existe una respuesta relevante Un sistema no debe forzar una coincidencia cuando la fuente no contiene una respuesta confiable. Prefiero una respuesta clara de "No pude encontrar apoyo para esa solicitud" a una respuesta segura basada en un pasaje no relacionado. ### Revisar registros de búsqueda reales Las pruebas sin conexión dan estructura. El comportamiento del usuario muestra lo que el conjunto de prueba omitió. Reviso búsquedas que produjeron: - Sin clics - Reformulaciones repetidas - Largo tiempo de lectura - Respuestas con calificaciones bajas - Escalamientos al soporte humano - Resultados del área de producto incorrecta Un equipo de soporte con el que trabajé descubrió que los clientes buscaban "cancelar suscripción", mientras que el centro de ayuda usaba "terminar plan de servicio". El modelo de integración no fue el único problema. El contenido utilizaba un lenguaje interno que los clientes rara vez utilizaban. Agregar términos de clientes al contenido y los metadatos mejoró la conexión entre las preguntas y las páginas de origen. ### Actualice en pasos pequeños y medidos Cambiar el modelo, el tamaño del fragmento, los filtros y el método de clasificación al mismo tiempo hace que el resultado sea difícil de explicar. Cambio un factor importante por prueba: - Limpio el contenido fuente - Ajuste los límites de los fragmentos - Compara dos modelos de incrustación - Agrego filtros de metadatos - Agrego búsqueda híbrida - Pruebo un reclasificador - Reviso los casos de falla Registro la consulta, la fuente esperada, los resultados recuperados y la versión del sistema. Una simple hoja de cálculo puede ayudar en la etapa inicial. Los sistemas más grandes pueden necesitar un proceso de evaluación. El objetivo no es perseguir una puntuación sin contexto. El objetivo es ayudar a los usuarios a encontrar la información correcta con menos reintentos y menos revisiones manuales. Una mejor calidad de incrustación se logra mediante controles constantes. El texto fuente limpio le da al modelo un significado más claro. Los fragmentos adecuados preservan el contexto. Los metadatos protegen las reglas comerciales. La recuperación híbrida admite tanto preguntas naturales como términos exactos. Un conjunto de pruebas enfocado muestra dónde aún falla el sistema. Cuando los resultados de la búsqueda no parecen confiables, no empiezo reescribiendo el mensaje. Inspecciono la ruta de datos desde el documento fuente hasta el pasaje recuperado. Ahí es donde comienzan muchas mejoras en la calidad. Contamos con amplia experiencia en el campo industrial. Contáctenos para obtener asesoramiento profesional:Hu Haifeng: 928464224@qq.com/WhatsApp +8613855932323.

1. Reimers Nils y Gurevych Iryna 2019 Incrustaciones de oraciones Sentence-BERT utilizando redes BERT siamesas 2. Karpukhin Vladimir Oguz Barlas et al 2020 Recuperación de pasajes densos para respuesta de preguntas de dominio abierto 3. Gao Luyu Ma Xueguang Lin Jimmy Callan Jamie 2021 COIL Revisit Exact Lexical Match in Information Recuperation with Listas invertidas contextualizadas 4. Khattab Omar y Zaharia Matei 2020 ColBERT Búsqueda de pasajes eficiente y efectiva mediante interacción tardía contextualizada sobre BERT 5. Thakur Nandan Reimers Nils Daxenberger Johannes Gurevych Iryna 2021 Método de aumento de datos SBERT aumentado para mejorar los modelos de incrustación de oraciones bicodificadoras 6. Formal Thibault Piwowarski Benjamin Clinchant Stéphane 2021 SPLADE Modelo de expansión y léxico disperso para la clasificación de la primera etapa