Skill LLM
El Skill LLM (Large Language Model) de AsisteClick permite a los chatbots utilizar modelos avanzados de lenguaje como GPT de OpenAI para generar respuestas contextuales, dinámicas y personalizadas. Este tutorial te guiará a través de todos los parámetros de configuración del Skill LLM, explicando cada opción disponible y cómo aprovecharlas al máximo para mejorar la experiencia de usuario en tu chatbot.
El proveedor seleccionado es OpenAI, que ofrece acceso a los modelos GPT, como GPT-4o y GPT-4o-mini. Estos modelos permiten generar respuestas basadas en el lenguaje natural.
Aquí debes ingresar el Token de API de OpenAI, que permite la conexión entre tu bot y el servicio de modelos GPT. Este token es privado y exclusivo para tu cuenta de OpenAI.
Actualmente, puedes seleccionar entre dos versiones:
- GPT 4.0: Un modelo avanzado para generar respuestas más detalladas y contextualmente ricas.
- GPT 4.0 Mini: Una versión más ligera que equilibra precisión y velocidad, ideal cuando se necesita procesamiento rápido a un menor costo.
Nota: Selecciona el modelo en función de las necesidades de tu chatbot. GPT 4.0 es ideal para respuestas detalladas, mientras que GPT 4.0 Mini es más eficiente en tareas de alta demanda.
Esta opción determina cómo el chatbot procesa los mensajes recibidos:
- LLM Only: El bot utiliza directamente el modelo GPT sin pasar por procesamiento previo de NLP.
- NLP Only: Solo se ejecutan interacciones basadas en procesamiento de lenguaje natural supervisado.
- LLM > NLP: Primero se intenta responder con GPT y si no se obtiene respuesta, se recurre a interacciones entrenadas mediante NLP.
- NLP > LLM (Recomendado): Primero se procesa la consulta con NLP, y si no se encuentra una interacción predefinida, el bot recurre al modelo LLM para generar una respuesta.
Recomendación: Utilizar la opción NLP > LLM para optimizar la capacidad de respuesta, primero con interacciones entrenadas y luego con IA avanzada.
Controla el nivel de creatividad en las respuestas. El valor se ajusta entre 0 y 1:
- 0.2 (Temperatura baja): Respuestas más conservadoras y predecibles.
- 0.8 (Temperatura alta): Respuestas más creativas y variadas.
Recomendación: Usar un valor de 0.2 es ideal para respuestas más estructuradas y consistentes.
Determina el número máximo de tokens que el bot puede usar para generar una respuesta. Los tokens son fragmentos de texto:
- 3000 tokens: Respuestas largas y detalladas, pero incrementa el costo y el tiempo de procesamiento.
Nota: El modelo GPT-4.0 tiene un límite de 128,000 tokens y GPT-3.5 Turbo puede manejar hasta 16,000 tokens.
El contexto para las respuestas permite ajustar cómo el modelo GPT selecciona la información relevante para generar respuestas.
Esta opción define cómo el bot selecciona el contexto más relevante:
- MMR (Maximal Marginal Relevance): Selecciona información relevante y reduce la redundancia en las respuestas.
- Similarity: Busca las piezas de contexto más similares a la consulta del cliente.
- MultiQuery: Genera múltiples preguntas semánticas relacionadas con la consulta para expandir el contexto de respuesta.
Recomendación: Similarity suele ser la opción más utilizada y eficiente para obtener respuestas rápidas y precisas.
HyDE (Hypothetical Document Embeddings) genera contextos hipotéticos cuando no hay suficiente información exacta en las bases de conocimiento.
- No: No usar HyDE.
- Sí: Activar HyDE para aumentar la capacidad del modelo de generar respuestas cuando la información es insuficiente.
Recomendación: Activar HyDE solo si se requiere responder consultas complejas basadas en poca información directa.
Top k determina cuántas piezas de contexto se consideran para generar la respuesta. Un número más alto proporciona respuestas más precisas, pero aumenta el costo.
- Top k = 5: Selecciona las 5 piezas de contexto más relevantes para generar la respuesta.
Recomendación: Top k = 5 es un buen equilibrio entre precisión y costo.
Al activar el reranking, el sistema reorganiza las piezas de contexto antes de enviarlas al modelo GPT, mejorando la relevancia:
- Sí (Activado): Reorganiza las piezas de contexto más relevantes.
- No (Desactivado): Envia las piezas de contexto en el orden en que se obtienen, sin reorganización.
Recomendación: Mantener reranking activado para asegurar que se prioricen las piezas de contexto más relevantes pero también incrementa el tiempo de respuesta y el costo por inferencia.
Define cuántas piezas de contexto deben ser reordenadas antes de enviarlas a GPT:
- Rerank Top k = 25: El bot reorganizará 25 piezas de contexto y enviará las más relevantes al modelo.
Recomendación: Un valor más alto para rerank Top k puede mejorar la precisión, pero también incrementa el tiempo de procesamiento.
Este es el prompt principal que se envía al modelo GPT, y define el comportamiento y estilo del bot.
Ejemplo:
Sos Bruno, el asistente virtual de AsisteClick especializado en ventas. Tu objetivo es brindar información a potenciales clientes y lograr la conversación mediante el agendamiento de una reunión de demostración. Responde de manera acorde a esto, siempre utiliza algún que otro emoji para hacer la conversación más empática. Separa los parrafos con doble salto de linea. podes descatar keywords o conceptos poniendo el texto a destacar entre asteriscos simples. No hables en tercera persona; siempre en primera persona. El cliente puede agendar una reunión. Para esto debe preguntarse primero por los siguientes datos de contacto (todos requeridos): Nombre, email y empresa. Luego de tener los datos se puede confirmar la cita. Cuando tengas que dar un presupuesto primero asegurate de contar con toda la información necesaria. De no tenerla hacele al cliente las preguntas necesarias ANTES de calcular el presupuesto. Es importante que cuando veas la oportunidad ofrezcas agendar una reunión de demostración de la plataforma. Esto es parte de tu objetivo comercial. Al proponer un agendamiento no solicites datos ya que en caso que el prospecto acepte agendar se disparará otro proceso distinto que se encarga del agendamiento en sí. Redacta la pregunta de manera original para cada caso según el estado de la conversación. Esta es la información que sabés sobre el prospecto: - Nombre: {{name}} (si el nombre no es lógico entonces descartalo) - eMail: {{email}} (si el email no es lógico entonces descartalo) - Pais: {{system.country}}
Nota: El prompt también puede incluir variables entre llaves ({}) para personalizar aún más las respuestas. Ejemplo: {nombre_cliente}, {email}.
La memoria permite al bot almacenar información clave de las interacciones para utilizarlas en futuras respuestas. Esta información se asigna según condiciones predefinidas.
Ejemplo de asignaciones de memoria:
- si el cliente habla en ingles asigna el valor 1 a la variable "ingles" - si el cliente habla en frances asigna el valor 1 a la variable "frances" - guarda la clasificacion de la consulta en la variable "clasificacion". los posibles valores de clasificacion son "whatsapp", "planes", "gpt". si la clasificion no es ninguna de estas entonces no asignes ningun valor.
Recomendación: Usa la asignación de memoria para recordar datos útiles que puedes utilizar posteriomente en la sección Bot Responde la interacciones, por ejemplo, para condicionar otras acciones.
Las etiquetas permiten al bot categorizar consultas basadas en el contenido de la interacción.
Ejemplos de asignación de etiquetas:
- si el cliente pregunta por algun servicio de asisteclick o planes agrega la etiqueta "planes".
- si el cliente pregunta por whatsapp agrega la etiqueta "whatsapp".
Recomendación: Utiliza las etiquetas para mejorar la clasificación y análisis de las interacciones, lo que facilita el seguimiento de los temas tratados.
La memoria es una herramienta esencial que permite al chatbot recordar datos e interacciones previas del usuario para ofrecer respuestas más coherentes y personalizadas a lo largo de una conversación o en futuras interacciones. La memoria es especialmente útil para mejorar la experiencia del usuario en diálogos prolongados o cuando se requiere mantener el contexto entre diferentes sesiones.
Existen cuatro tipos de memoria que puedes configurar en el bot según tus necesidades:
En esta opción, el chatbot no recuerda ninguna información de la conversación anterior. Cada interacción es tratada como una nueva consulta, y el bot no mantiene ningún registro del historial del cliente.
Cuándo usarla: Ideal para escenarios donde cada interacción es independiente, y no es necesario recordar información entre consultas (ej. preguntas generales sin seguimiento).
Ejemplo: Un cliente pregunta por el horario de atención y luego, en otra interacción, vuelve a preguntar por el mismo tema. El bot no recordará la primera consulta y tratará la segunda como una interacción completamente nueva.
Este tipo de memoria guarda toda la conversación completa en forma de un historial. Cada vez que el cliente interactúa con el bot, este tiene acceso a todas las consultas y respuestas anteriores dentro de esa misma sesión. Sin embargo, la memoria se limpia cuando finaliza la sesión.
Cuándo usarla: Es útil en conversaciones que requieren mantener el contexto dentro de una sesión, pero no es necesario recordar la información en interacciones futuras.
Ejemplo: Si el cliente pregunta sobre los planes de servicios y luego solicita más detalles sobre un plan específico, el bot podrá referirse a la conversación anterior para dar una respuesta más precisa. Sin embargo, si el cliente vuelve a interactuar en una nueva sesión, el bot no recordará la conversación anterior.
Similar a ConversationBufferMemory, pero en este caso, el bot solo recuerda las últimas n interacciones, en lugar de toda la conversación. Esto limita la cantidad de datos que el bot almacena, lo que puede ser útil para optimizar el procesamiento y la respuesta.
Cuándo usarla: Es ideal cuando solo es necesario recordar la parte más reciente de la conversación, sin almacenar todo el historial. Esto es útil en diálogos más largos donde solo el contexto más cercano es relevante para las siguientes respuestas.
Ejemplo: Si el cliente ha interactuado varias veces, pero solo las últimas 3 preguntas son relevantes para la respuesta actual, el bot solo recordará esas 3 interacciones. Todo lo demás que ocurrió antes en la conversación no se tomará en cuenta.
Este tipo de memoria resume la conversación en lugar de almacenarla completa. A medida que la interacción progresa, el bot genera un resumen de los puntos más importantes, descartando los detalles innecesarios. Esto permite al bot recordar el contexto relevante sin saturarse de información.
Cuándo usarla: Útil en conversaciones muy largas o en aquellas donde los detalles previos son importantes, pero no es necesario recordar cada mensaje específico. Ideal para mantener un contexto general de la conversación.
Ejemplo: Si el cliente ha tenido una conversación prolongada sobre varios temas (planes de servicios, precios, soporte técnico), el bot mantendrá un resumen de los puntos principales (el plan de interés, el problema principal, etc.), descartando interacciones menos importantes como saludos o preguntas repetitivas.
Las bases de conocimiento permiten al bot obtener información directamente de documentos, catálogos u otras fuentes para generar respuestas precisas. Esto reduce el tiempo de configuración, ya que el bot no necesita ser entrenado en cada dominio, sino que extrae la información relevante directamente de las bases.
Si activas esta opción, el sistema buscará en las bases seleccionadas y determinará cuál es la más relevante para la consulta del cliente antes de extraer los fragmentos de contexto.
Recomendación: Activa la selección inteligente para mejorar la eficiencia del bot cuando trabajas con múltiples bases de conocimiento.
El Skill LLM de AsisteClick te permite crear chatbots avanzados utilizando la tecnología GPT de OpenAI. Con las herramientas de personalización como memoria, etiquetas, búsqueda contextual y bases de conocimiento, puedes diseñar un chatbot que ofrezca respuestas rápidas, precisas y personalizadas. Ajusta los parámetros como la temperatura, tokens máximos, y las opciones de reranking para optimizar el rendimiento del bot según las necesidades de tu negocio.
Aprovecha estas configuraciones para maximizar la experiencia de usuario y mejorar la interacción con los clientes.
