Skill LLM

introducción el skill llm (large language model) de asisteclick permite a los chatbots utilizar modelos avanzados de lenguaje como gpt de openai para generar respuestas contextuales, dinámicas y personalizadas este tutorial te guiará a través de todos los parámetros de configuración del skill llm, explicando cada opción disponible y cómo aprovecharlas al máximo para mejorar la experiencia de usuario en tu chatbot paso 1 configuración de la inteligencia artificial proveedor el proveedor seleccionado es openai , que ofrece acceso a los modelos gpt, como gpt 4o y gpt 4o mini estos modelos permiten generar respuestas basadas en el lenguaje natural token aquí debes ingresar el token de api de openai, que permite la conexión entre tu bot y el servicio de modelos gpt este token es privado y exclusivo para tu cuenta de openai modelo actualmente, puedes seleccionar entre dos versiones gpt 4 0 un modelo avanzado para generar respuestas más detalladas y contextualmente ricas gpt 4 0 mini una versión más ligera que equilibra precisión y velocidad, ideal cuando se necesita procesamiento rápido a un menor costo nota selecciona el modelo en función de las necesidades de tu chatbot gpt 4 0 es ideal para respuestas detalladas, mientras que gpt 4 0 mini es más eficiente en tareas de alta demanda secuencia de interpretación esta opción determina cómo el chatbot procesa los mensajes recibidos llm only el bot utiliza directamente el modelo gpt sin pasar por procesamiento previo de nlp nlp only solo se ejecutan interacciones basadas en procesamiento de lenguaje natural supervisado llm > nlp primero se intenta responder con gpt y si no se obtiene respuesta, se recurre a interacciones entrenadas mediante nlp nlp > llm (recomendado) primero se procesa la consulta con nlp, y si no se encuentra una interacción predefinida, el bot recurre al modelo llm para generar una respuesta recomendación utilizar la opción nlp > llm para optimizar la capacidad de respuesta, primero con interacciones entrenadas y luego con ia avanzada temperatura controla el nivel de creatividad en las respuestas el valor se ajusta entre 0 y 1 0 2 (temperatura baja) respuestas más conservadoras y predecibles 0 8 (temperatura alta) respuestas más creativas y variadas recomendación usar un valor de 0 2 es ideal para respuestas más estructuradas y consistentes tokens máximos determina el número máximo de tokens que el bot puede usar para generar una respuesta los tokens son fragmentos de texto 3000 tokens respuestas largas y detalladas, pero incrementa el costo y el tiempo de procesamiento nota el modelo gpt 4 0 tiene un límite de 128,000 tokens y gpt 3 5 turbo puede manejar hasta 16,000 tokens paso 2 contexto para las respuestas el contexto para las respuestas permite ajustar cómo el modelo gpt selecciona la información relevante para generar respuestas tipo de búsqueda contextual esta opción define cómo el bot selecciona el contexto más relevante mmr (maximal marginal relevance) selecciona información relevante y reduce la redundancia en las respuestas similarity busca las piezas de contexto más similares a la consulta del cliente multiquery genera múltiples preguntas semánticas relacionadas con la consulta para expandir el contexto de respuesta recomendación similarity suele ser la opción más utilizada y eficiente para obtener respuestas rápidas y precisas utilizar hyde hyde (hypothetical document embeddings) genera contextos hipotéticos cuando no hay suficiente información exacta en las bases de conocimiento no no usar hyde sí activar hyde para aumentar la capacidad del modelo de generar respuestas cuando la información es insuficiente recomendación activar hyde solo si se requiere responder consultas complejas basadas en poca información directa top k top k determina cuántas piezas de contexto se consideran para generar la respuesta un número más alto proporciona respuestas más precisas, pero aumenta el costo top k = 5 selecciona las 5 piezas de contexto más relevantes para generar la respuesta recomendación top k = 5 es un buen equilibrio entre precisión y costo reranking de contexto al activar el reranking , el sistema reorganiza las piezas de contexto antes de enviarlas al modelo gpt, mejorando la relevancia sí (activado) reorganiza las piezas de contexto más relevantes no (desactivado) envia las piezas de contexto en el orden en que se obtienen, sin reorganización recomendación mantener reranking activado para asegurar que se prioricen las piezas de contexto más relevantes pero también incrementa el tiempo de respuesta y el costo por inferencia define cuántas piezas de contexto deben ser reordenadas antes de enviarlas a gpt rerank top k = 25 el bot reorganizará 25 piezas de contexto y enviará las más relevantes al modelo recomendación un valor más alto para rerank top k puede mejorar la precisión, pero también incrementa el tiempo de procesamiento paso 3 personalización del bot mensaje del sistema este es el prompt principal que se envía al modelo gpt, y define el comportamiento y estilo del bot ejemplo sos bruno, el asistente virtual de asisteclick especializado en ventas tu objetivo es brindar información a potenciales clientes y lograr la conversación mediante el agendamiento de una reunión de demostración responde de manera acorde a esto, siempre utiliza algún que otro emoji para hacer la conversación más empática separa los parrafos con doble salto de linea podes descatar keywords o conceptos poniendo el texto a destacar entre asteriscos simples no hables en tercera persona; siempre en primera persona el cliente puede agendar una reunión para esto debe preguntarse primero por los siguientes datos de contacto (todos requeridos) nombre, email y empresa luego de tener los datos se puede confirmar la cita cuando tengas que dar un presupuesto primero asegurate de contar con toda la información necesaria de no tenerla hacele al cliente las preguntas necesarias antes de calcular el presupuesto es importante que cuando veas la oportunidad ofrezcas agendar una reunión de demostración de la plataforma esto es parte de tu objetivo comercial al proponer un agendamiento no solicites datos ya que en caso que el prospecto acepte agendar se disparará otro proceso distinto que se encarga del agendamiento en sí redacta la pregunta de manera original para cada caso según el estado de la conversación esta es la información que sabés sobre el prospecto nombre {{name}} (si el nombre no es lógico entonces descartalo) email {{email}} (si el email no es lógico entonces descartalo) pais {{system country}} nota el prompt también puede incluir variables entre llaves ({}) para personalizar aún más las respuestas ejemplo {nombre cliente}, {email} paso 4 asignación inteligente de memoria la memoria permite al bot almacenar información clave de las interacciones para utilizarlas en futuras respuestas esta información se asigna según condiciones predefinidas ejemplo de asignaciones de memoria \ si el cliente habla en ingles asigna el valor 1 a la variable "ingles" si el cliente habla en frances asigna el valor 1 a la variable "frances" guarda la clasificacion de la consulta en la variable "clasificacion" los posibles valores de clasificacion son "whatsapp", "planes", "gpt" si la clasificion no es ninguna de estas entonces no asignes ningun valor recomendación usa la asignación de memoria para recordar datos útiles que puedes utilizar posteriomente en la sección bot responde la interacciones, por ejemplo, para condicionar otras acciones paso 5 asignación inteligente de etiquetas las etiquetas permiten al bot categorizar consultas basadas en el contenido de la interacción ejemplos de asignación de etiquetas \ si el cliente pregunta por algun servicio de asisteclick o planes agrega la etiqueta "planes" \ si el cliente pregunta por whatsapp agrega la etiqueta "whatsapp" recomendación utiliza las etiquetas para mejorar la clasificación y análisis de las interacciones, lo que facilita el seguimiento de los temas tratados paso 6 memoria la memoria es una herramienta esencial que permite al chatbot recordar datos e interacciones previas del usuario para ofrecer respuestas más coherentes y personalizadas a lo largo de una conversación o en futuras interacciones la memoria es especialmente útil para mejorar la experiencia del usuario en diálogos prolongados o cuando se requiere mantener el contexto entre diferentes sesiones existen cuatro tipos de memoria que puedes configurar en el bot según tus necesidades sin memoria en esta opción, el chatbot no recuerda ninguna información de la conversación anterior cada interacción es tratada como una nueva consulta, y el bot no mantiene ningún registro del historial del cliente cuándo usarla ideal para escenarios donde cada interacción es independiente, y no es necesario recordar información entre consultas (ej preguntas generales sin seguimiento) ejemplo un cliente pregunta por el horario de atención y luego, en otra interacción, vuelve a preguntar por el mismo tema el bot no recordará la primera consulta y tratará la segunda como una interacción completamente nueva conversationbuffermemory este tipo de memoria guarda toda la conversación completa en forma de un historial cada vez que el cliente interactúa con el bot, este tiene acceso a todas las consultas y respuestas anteriores dentro de esa misma sesión sin embargo, la memoria se limpia cuando finaliza la sesión cuándo usarla es útil en conversaciones que requieren mantener el contexto dentro de una sesión, pero no es necesario recordar la información en interacciones futuras ejemplo si el cliente pregunta sobre los planes de servicios y luego solicita más detalles sobre un plan específico, el bot podrá referirse a la conversación anterior para dar una respuesta más precisa sin embargo, si el cliente vuelve a interactuar en una nueva sesión, el bot no recordará la conversación anterior conversationwindowbuffermemory similar a conversationbuffermemory , pero en este caso, el bot solo recuerda las últimas n interacciones, en lugar de toda la conversación esto limita la cantidad de datos que el bot almacena, lo que puede ser útil para optimizar el procesamiento y la respuesta cuándo usarla es ideal cuando solo es necesario recordar la parte más reciente de la conversación, sin almacenar todo el historial esto es útil en diálogos más largos donde solo el contexto más cercano es relevante para las siguientes respuestas ejemplo si el cliente ha interactuado varias veces, pero solo las últimas 3 preguntas son relevantes para la respuesta actual, el bot solo recordará esas 3 interacciones todo lo demás que ocurrió antes en la conversación no se tomará en cuenta conversationsummarybuffermemory este tipo de memoria resume la conversación en lugar de almacenarla completa a medida que la interacción progresa, el bot genera un resumen de los puntos más importantes, descartando los detalles innecesarios esto permite al bot recordar el contexto relevante sin saturarse de información cuándo usarla útil en conversaciones muy largas o en aquellas donde los detalles previos son importantes, pero no es necesario recordar cada mensaje específico ideal para mantener un contexto general de la conversación ejemplo si el cliente ha tenido una conversación prolongada sobre varios temas (planes de servicios, precios, soporte técnico), el bot mantendrá un resumen de los puntos principales (el plan de interés, el problema principal, etc ), descartando interacciones menos importantes como saludos o preguntas repetitivas paso 7 uso de bases de conocimiento las bases de conocimiento permiten al bot obtener información directamente de documentos, catálogos u otras fuentes para generar respuestas precisas esto reduce el tiempo de configuración, ya que el bot no necesita ser entrenado en cada dominio, sino que extrae la información relevante directamente de las bases si activas esta opción, el sistema buscará en las bases seleccionadas y determinará cuál es la más relevante para la consulta del cliente antes de extraer los fragmentos de contexto recomendación activa la selección inteligente para mejorar la eficiencia del bot cuando trabajas con múltiples bases de conocimiento conclusión el skill llm de asisteclick te permite crear chatbots avanzados utilizando la tecnología gpt de openai con las herramientas de personalización como memoria , etiquetas , búsqueda contextual y bases de conocimiento , puedes diseñar un chatbot que ofrezca respuestas rápidas, precisas y personalizadas ajusta los parámetros como la temperatura , tokens máximos , y las opciones de reranking para optimizar el rendimiento del bot según las necesidades de tu negocio aprovecha estas configuraciones para maximizar la experiencia de usuario y mejorar la interacción con los clientes