This article details how you can train Luma periodically to improve the user's phrase matching accuracy with skills in the Tenant. Training Luma means training the PLN engine on how to better understand the user's language. The more phrases that are sent to the PLN engine, the better the match between skills and phrases, and even phrases that do not exist. This helps improve the user experience with Luma.

General description

A Luma ability is activated when the user's utterance matches user phrases associated with the ability. When generating the skill, developers and administrators can provide a list of user phrases with which the user can request the skill in different ways. When Luma does not find a skill that matches a statement above the configured reservation threshold, it is marked as “Unmatched Phrase”.

The mismatched phrases help developers and skill managers in two areas of continuous improvement:

• NLP engine training by adding user unmatched phrases to existing skills.

• Identification of user requests that the bot did not resolve so that they can be developed as skills later.

There are two ways to train Luma on these unmatched phrases:

1. Supervised training

2. Automated training

Supervised training

As part of supervised training, a tenant developer or administrator can identify and associate unmatched phrases to skills in Luma.

Phrases without coincidence

Go to the Unmatched Phrases tab on the Supervised Training page in Bot.

All unmatched phrases (phrases entered by users that do not match any skill based on PLN settings) are available in this tab. You can review and validate these phrases before training Luma to identify them.

The following information is available for each phrase in the list:

• Phrase - Displays the phrase the user entered that does not match any skills available in the system.

• Conversations - Shows the total conversations in which a specific user used the phrase without a match during conversations with Luma.

• Last Used Channel - Displays the name of the channel where the unmatched phrase was last used.

• Last Used On - Displays the details of the date and time the unmatched phrase was last entered.

• Last Used By - Displays the details of the user who used the unmatched phrase.

• Status - Displays the current status of the unmatched phrase.

  • Unresolved - The default state for unmatched phrases. This indicates that the phrase is pending review or waiting for the tenant manager or developer to assign a skill to it.

  • Reviewed - The status indicates that the phrase is reviewed, but a skill was not assigned or associated with it.

Para ver más detalles sobre la frase, la solicitud del usuario y su contexto, haga clic en el número de Conversations (Conversaciones) en el registro. Será redirigido a la página Conversation History (Historial de conversaciones) con los detalles de la conversación. Para obtener más información, consulte Historial de conversaciones.

Asignar una frase sin coincidencia a una habilidad

Después de revisar las frases de usuarios de la lista “Unmatched Phrases” (Frases sin coincidencia), si la frase del usuario está relacionada con alguna de las habilidades existentes, puede asignar la frase a una habilidad existente o crear una nueva habilidad para asociar la frase.

Para asignar una frase a las habilidades en Luma, haga lo siguiente:

1. Seleccione la frase de la lista y haga clic en Assign to Skill (Asignar a una habilidad).

   

2. Todas las habilidades existentes en Luma se enumerarán en la pantalla.

   

   1. La siguiente información para cada habilidad estará disponible en la pantalla:

      1. Name (Nombre): muestra el nombre de la habilidad existente.

      2. Identifier (Identificador): muestra el identificador de la habilidad que se utiliza internamente para identificar dicha habilidad.

      3. Last Updated On (Última actualización el): muestra la fecha y la hora en que la habilidad se actualizó por última vez.

      4. Suggested Skill (Habilidad sugerida): muestra si la habilidad está marcada como habilidad sugerida.

      5. Category (Categoría): muestra la categoría a la que pertenece la habilidad.

      6. Published Status (Estado de publicación): muestra el estado actual de Build and Publish (Generar y publicar) de la habilidad.

3. Assign to Skill (Asignar a una habilidad): si la frase seleccionada coincide con una habilidad existente, asocia la habilidad a una habilidad existente en Luma.

   1. Busque una habilidad específica usando el nombre o el identificador en el campo Search (Buscar) y pulse Enter

   2. Seleccione en la lista la habilidad requerida y haga clic en Assign to Skill (Asignar a una habilidad).

   3. El mensaje de éxito “Phrase Assigned to Skill” (Frase asignada a una habilidad) aparecerá en la pantalla.

      

      
      Nota: Si la frase ya existe en la habilidad seleccionada, aparecerá un mensaje de error y Luma no asociará la frase a la habilidad. En este caso, la frase seguirá apareciendo en la lista de frases sin coincidencia. Puede marcar la frase como Reviewed (Revisada). Consulte la sección Marcar como revisada a continuación para obtener más detalles.

4. Una vez que las frases se asocian a una habilidad, se eliminan de la lista de frases sin coincidencia.

Marcar como revisada

Un administrador puede marcar una frase sin coincidencia como Reviewed (Revisada) en las siguientes situaciones:

• La frase no coincide con ninguna habilidad existente.

• La solicitud del usuario no se puede cumplir en Luma o el administrador no desea crear una nueva habilidad para la solicitud.

• La habilidad de crear coincidencias ya se capacitó con la frase, es decir, la frase se agregó manualmente a la habilidad.

Para revisar una frase, haga lo siguiente:

1. Seleccione una o más frases de la lista.

2. Haga clic en Mark as Reviewed (Marcar como revisada).

3. El estado de la frase cambiará de Unsolved (Sin resolver) a Reviewed (Revisada).

Capacitación automatizada

También puede habilitar a Luma para que se capacite automáticamente en función a las frases que utiliza el usuario final para ejecutar una habilidad. Esto asegura que Luma asocie de forma automática una frase sin coincidencia a una habilidad existente sin necesidad de revisión ni intervención manual del administrador o el desarrollador. Esto reduce la cantidad de frases sin coincidencia en el sistema.

Cuando la capacitación automatizada está activada para su inquilino, una frase del usuario se asocia automáticamente a la habilidad si se cumplen las siguientes condiciones:

1. La puntuación de confianza de una frase del usuario con respecto a la habilidad está por debajo del umbral de confirmación establecido para su inquilino.

2. Ninguna otra habilidad se encuentra dentro del intervalo de proximidad establecido para su inquilino.

3. La respuesta del usuario a la solicitud de confirmación es Yes (Sí).

Por ejemplo:

Considere la siguiente configuración para su inquilino:

• El umbral de confirmación se establece en 0,75.

• El intervalo de proximidad es del 10 %.

• La capacitación automatizada está activada.

A user requests "password required" in Luma. A “password reset for Outlook” skill already exists in the system and the requested phrase calculates a confidence score of 0.70 for the skill. If no other skill is available within the proximity range (0.65 to 0.75) and the user confirms the skill to run, the phrase will be associated with the skill "password reset for Outlook" automatically.

See PLN Settings for more details on the settings.

To activate automated training, do the following:

1. Go to the Bot tab → Configurations → NLP Settings → Disambiguation.

2. Scroll down to Confirmation Settings.

3. Change Automate Training With User Responses and set it to Active.

4. Click Save to save the changes.