multimodal berry, mmberry

libreria per applicazioni vocali, tool per applicazioni vocali, sdk multimodale, multimodal sdk

Salta il menu

semplice e naturale:

usa la tua voce

Applicazioni vocali voicexml e applicazioni multimodali

La multimodalità estende le potenzialità delle applicazioni tradizionali.

Richiedi qualsiasi informazione, ascoltala e visualizzala sul tuo telefono.
Dialoga con un qualsiasi gestionale compilando form e spostandoti tra i menu.
Parla con il navigatore per richiedere informazioni sul percorso e sui servizi.
Controlla attraverso la voce la tua casa.

Architettura

Schema architettura berry. Clicca per ingrandire

Come funziona

MMBerry consiste in una serie di dll e un header file (.h).
Le dll contengono l`implementazione di tutta la logica delle tecnologie vocali utilizzate e del VuiManager.

L`header file mette a disposizione del programmatore l`interfaccia per l`interazione con il VuiManager.

La struttura della libreria è stata pensata apposta per poter nascondere all`utilizzatore finale tutti i dettagli relativi all`implementazione.
L`header file, infatti, presenta solo tipi di dati standard e non fa nessun riferimento ad oggetti di basso livello.

Grazie a MMBerry è possibile scrivere applicazioni multimodali nei linguaggi C++, Java e .NET.
Esiste infatti un`implementazione completa di MMBerry per Java e una per l`ambiente .NET.

Approfondisci MMBerry (PDF - 138 Kb)

MultiModalBerry

MMBerry è un framework con il quale è possibile sviluppare applicazioni multimodali rapidamente e senza dover conoscere i dettagli a basso livello delle tecnologie sottostanti.

MMBerry permette di sviluppare applicazioni multimodali indipendenti dai motori di riconoscimento e di sintesi.

Con MMBerry è possibile trasformare un`applicazione classica in un`applicazione multimodale scrivendo poche righe di codice.

Stuttura

MMBerry è composto da:

  • una libreria Core strutturata nelle seguenti parti:
    • Voice Command Gateway: per scrivere applicazioni multimodali in C++, comprensivo di funzionalità di sintesi e riconoscimento vocale;
    • generazione file di log;
    • cattura eventi TTS ed ASR;
  • Interfaccia JNI per scrivere applicazioni Java con MMBerry in modalità nativa.
  • Interfaccia .NET per scrivere applicazioni con qualunque linguaggio del framework.
  • VAD (Voice Activity Detection) per ottimizzare l`utilizzo del motore ASR in modalità continua senza pesare sul riconoscitore stesso.
  • Audio Dump che permette la registrazione del buffer audio che viene inviato al ASR particolarmente indicato per le operazione di debugging e tuning dell`applicazione.
  • Logging avanzato che permette di evidenziare ogni singolo evento all`interno della libreria e soprattutto avere il controllo degli eventi di riconoscimento (grammatica caricata, utterance, riconosciuto, confidence etc..).

A corredo delle librerie inoltre vi sono attualmente i seguenti tool:

  • Editor di grammatiche per il riconoscimento vocale.
  • Tool per l`analisi dei log che permette di analizzare in real-time e nel dettaglio i log generati da una applicazione MMBerry.