Catégorie

Agence

New : Summary on OpenAI’s Realtime API and Voice Activity Detection (VAD) with Supported Audio Formats

Par Agence, Technique

Summary on OpenAI’s Realtime API and Voice Activity Detection (VAD) with Supported Audio Formats

The OpenAI Realtime API is a powerful tool for real-time interactions, offering advanced features such as Voice Activity Detection (VAD), interruption handling, and immediate voice or text responses. This tool is ideal for applications like voice-based chatbots, live audio transcription, and interactive conversational agents. This article explores how the API works, the supported audio formats, and the key role VAD plays in enhancing user-model interactions.

1. How OpenAI’s Realtime API Works

Key Features of the Realtime API:

  1. Persistent WebSocket Connection: The API uses WebSockets to maintain an ongoing connection, allowing continuous data exchanges (audio and text) without the overhead of HTTP requests, ensuring real-time interactions with minimal latency.
  2. Streaming Audio and Text:
    • Audio Streaming: You can send audio segments in PCM16 (uncompressed) or G.711 format via the WebSocket connection.
    • Receiving Responses: The API streams back either text or generated audio in real time, providing dynamic responses as the model generates them.
  3. Turn-Taking Management:
    • The API can automatically detect when a speaker has finished talking and knows when the model should respond.
    • Turn-taking can be automatic via Voice Activity Detection (VAD) or controlled manually using specific commands to activate/deactivate the response generation.
  4. Interruptions:
    • The model can be interrupted while generating a response. If the user speaks again, the model stops generating its response and listens to the new input, ensuring a smooth and interactive conversation.
  5. Response Personalization: The model can be configured with specific instructions to adjust its behavior or responses, such as altering the voice or integrating external tools (e.g., retrieving weather data).

Supported Models:

  • GPT-4 turbo realtime: Used for real-time text generation, optimized for fast responses in conversational contexts.
  • Whisper: An audio transcription model that converts audio inputs into text quickly and accurately, used for real-time speech transcription.

2. Supported Audio Formats in Realtime API

The Realtime API supports several audio formats optimized to minimize latency and maximize the quality of voice exchanges. These formats are designed for real-time streaming:

  1. PCM 16-bit, 24 kHz, 1 channel, little-endian:
    • An uncompressed audio format (PCM) used for high-fidelity data streaming.
    • Specifications:
      • 16 bits per sample.
      • 24 kHz (24,000 samples per second).
      • Mono (1 channel).
      • Little-endian: Byte order for data.
  2. G.711 at 8 kHz (u-law and a-law):
    • A compressed format commonly used in telephony.
    • Specifications:
      • 8 kHz (8,000 samples per second).
      • Uses u-law or a-law compression.
    • This format is lighter and better suited for environments with limited bandwidth, such as VoIP.

Note: OpenAI is working on adding support for more audio formats to expand the use cases of this API.

3. How Voice Activity Detection (VAD) Works

Voice Activity Detection (VAD) is a crucial component for real-time voice interactions. It:

  • Automatically detects when a user speaks.
  • Ignores periods of silence or background noise, capturing only relevant audio.
  • Optimizes efficiency by only sending meaningful audio data to the API.

VAD Functional Steps:

  1. Audio Signal Analysis: VAD analyzes the audio in real time, detecting voice activity based on sound energy and other acoustic features.
  2. Conditional Audio Capture: When VAD detects speech, it triggers the capture and sending of relevant audio segments to the API. If no speech is detected, VAD remains on standby.
  3. Resource Optimization: By filtering out silences and noise, VAD reduces the amount of data sent to the API, saving bandwidth and processing resources.
  4. Turn-Taking Improvement: VAD enables smooth turn-taking management during a conversation, allowing the model to respond only after detecting that the user has finished speaking.

4. Steps to Use the Realtime API with VAD

Functional Steps:

  1. Create an OpenAI Account and Obtain an API Key: Visit the OpenAI platform to generate an API key with Realtime API access.
  2. Establish a WebSocket Connection:
    • Set up a persistent WebSocket connection with the API to exchange real-time data.
  3. Set up and Use VAD:
    • On the client side, implement a Voice Activity Detection (VAD) system to capture and send audio only when speech is detected.
  4. Send Audio Segments (in PCM16 or G.711):
    • When VAD detects speech, the audio is segmented and sent to the API for transcription or response generation.
  5. Handle Interruptions and Turn-Taking:
    • The API can detect when the user stops speaking (via VAD) and generate a response. In case of interruption (the user speaks during a response), the API stops its response generation to listen to the user again.
  6. Receive Text and/or Audio Responses:
    • The API returns responses in both text and/or audio, allowing for a fluid and rapid interaction.

5. Features Provided by the Realtime API

OpenAI’s Realtime API offers a robust set of features for interactive applications:

  • Audio Streaming (PCM16, G.711): Audio formats optimized for real-time voice interactions.
  • Persistent WebSocket Connection: Continuous exchanges with minimal latency.
  • Voice Activity Detection (VAD): Captures only relevant audio, ensuring efficient interactions.
  • Real-Time Interruptions: Allows users to interrupt the model when necessary.
  • Real-Time Transcription and Text/Audio Generation: Uses Whisper for transcription and GPT-4 turbo for real-time responses.

Conclusion

The OpenAI Realtime API, combined with Voice Activity Detection (VAD) and support for audio formats such as PCM16 and G.711, provides a complete solution for managing interactive voice conversations in real time. Developers can leverage advanced features such as interruption management, automatic turn-taking, and resource optimization to create engaging and efficient voice-based user experiences.


Conclusion

L’API Realtime d’OpenAI combinée avec la détection d’activité vocale (VAD) et le support des formats audio tels que PCM16 et G.711, permet de créer des systèmes de conversation vocale interactifs et fluides. Les développeurs peuvent intégrer des fonctionnalités avancées comme la gestion des interruptions, les tours de parole automatiques, et l’optimisation des ressources pour créer des expériences vocales engageantes et efficaces.

Un projet IA à cadrer ?

VeoNum développe vos projets au forfait, en mode accéléré par l’IA : le périmètre et le prix sont fixés avant de démarrer. Premier pas : un atelier de cadrage de 2 heures, sans engagement. Nous cadrons avec vous les données, les intégrations et le périmètre, et vous repartez avec une fourchette de budget argumentée.

Patrick Leprince
patrick.leprince@veonum.com — 07 67 70 66 53

À lire aussi : Combien coûte une application métier avec IA ? Ce qui fait vraiment varier la note

Nouveauté : Synthèse sur l’API Realtime d’OpenAI et la Détection d’Activité Vocale (VAD)

Par Agence, News, Technique

Synthèse sur l’API Realtime d’OpenAI et la Détection d’Activité Vocale (VAD) avec Support des Formats Audio

L’API Realtime d’OpenAI est une solution puissante pour les interactions en temps réel, offrant des capacités avancées comme la détection d’activité vocale (VAD), la gestion des interruptions, et des réponses vocales ou textuelles immédiates. Cet outil est idéal pour des applications telles que les chatbots vocaux, la transcription audio en direct, et les assistants conversationnels interactifs. Dans cet article, nous allons explorer le fonctionnement de l’API, les formats audio supportés, ainsi que le rôle essentiel du VAD dans l’amélioration des interactions utilisateur-modèle.

1. Fonctionnement de l’API Realtime d’OpenAI

Principales fonctionnalités de l’API Realtime :

  1. Connexion WebSocket persistante : L’API repose sur une connexion WebSocket pour permettre des échanges continus de données (audio et texte) sans l’overhead des requêtes HTTP. Cela assure des interactions en temps réel, avec une latence minimale.
  2. Streaming d’audio et de texte :
    • Envoi de flux audio : Vous pouvez envoyer des segments audio en format PCM16 (non compressé) ou G.711 via la connexion WebSocket.
    • Réception de réponses : L’API renvoie des réponses soit sous forme de texte, soit d’audio généré, tout en streaming, offrant ainsi des réponses dynamiques à mesure que le modèle génère les informations.
  3. Gestion des tours de parole (Turn-Taking) :
    • Permet de détecter automatiquement les moments où un interlocuteur arrête de parler et où le modèle doit répondre.
    • Cette gestion peut être automatique via la détection d’activité vocale (VAD), ou manuelle en utilisant des commandes spécifiques pour activer/désactiver la génération de réponse.
  4. Interruptions :
    • Le modèle peut être interrompu pendant qu’il génère une réponse. Si l’utilisateur parle à nouveau, le modèle s’arrête pour écouter l’utilisateur, assurant ainsi une conversation fluide et interactive.
  5. Personnalisation des réponses : Le modèle peut être configuré avec des instructions spécifiques pour modifier son comportement ou ses réponses, comme ajuster la voix ou intégrer des outils externes (par exemple, récupération de données météorologiques).

Modèles supportés :

  • GPT-4 turbo realtime : Utilisé pour la génération de texte en temps réel, optimisé pour des réponses rapides dans un contexte conversationnel.
  • Whisper : Modèle de transcription audio qui convertit les entrées audio en texte de manière rapide et précise, utilisé pour transcrire des conversations en temps réel.

2. Formats Audio Supportés par l’API Realtime

L’API Realtime prend en charge plusieurs formats audio optimisés pour minimiser la latence et maximiser la qualité des échanges vocaux. Ces formats sont adaptés aux flux en temps réel :

  1. PCM 16-bit, 24 kHz, 1 canal, little-endian :
    • Format d’audio non compressé (PCM) utilisé pour des données haute fidélité en streaming.
    • Spécifications :
      • 16 bits par échantillon.
      • 24 kHz (24 000 échantillons par seconde).
      • Mono (1 canal).
      • Little-endian : Ordre des octets des données.
  2. G.711 à 8 kHz (u-law et a-law) :
    • Format compressé souvent utilisé pour la téléphonie.
    • Spécifications :
      • 8 kHz (8 000 échantillons par seconde).
      • Utilise une compression u-law ou a-law.
    • Ce format est plus léger et plus adapté pour des environnements où la bande passante est limitée (comme dans le cadre de la voix sur IP).

Note : OpenAI continue de travailler pour ajouter plus de formats audio à cette API afin de prendre en charge d’autres cas d’utilisation.

3. Fonctionnement de la Détection d’Activité Vocale (VAD)

La Voice Activity Detection (VAD) est une composante essentielle pour les interactions vocales en temps réel. Elle permet de :

  • Détecter automatiquement les moments où un utilisateur parle.
  • Ignorer les périodes de silence ou de bruit de fond, ne capturant que les parties pertinentes de l’audio.
  • Optimiser l’efficacité en n’envoyant que l’audio pertinent à l’API.

Étapes Fonctionnelles du VAD :

  1. Analyse du signal audio : VAD analyse en temps réel l’audio pour détecter l’activité vocale en fonction de l’énergie sonore et d’autres caractéristiques acoustiques.
  2. Capture audio conditionnelle : Lorsque VAD détecte une parole, il déclenche la capture et l’envoi des segments audio pertinents à l’API. Si aucun discours n’est détecté, VAD reste en veille.
  3. Optimisation des ressources : En filtrant les silences et les bruits, VAD réduit la quantité de données envoyées à l’API, économisant ainsi de la bande passante et des ressources de traitement.
  4. Amélioration des tours de parole : VAD permet une gestion fluide des tours de parole dans une conversation, où le modèle n’enverra une réponse qu’une fois la détection de parole terminée.

4. Étapes pour Utiliser l’API dans un Contexte VAD

Étapes Fonctionnelles :

  1. Créer un compte OpenAI et obtenir une clé API : Rendez-vous sur la plateforme OpenAI et générez une clé d’API avec accès à l’API Realtime.
  2. Établir une connexion WebSocket :
    • Établissez une connexion WebSocket persistante avec l’API pour échanger des données en temps réel.
  3. Configurer et utiliser VAD :
    • Côté client, implémentez un système de détection d’activité vocale (VAD) pour capturer et envoyer l’audio uniquement lorsque de la parole est détectée.
  4. Envoyer des segments audio (en PCM16 ou G.711) :
    • Dès que VAD détecte de la parole, l’audio est segmenté et envoyé à l’API pour transcription ou génération de réponse.
  5. Gérer les interruptions et les tours de parole :
    • L’API peut détecter la fin de parole (via VAD) et générer une réponse une fois que l’utilisateur a terminé. En cas d’interruption (l’utilisateur parle pendant la réponse), l’API arrête la génération en cours pour écouter l’utilisateur.
  6. Recevoir des réponses textuelles et/ou audio :
    • L’API renvoie des réponses en texte et/ou en audio en temps réel, permettant une interaction fluide et rapide.

5. Fonctionnalités Fournies par l’API Realtime

L’API Realtime d’OpenAI offre un ensemble robuste de fonctionnalités pour les applications interactives :

  • Streaming d’audio (PCM16, G.711) : Formats audio optimisés pour la voix en temps réel.
  • Connexion WebSocket persistante : Permet des échanges continus avec une latence minimale.
  • Détection d’activité vocale (VAD) : Capturer uniquement l’audio pertinent pour des interactions plus efficaces.
  • Interruptions en temps réel : Permet à l’utilisateur de couper la parole au modèle en cas de besoin.
  • Transcription et génération de texte et audio en temps réel : Utilisation des modèles Whisper pour la transcription audio et GPT-4 turbo pour des réponses interactives.

Conclusion

L’API Realtime d’OpenAI combinée avec la détection d’activité vocale (VAD) et le support des formats audio tels que PCM16 et G.711, permet de créer des systèmes de conversation vocale interactifs et fluides. Les développeurs peuvent intégrer des fonctionnalités avancées comme la gestion des interruptions, les tours de parole automatiques, et l’optimisation des ressources pour créer des expériences vocales engageantes et efficaces.

Un projet IA à cadrer ?

VeoNum développe vos projets au forfait, en mode accéléré par l’IA : le périmètre et le prix sont fixés avant de démarrer. Premier pas : un atelier de cadrage de 2 heures, sans engagement. Nous cadrons avec vous les données, les intégrations et le périmètre, et vous repartez avec une fourchette de budget argumentée.

Patrick Leprince
patrick.leprince@veonum.com — 07 67 70 66 53

À lire aussi : Combien coûte une application métier avec IA ? Ce qui fait vraiment varier la note

Nouveauté : L’API Realtime d’OpenAI

Par Agence, Technique

L’API Realtime d’OpenAI : Une Nouvelle Évolution pour les Interactions Audio et Chat en Temps Réel

Avec la récente sortie de son API Realtime, OpenAI ouvre un nouveau chapitre dans le domaine des interactions conversationnelles. Cette API permet aux développeurs d’intégrer des expériences multimodales en temps réel dans leurs applications, où la voix et le texte peuvent être utilisés simultanément pour des échanges naturels avec l’intelligence artificielle. Optimisée pour des cas d’utilisation vocale, l’API Realtime introduit une véritable fluidité dans les interactions en temps réel, que ce soit pour la transcription, la synthèse vocale, ou les conversations vocales.

Fonctionnement de l’API Realtime

Le cœur de l’API repose sur un modèle GPT-4o optimisé pour une latence minimale, permettant une communication en temps réel par WebSocket. Elle prend en charge à la fois l’entrée et la sortie audio et texte, ainsi que la possibilité d’appeler des fonctions et des actions en cours de conversation.

  1. Communication bidirectionnelle en temps réel :

L’API utilise un WebSocket pour maintenir une connexion persistante avec le serveur, permettant l’échange continu de messages audio et texte entre l’utilisateur et le modèle. Grâce à ce mécanisme, les entrées peuvent être envoyées à l’API sous forme de texte ou d’audio, et les réponses peuvent également être reçues dans l’un ou l’autre format.

  • Audio-to-Text (Transcription) : L’API prend en charge la reconnaissance vocale avec le modèle Whisper, qui transcrit la parole en texte en temps réel.
  • Text-to-Audio (Synthèse vocale) : L’API permet de générer une voix à partir de texte, grâce aux modèles TTS, créant une voix naturelle et fluide qui peut répondre aux utilisateurs.
  1. Modèle de conversation continue :

Chaque session de conversation via l’API est gérée comme une interaction continue, où le contexte de la conversation est maintenu au fil des échanges. Le modèle peut interpréter, analyser, et répondre aux nouvelles requêtes tout en prenant en compte l’historique des conversations, ce qui le rend extrêmement adapté aux applications vocales d’assistance, aux agents de support client, et aux applications d’apprentissage des langues.

  1. Détection d’interruptions et de la parole en temps réel :

Un des aspects révolutionnaires de cette API est sa capacité à gérer les interruptions pendant la conversation. Par exemple, si l’utilisateur commence à parler pendant que le modèle est en train de générer une réponse, l’API peut annuler cette réponse et traiter immédiatement la nouvelle entrée de l’utilisateur. Cela est rendu possible grâce à la détection d’activité vocale (VAD), un mécanisme qui détecte le début et la fin de la parole, permettant ainsi à l’API de réagir rapidement aux nouveaux inputs.

  1. Appels de fonctions intégrés :

L’API Realtime va encore plus loin en permettant aux développeurs d’utiliser des appels de fonctions au sein des conversations. Cela permet aux assistants virtuels d’exécuter des actions spécifiques, telles que la récupération de données ou l’exécution de commandes, en fonction des instructions fournies par l’utilisateur. Ces fonctions permettent d’enrichir les capacités d’un assistant vocal en l’intégrant profondément dans des workflows métiers ou des applications spécifiques.

Cas d’utilisation clés de l’API Realtime

  1. Agents conversationnels pour le support client :

Grâce à ses capacités multimodales, l’API Realtime permet de créer des agents de support client capables d’interagir vocalement avec les utilisateurs. Ces agents peuvent non seulement transcrire la voix de l’utilisateur en texte pour traitement, mais également répondre en générant une voix fluide et naturelle, optimisée pour des conversations en temps réel. En cas d’interruption par l’utilisateur, l’agent peut immédiatement ajuster sa réponse et passer à la requête suivante.

  1. Applications d’apprentissage des langues :

L’API permet d’implémenter des fonctionnalités de jeu de rôle dans des applications d’apprentissage des langues. Un utilisateur peut interagir vocalement avec l’IA dans un scénario simulé (par exemple, réserver une chambre d’hôtel ou commander un repas). Le modèle peut transcrire, analyser et fournir des retours vocaux instantanés, offrant une expérience immersive pour les apprenants.

  1. Assistants personnels vocaux avancés :

Les assistants personnels traditionnels peuvent tirer profit de cette API en permettant une interaction vocale plus naturelle et fluide. Par exemple, en utilisant l’API Realtime, un assistant personnel peut non seulement répondre rapidement à des requêtes, mais aussi exécuter des tâches telles que planifier des événements, rechercher des informations, ou envoyer des messages en fonction des commandes vocales de l’utilisateur.

Avantages techniques

  1. Latence extrêmement faible :

Optimisée pour un usage en temps réel, l’API Realtime minimise les délais entre l’entrée utilisateur et la réponse du modèle. Cela la rend idéale pour des cas d’utilisation où la rapidité de réponse est critique, comme les interactions vocales synchrones ou les systèmes de support en temps réel.

  1. Simplification du flux de travail :

Avant l’API Realtime, les développeurs devaient souvent combiner plusieurs modèles distincts pour obtenir des capacités complètes de reconnaissance et de synthèse vocale. Avec cette API, tout est géré dans une seule interface, rendant l’intégration bien plus simple pour les développeurs.

  1. Multimodalité simultanée :

L’un des points forts de l’API Realtime est sa capacité à gérer des sorties multimodales simultanées. Par exemple, elle peut fournir une transcription texte pour une modération en direct tout en diffusant une réponse vocale pour l’utilisateur, garantissant une expérience stable et fluide pour les applications interactives.

Intégration et déploiement

Mise en place avec WebSocket :

L’API Realtime utilise un WebSocket pour maintenir une connexion persistante entre le client et le serveur, ce qui permet un échange en temps réel d’audio, de texte et d’événements. Cela permet aux développeurs de créer facilement des applications vocales interactives sans avoir à gérer les complexités des connexions intermittentes.

Facilité d’intégration :

OpenAI propose des SDK pour différentes plateformes et langues, ce qui permet de faciliter l’intégration de l’API Realtime dans des applications vocales, qu’elles soient basées sur le Web, sur mobile ou sur des systèmes embarqués.

Conclusion

L’API Realtime d’OpenAI est une avancée majeure pour les interactions voix-texte en temps réel, offrant aux développeurs une solution clé en main pour créer des expériences multimodales. Avec une latence minimale, des capacités d’interruption intelligentes et une interface simple à utiliser, cette API ouvre de nouvelles perspectives pour les agents vocaux, les assistants virtuels et bien plus encore.

Cout de l’API real time versus anciens modèles

Voici une comparaison des coûts des différentes API d’OpenAI, y compris la nouvelle API Realtime et les autres API plus classiques comme GPT-4o et les modèles audio.

  1. API Realtime

L’API Realtime permet des expériences conversationnelles en temps réel avec à la fois des entrées et des sorties en audio et en texte. Voici les coûts :

  • Texte :
    • Entrée : $5 par million de tokens.
    • Sortie : $20 par million de tokens.
  • Audio :
    • Entrée audio : $100 par million de tokens (environ $0.06 par minute d’audio).
    • Sortie audio : $200 par million de tokens (environ $0.24 par minute d’audio).

L’API est conçue pour offrir des expériences à faible latence, ce qui en fait un excellent choix pour les assistants vocaux ou les applications nécessitant des réponses rapides et naturelles.

Explication du calcul des coûts :

Estimation des tokens pour l’audio :

  1. 1 minute d’audio correspond généralement à environ 1 600 tokens dans le cadre de l’API Realtime. Cela se base sur le fait qu’une minute de parole moyenne produit environ 150 à 200 mots, et chaque mot en anglais se traduit par 4 à 5 tokens (selon le modèle de tokenisation de l’API OpenAI).
  2. L’API utilise ces tokens pour facturer les utilisateurs en fonction de la quantité d’audio transmise ou reçue, donc pour chaque minute d’audio, on estime qu’elle génère 1 600 tokens.

Extrapolation pour 1 million de tokens :

  • Si 1 minute équivaut à environ 1 600 tokens, il faudrait environ 625 minutes d’audio pour atteindre 1 million de tokens.
  • Ainsi, le coût par minute d’audio est calculé en divisant le coût par million de tokens par le nombre de minutes dans 1 million de tokens.

Formule du coût par minute d’audio :

  • Entrée audio : $100 pour 1 million de tokens ≈ $0.06 par minute d’audio.
  • Sortie audio : $200 pour 1 million de tokens ≈ $0.24 par minute d’audio.

Cela signifie que l’API facture environ 0.06 $ pour chaque minute d’audio en entrée et 0.24 $ pour chaque minute d’audio en sortie.

Pour une conversation de 10 minutes, j’ai appliqué les formules suivantes :

  • Entrée audio : 10 minutes × $0.06 par minute = $0.60.
  • Sortie audio : 10 minutes × $0.24 par minute = $2.40.
  • Entrée texte : 600 phrases × 20 tokens par phrase = 12 000 tokens. Le coût pour ces tokens est :
    • 12 000 tokens = 0.012 million de tokens.
    • Entrée texte : 0.012 × $5 = $0.06.
  • Sortie texte : Le même nombre de tokens (12 000) pour la réponse texte. Le coût pour la sortie est :
    • Sortie texte : 0.012 × $20 = $0.24.

En combinant tous ces éléments, nous obtenons un coût total de $3.30 pour une conversation audio et texte de 10 minutes utilisant l’API Realtime.

 

  1. Modèles classiques GPT-4o

Le modèle GPT-4o est disponible dans plusieurs variantes, dont GPT-4o mini pour les tâches plus légères. Le prix est structuré en fonction des tokens :

  • GPT-4o :
    • Entrée : $2.50 par million de tokens.
    • Sortie : $10 par million de tokens.
  • GPT-4o Mini (version réduite, plus rapide et moins coûteuse) :
    • Entrée : $0.15 par million de tokens.
    • Sortie : $0.60 par million de tokens.

Ce modèle est adapté aux tâches textuelles complexes, mais il est moins performant pour des applications en temps réel que l’API Realtime.

  1. Modèles audio (Whisper & TTS)
  • Whisper (Reconnaissance vocale) :
    • Transcription : $0.006 par minute d’audio.
  • TTS (Text-to-Speech) :
    • tts-1 (optimisé pour la vitesse) : $15 par million de caractères.
    • tts-1-hd (optimisé pour la qualité) : $30 par million de caractères.

Ces modèles sont principalement utilisés pour la conversion audio-texte (Whisper) ou texte-audio (TTS) dans des applications multimodales.

Tableau récapitulatif :

Modèle Type d’entrée Coût d’entrée (par million de tokens ou minutes) Type de sortie Coût de sortie (par million de tokens ou minutes)
API Realtime Texte $5 Texte $20
Audio $100 (≈$0.06/min) Audio $200 (≈$0.24/min)
GPT-4o Texte $2.50 Texte $10
GPT-4o Mini Texte $0.15 Texte $0.60
Whisper Audio $0.006/min Transcription N/A
TTS (tts-1) Texte $15 (par million de caractères) Audio N/A
TTS (tts-1-hd) Texte $30 (par million de caractères) Audio N/A

 

Conclusion :

Pour un chatbot avec des capacités textuelles et audio, vous avez plusieurs options en fonction de vos besoins en latence et en qualité. L’API Realtime est la solution la plus complète pour des applications interactives en temps réel avec de l’audio et du texte, mais elle est plus coûteuse que les solutions basées sur GPT-4o. Si la latence n’est pas critique, vous pouvez combiner Whisper pour la reconnaissance vocale et GPT-4o pour les réponses textuelles.

Exemple de cout d’une conversation de 10 minutes

Voici une comparaison des coûts d’un chatbot utilisant des conversations audios de 10 minutes, avec deux configurations différentes :

  1. Une solution utilisant la nouvelle API Realtime (audio en entrée et sortie).
  2. Une solution utilisant les API précédentes, telles que Whisper (pour la transcription) et GPT-4o Mini (pour le texte).

Hypothèses :

  • La conversation dure 10 minutes.
  • Les phrases sont courtes, avec une longueur de 10 secondes par phrase.
  • Il y a environ 60 phrases par minute, soit environ 600 phrases pour 10 minutes.
  • Chaque phrase contient en moyenne 20 tokens (pour un texte court).

Solution 1 : API Realtime

Pour l’API Realtime, nous avons des coûts basés à la fois sur les tokens d’audio (pour la reconnaissance vocale et la synthèse vocale) et sur les tokens de texte générés par le modèle.

Calcul des coûts :

  • Entrée audio : 10 minutes d’audio ≈ 0.06 $/minute → 0.60 $ pour 10 minutes.
  • Sortie audio : 10 minutes d’audio ≈ 0.24 $/minute → 2.40 $ pour 10 minutes.
  • Entrée en texte (pour l’IA) : Chaque phrase contient 20 tokens. Avec 600 phrases :
    • 600 phrases × 20 tokens = 12 000 tokens pour le texte en entrée → 0.012 millions de tokens.
    • Coût de l’entrée texte : 0.012 M tokens × 5 $ = 0.06 $.
  • Sortie en texte (réponse de l’IA) : 12 000 tokens également pour la réponse en sortie → 0.012 M tokens × 20 $ = 0.24 $.

Total pour la solution API Realtime :

  • Entrée audio : 0.60 $
  • Sortie audio : 2.40 $
  • Entrée texte : 0.06 $
  • Sortie texte : 0.24 $
  • Coût total pour 10 minutes : 3.30 $

Solution 2 : Whisper + GPT-4o Mini

Dans cette solution, nous utilisons Whisper pour la reconnaissance vocale, GPT-4o Mini pour le traitement des phrases, et éventuellement une solution de synthèse vocale TTS pour la sortie audio.

Calcul des coûts :

  • Reconnaissance vocale avec Whisper :
    • Coût pour 10 minutes d’audio → 10 minutes × 0.006 $/minute = 0.06 $.
  • Traitement avec GPT-4o Mini :
    • Entrée texte : 12 000 tokens → 0.012 M tokens × 0.15 $ = 0.0018 $.
    • Sortie texte : 12 000 tokens → 0.012 M tokens × 0.60 $ = 0.0072 $.
  • Synthèse vocale avec TTS :
    • 600 phrases avec une longueur moyenne de 100 caractères par phrase :
      • 600 phrases × 100 caractères = 60 000 caractères.
      • Utilisation de tts-1 (15 $/million de caractères) → 0.06 M caractères × 15 $ = 0.90 $.

Total pour la solution Whisper + GPT-4o Mini + TTS :

  • Whisper (transcription) : 0.06 $
  • GPT-4o Mini (traitement texte) : 0.009 $
  • TTS (synthèse vocale) : 0.90 $
  • Coût total pour 10 minutes : 0.969 $

Tableau comparatif des coûts pour 10 minutes de conversation :

Solution Entrée audio Sortie audio Entrée texte Sortie texte Coût total (10 min)
API Realtime 0.60 $ 2.40 $ 0.06 $ 0.24 $ 3.30 $
Whisper + GPT-4o Mini + TTS 0.06 $ 0.90 $ 0.0018 $ 0.0072 $ 0.969 $

 

Conclusion :

  • API Realtime offre une expérience fluide avec une faible latence, mais est plus coûteuse pour une conversation de 10 minutes avec audio et texte.
  • Whisper + GPT-4o Mini + TTS est une solution plus économique, mais avec potentiellement une latence plus élevée et moins d’intégration fluide entre audio et texte.

Cela vous permet de choisir la solution en fonction de vos besoins en latence, fluidité et budget.

Exemple de voix générées

un conducteur de chantier accent marseillais.

Au début il est calme puis on lui demande de se mettre en colère sur des mots clef lié à la demande de l’heure.

Un projet IA à cadrer ?

VeoNum développe vos projets au forfait, en mode accéléré par l’IA : le périmètre et le prix sont fixés avant de démarrer. Premier pas : un atelier de cadrage de 2 heures, sans engagement. Nous cadrons avec vous les données, les intégrations et le périmètre, et vous repartez avec une fourchette de budget argumentée.

Patrick Leprince
patrick.leprince@veonum.com — 07 67 70 66 53

À lire aussi : Combien coûte une application métier avec IA ? Ce qui fait vraiment varier la note

BreizhCamp 2024 : Une édition sous le signe de Star Wars

Par Agence, Evènement
 En juin dernier, nous avons eu l’honneur de participer pour la première fois au BreizhCamp, le salon incontournable rassemblant les développeurs de la région rennaise. Cette année, l’événement s’est déroulé sous le thème de Star Wars.
Pour cette première participation, notre équipe a vu les choses en grand. Afin d’avoir une identité visuelle unique, trois kakémonos ont été réalisés par notre graphiste Frédéric. Ces affiches représentent les visages emblématiques des personnages de Star Wars avec une touche de VeoNum, ce qui a contribué à l’atmosphère immersive de notre stand.

Pour l’occasion, la VeoTeam a également réalisé une borne faite maison, avec un graphisme personnalisé VeoNum. Cette borne propose un jeu exclusif développé par l’un de nos développeurs : le VeoWars, qui plonge les joueurs dans un shoot them up. L’objectif était de remporter le meilleur score et de se mesurer aux autres participants pour gagner le gros lot. Un deuxième lot était attribué par tirage au sort parmi tous les participants.

Bravo au grand gagnant de cette édition, qui a atteint un score impressionnant de 206 880 points !

Nous vous invitons à défier le score sur VeoWars, avec le jeu disponible juste ici.

Que la force soit avec vous !

Webinaire : NEUTRALINO.JS

Par Midi Technique, Webinaire

Au cours du mois de mai, la VeoTeam a pu assister à un midi technique et un webinaire, sur le sujet de Neutralino.js, animé par notre collaborateur Rayan.

Mais qu’est-ce que Neutralino.js exactement ?

Rayan nous a éclairé sur le sujet.

Neutralino.js est un framework léger et portable conçu pour permettre le développement d’applications natives en utilisant des technologies web familières telles que HTML, CSS et JavaScript. Ce qui le distingue des autres frameworks, c’est sa capacité à créer des applications qui peuvent fonctionner sur diverses plateformes, notamment Windows, macOS et Linux, sans dépendre d’un navigateur web ou d’un moteur d’exécution spécifique.

L’approche minimaliste de Neutralino.js en fait une option attrayante pour les développeurs désireux de créer des applications légères et multiplateformes. En évitant les lourdeurs des frameworks traditionnels, Neutralino.js permet aux développeurs de se concentrer sur l’essentiel : la création d’applications performantes et fonctionnelles.

La rediffusion de la présentation de Ryan est désormais disponible sur notre page LinkedIn !

Soirée d’agence : lancer de haches !

Par Agence, Soirée

Pour inaugurer cette nouvelle année, notre équipe a eu le plaisir de se réunir pour notre toute première soirée d’agence de 2024.

L’événement s’est déroulé chez les Frères Jacks à Rennes pour une activité épique de lancer de haches, agrémentée d’un délicieux apéritif dînatoire.

Après avoir appris les techniques de lancer, nous avons pu tester nos nouveaux talents et nous affronter dans différents défis 🙂 Ce moment a également permis de se retrouver dans une ambiance conviviale et était l’occasion parfaite pour les nouveaux arrivants de faire connaissance. Un photobooth fait maison a été installé afin d’immortaliser quelques bons moments !

Découvrez les moments forts de cette soirée dans notre vidéo disponible sur notre compte LinkedIn.

En tous cas, chez Veonum on valide ! Vivement la prochaine soirée autour d’une nouvelle activité 🙂

Webinaire : découvrez le monde d’OpenAI

Par Agence, Webinaire

Notre premier Webinaire !

Au cours du mois de mars, notre équipe a été fier de pouvoir organiser son premier webinaire mettant en lumière les avancées dans le domaine de l’intelligence artificielle. C’est notre collaborateur Gwen Rouet qui était en live de nos locaux Rennais afin d’animer cette présentation. Dans ce contexte nous avons pu passer en revu les outils développés par OpenAI, ce qui nous a permis d’en apprendre plus sur ChatGPT, son API, ses fonctionnalités et son utilisation.

L’objectif principal de ce webinar était de démystifier l’intelligence artificielle en introduisant les participants aux concepts fondamentaux de cette technologie. Les participants ont pu comprendre comment ChatGPT et d’autres outils d’OpenAI transforment notre approche de l’IA et ouvrent de nouvelles perspectives dans divers domaines.

La rediffusion de cet événement est désormais disponible sur nos plateformes en ligne, notamment sur LinkedIn et YouTube.

Nouveau équipements à l’agence.

Nos nouveaux équipements, tels que le stream deck, un fond vert et un jeu de lumière, ont contribué à rendre cet événement possible. Ces investissements nous permettent d’offrir des expériences en ligne de qualité à notre communauté, renforçant ainsi notre engagement envers l’innovation et le partage des connaissances.

Restez connectés pour plus d’événements à venir où nous continuerons d’explorer divers sujets et ne pas manquer nos prochains webinaire 🙂

 

VeoNum lance son offre IA (Intelligence Artificielle) VeoBrain

Par Agence

VeoNum lance 3 nouvelles offres de service autour de l’IA (Intelligence Artificielle). N’hésitez pas à nous contacter.

VeoBrain Online : une offre pour du deep learning en continu au plus près des données.

VeoBrain Community : une offre pour du deep learning collaboratif.

VeoBrain Secure : une offre pour du deep learning robuste et sécurisé.

#IA #DeepLearning #DNN