Nouveauté : L’API Realtime d’OpenAI

Par 16 octobre 2024octobre 13th, 2026Agence, Technique

L’API Realtime d’OpenAI : Une Nouvelle Évolution pour les Interactions Audio et Chat en Temps Réel

Avec la récente sortie de son API Realtime, OpenAI ouvre un nouveau chapitre dans le domaine des interactions conversationnelles. Cette API permet aux développeurs d’intégrer des expériences multimodales en temps réel dans leurs applications, où la voix et le texte peuvent être utilisés simultanément pour des échanges naturels avec l’intelligence artificielle. Optimisée pour des cas d’utilisation vocale, l’API Realtime introduit une véritable fluidité dans les interactions en temps réel, que ce soit pour la transcription, la synthèse vocale, ou les conversations vocales.

Fonctionnement de l’API Realtime

Le cœur de l’API repose sur un modèle GPT-4o optimisé pour une latence minimale, permettant une communication en temps réel par WebSocket. Elle prend en charge à la fois l’entrée et la sortie audio et texte, ainsi que la possibilité d’appeler des fonctions et des actions en cours de conversation.

  1. Communication bidirectionnelle en temps réel :

L’API utilise un WebSocket pour maintenir une connexion persistante avec le serveur, permettant l’échange continu de messages audio et texte entre l’utilisateur et le modèle. Grâce à ce mécanisme, les entrées peuvent être envoyées à l’API sous forme de texte ou d’audio, et les réponses peuvent également être reçues dans l’un ou l’autre format.

  • Audio-to-Text (Transcription) : L’API prend en charge la reconnaissance vocale avec le modèle Whisper, qui transcrit la parole en texte en temps réel.
  • Text-to-Audio (Synthèse vocale) : L’API permet de générer une voix à partir de texte, grâce aux modèles TTS, créant une voix naturelle et fluide qui peut répondre aux utilisateurs.
  1. Modèle de conversation continue :

Chaque session de conversation via l’API est gérée comme une interaction continue, où le contexte de la conversation est maintenu au fil des échanges. Le modèle peut interpréter, analyser, et répondre aux nouvelles requêtes tout en prenant en compte l’historique des conversations, ce qui le rend extrêmement adapté aux applications vocales d’assistance, aux agents de support client, et aux applications d’apprentissage des langues.

  1. Détection d’interruptions et de la parole en temps réel :

Un des aspects révolutionnaires de cette API est sa capacité à gérer les interruptions pendant la conversation. Par exemple, si l’utilisateur commence à parler pendant que le modèle est en train de générer une réponse, l’API peut annuler cette réponse et traiter immédiatement la nouvelle entrée de l’utilisateur. Cela est rendu possible grâce à la détection d’activité vocale (VAD), un mécanisme qui détecte le début et la fin de la parole, permettant ainsi à l’API de réagir rapidement aux nouveaux inputs.

  1. Appels de fonctions intégrés :

L’API Realtime va encore plus loin en permettant aux développeurs d’utiliser des appels de fonctions au sein des conversations. Cela permet aux assistants virtuels d’exécuter des actions spécifiques, telles que la récupération de données ou l’exécution de commandes, en fonction des instructions fournies par l’utilisateur. Ces fonctions permettent d’enrichir les capacités d’un assistant vocal en l’intégrant profondément dans des workflows métiers ou des applications spécifiques.

Cas d’utilisation clés de l’API Realtime

  1. Agents conversationnels pour le support client :

Grâce à ses capacités multimodales, l’API Realtime permet de créer des agents de support client capables d’interagir vocalement avec les utilisateurs. Ces agents peuvent non seulement transcrire la voix de l’utilisateur en texte pour traitement, mais également répondre en générant une voix fluide et naturelle, optimisée pour des conversations en temps réel. En cas d’interruption par l’utilisateur, l’agent peut immédiatement ajuster sa réponse et passer à la requête suivante.

  1. Applications d’apprentissage des langues :

L’API permet d’implémenter des fonctionnalités de jeu de rôle dans des applications d’apprentissage des langues. Un utilisateur peut interagir vocalement avec l’IA dans un scénario simulé (par exemple, réserver une chambre d’hôtel ou commander un repas). Le modèle peut transcrire, analyser et fournir des retours vocaux instantanés, offrant une expérience immersive pour les apprenants.

  1. Assistants personnels vocaux avancés :

Les assistants personnels traditionnels peuvent tirer profit de cette API en permettant une interaction vocale plus naturelle et fluide. Par exemple, en utilisant l’API Realtime, un assistant personnel peut non seulement répondre rapidement à des requêtes, mais aussi exécuter des tâches telles que planifier des événements, rechercher des informations, ou envoyer des messages en fonction des commandes vocales de l’utilisateur.

Avantages techniques

  1. Latence extrêmement faible :

Optimisée pour un usage en temps réel, l’API Realtime minimise les délais entre l’entrée utilisateur et la réponse du modèle. Cela la rend idéale pour des cas d’utilisation où la rapidité de réponse est critique, comme les interactions vocales synchrones ou les systèmes de support en temps réel.

  1. Simplification du flux de travail :

Avant l’API Realtime, les développeurs devaient souvent combiner plusieurs modèles distincts pour obtenir des capacités complètes de reconnaissance et de synthèse vocale. Avec cette API, tout est géré dans une seule interface, rendant l’intégration bien plus simple pour les développeurs.

  1. Multimodalité simultanée :

L’un des points forts de l’API Realtime est sa capacité à gérer des sorties multimodales simultanées. Par exemple, elle peut fournir une transcription texte pour une modération en direct tout en diffusant une réponse vocale pour l’utilisateur, garantissant une expérience stable et fluide pour les applications interactives.

Intégration et déploiement

Mise en place avec WebSocket :

L’API Realtime utilise un WebSocket pour maintenir une connexion persistante entre le client et le serveur, ce qui permet un échange en temps réel d’audio, de texte et d’événements. Cela permet aux développeurs de créer facilement des applications vocales interactives sans avoir à gérer les complexités des connexions intermittentes.

Facilité d’intégration :

OpenAI propose des SDK pour différentes plateformes et langues, ce qui permet de faciliter l’intégration de l’API Realtime dans des applications vocales, qu’elles soient basées sur le Web, sur mobile ou sur des systèmes embarqués.

Conclusion

L’API Realtime d’OpenAI est une avancée majeure pour les interactions voix-texte en temps réel, offrant aux développeurs une solution clé en main pour créer des expériences multimodales. Avec une latence minimale, des capacités d’interruption intelligentes et une interface simple à utiliser, cette API ouvre de nouvelles perspectives pour les agents vocaux, les assistants virtuels et bien plus encore.

Cout de l’API real time versus anciens modèles

Voici une comparaison des coûts des différentes API d’OpenAI, y compris la nouvelle API Realtime et les autres API plus classiques comme GPT-4o et les modèles audio.

  1. API Realtime

L’API Realtime permet des expériences conversationnelles en temps réel avec à la fois des entrées et des sorties en audio et en texte. Voici les coûts :

  • Texte :
    • Entrée : $5 par million de tokens.
    • Sortie : $20 par million de tokens.
  • Audio :
    • Entrée audio : $100 par million de tokens (environ $0.06 par minute d’audio).
    • Sortie audio : $200 par million de tokens (environ $0.24 par minute d’audio).

L’API est conçue pour offrir des expériences à faible latence, ce qui en fait un excellent choix pour les assistants vocaux ou les applications nécessitant des réponses rapides et naturelles.

Explication du calcul des coûts :

Estimation des tokens pour l’audio :

  1. 1 minute d’audio correspond généralement à environ 1 600 tokens dans le cadre de l’API Realtime. Cela se base sur le fait qu’une minute de parole moyenne produit environ 150 à 200 mots, et chaque mot en anglais se traduit par 4 à 5 tokens (selon le modèle de tokenisation de l’API OpenAI).
  2. L’API utilise ces tokens pour facturer les utilisateurs en fonction de la quantité d’audio transmise ou reçue, donc pour chaque minute d’audio, on estime qu’elle génère 1 600 tokens.

Extrapolation pour 1 million de tokens :

  • Si 1 minute équivaut à environ 1 600 tokens, il faudrait environ 625 minutes d’audio pour atteindre 1 million de tokens.
  • Ainsi, le coût par minute d’audio est calculé en divisant le coût par million de tokens par le nombre de minutes dans 1 million de tokens.

Formule du coût par minute d’audio :

  • Entrée audio : $100 pour 1 million de tokens ≈ $0.06 par minute d’audio.
  • Sortie audio : $200 pour 1 million de tokens ≈ $0.24 par minute d’audio.

Cela signifie que l’API facture environ 0.06 $ pour chaque minute d’audio en entrée et 0.24 $ pour chaque minute d’audio en sortie.

Pour une conversation de 10 minutes, j’ai appliqué les formules suivantes :

  • Entrée audio : 10 minutes × $0.06 par minute = $0.60.
  • Sortie audio : 10 minutes × $0.24 par minute = $2.40.
  • Entrée texte : 600 phrases × 20 tokens par phrase = 12 000 tokens. Le coût pour ces tokens est :
    • 12 000 tokens = 0.012 million de tokens.
    • Entrée texte : 0.012 × $5 = $0.06.
  • Sortie texte : Le même nombre de tokens (12 000) pour la réponse texte. Le coût pour la sortie est :
    • Sortie texte : 0.012 × $20 = $0.24.

En combinant tous ces éléments, nous obtenons un coût total de $3.30 pour une conversation audio et texte de 10 minutes utilisant l’API Realtime.

 

  1. Modèles classiques GPT-4o

Le modèle GPT-4o est disponible dans plusieurs variantes, dont GPT-4o mini pour les tâches plus légères. Le prix est structuré en fonction des tokens :

  • GPT-4o :
    • Entrée : $2.50 par million de tokens.
    • Sortie : $10 par million de tokens.
  • GPT-4o Mini (version réduite, plus rapide et moins coûteuse) :
    • Entrée : $0.15 par million de tokens.
    • Sortie : $0.60 par million de tokens.

Ce modèle est adapté aux tâches textuelles complexes, mais il est moins performant pour des applications en temps réel que l’API Realtime.

  1. Modèles audio (Whisper & TTS)
  • Whisper (Reconnaissance vocale) :
    • Transcription : $0.006 par minute d’audio.
  • TTS (Text-to-Speech) :
    • tts-1 (optimisé pour la vitesse) : $15 par million de caractères.
    • tts-1-hd (optimisé pour la qualité) : $30 par million de caractères.

Ces modèles sont principalement utilisés pour la conversion audio-texte (Whisper) ou texte-audio (TTS) dans des applications multimodales.

Tableau récapitulatif :

Modèle Type d’entrée Coût d’entrée (par million de tokens ou minutes) Type de sortie Coût de sortie (par million de tokens ou minutes)
API Realtime Texte $5 Texte $20
Audio $100 (≈$0.06/min) Audio $200 (≈$0.24/min)
GPT-4o Texte $2.50 Texte $10
GPT-4o Mini Texte $0.15 Texte $0.60
Whisper Audio $0.006/min Transcription N/A
TTS (tts-1) Texte $15 (par million de caractères) Audio N/A
TTS (tts-1-hd) Texte $30 (par million de caractères) Audio N/A

 

Conclusion :

Pour un chatbot avec des capacités textuelles et audio, vous avez plusieurs options en fonction de vos besoins en latence et en qualité. L’API Realtime est la solution la plus complète pour des applications interactives en temps réel avec de l’audio et du texte, mais elle est plus coûteuse que les solutions basées sur GPT-4o. Si la latence n’est pas critique, vous pouvez combiner Whisper pour la reconnaissance vocale et GPT-4o pour les réponses textuelles.

Exemple de cout d’une conversation de 10 minutes

Voici une comparaison des coûts d’un chatbot utilisant des conversations audios de 10 minutes, avec deux configurations différentes :

  1. Une solution utilisant la nouvelle API Realtime (audio en entrée et sortie).
  2. Une solution utilisant les API précédentes, telles que Whisper (pour la transcription) et GPT-4o Mini (pour le texte).

Hypothèses :

  • La conversation dure 10 minutes.
  • Les phrases sont courtes, avec une longueur de 10 secondes par phrase.
  • Il y a environ 60 phrases par minute, soit environ 600 phrases pour 10 minutes.
  • Chaque phrase contient en moyenne 20 tokens (pour un texte court).

Solution 1 : API Realtime

Pour l’API Realtime, nous avons des coûts basés à la fois sur les tokens d’audio (pour la reconnaissance vocale et la synthèse vocale) et sur les tokens de texte générés par le modèle.

Calcul des coûts :

  • Entrée audio : 10 minutes d’audio ≈ 0.06 $/minute → 0.60 $ pour 10 minutes.
  • Sortie audio : 10 minutes d’audio ≈ 0.24 $/minute → 2.40 $ pour 10 minutes.
  • Entrée en texte (pour l’IA) : Chaque phrase contient 20 tokens. Avec 600 phrases :
    • 600 phrases × 20 tokens = 12 000 tokens pour le texte en entrée → 0.012 millions de tokens.
    • Coût de l’entrée texte : 0.012 M tokens × 5 $ = 0.06 $.
  • Sortie en texte (réponse de l’IA) : 12 000 tokens également pour la réponse en sortie → 0.012 M tokens × 20 $ = 0.24 $.

Total pour la solution API Realtime :

  • Entrée audio : 0.60 $
  • Sortie audio : 2.40 $
  • Entrée texte : 0.06 $
  • Sortie texte : 0.24 $
  • Coût total pour 10 minutes : 3.30 $

Solution 2 : Whisper + GPT-4o Mini

Dans cette solution, nous utilisons Whisper pour la reconnaissance vocale, GPT-4o Mini pour le traitement des phrases, et éventuellement une solution de synthèse vocale TTS pour la sortie audio.

Calcul des coûts :

  • Reconnaissance vocale avec Whisper :
    • Coût pour 10 minutes d’audio → 10 minutes × 0.006 $/minute = 0.06 $.
  • Traitement avec GPT-4o Mini :
    • Entrée texte : 12 000 tokens → 0.012 M tokens × 0.15 $ = 0.0018 $.
    • Sortie texte : 12 000 tokens → 0.012 M tokens × 0.60 $ = 0.0072 $.
  • Synthèse vocale avec TTS :
    • 600 phrases avec une longueur moyenne de 100 caractères par phrase :
      • 600 phrases × 100 caractères = 60 000 caractères.
      • Utilisation de tts-1 (15 $/million de caractères) → 0.06 M caractères × 15 $ = 0.90 $.

Total pour la solution Whisper + GPT-4o Mini + TTS :

  • Whisper (transcription) : 0.06 $
  • GPT-4o Mini (traitement texte) : 0.009 $
  • TTS (synthèse vocale) : 0.90 $
  • Coût total pour 10 minutes : 0.969 $

Tableau comparatif des coûts pour 10 minutes de conversation :

Solution Entrée audio Sortie audio Entrée texte Sortie texte Coût total (10 min)
API Realtime 0.60 $ 2.40 $ 0.06 $ 0.24 $ 3.30 $
Whisper + GPT-4o Mini + TTS 0.06 $ 0.90 $ 0.0018 $ 0.0072 $ 0.969 $

 

Conclusion :

  • API Realtime offre une expérience fluide avec une faible latence, mais est plus coûteuse pour une conversation de 10 minutes avec audio et texte.
  • Whisper + GPT-4o Mini + TTS est une solution plus économique, mais avec potentiellement une latence plus élevée et moins d’intégration fluide entre audio et texte.

Cela vous permet de choisir la solution en fonction de vos besoins en latence, fluidité et budget.

Exemple de voix générées

un conducteur de chantier accent marseillais.

Au début il est calme puis on lui demande de se mettre en colère sur des mots clef lié à la demande de l’heure.

Un projet IA à cadrer ?

VeoNum développe vos projets au forfait, en mode accéléré par l’IA : le périmètre et le prix sont fixés avant de démarrer. Premier pas : un atelier de cadrage de 2 heures, sans engagement. Nous cadrons avec vous les données, les intégrations et le périmètre, et vous repartez avec une fourchette de budget argumentée.

Patrick Leprince
patrick.leprince@veonum.com — 07 67 70 66 53

À lire aussi : Combien coûte une application métier avec IA ? Ce qui fait vraiment varier la note