Sélection du locuteur via l’API
Si plusieurs personnes apparaissent dans une vidéo ou une image, vous pouvez choisir le visage dont les lèvres seront synchronisées. Laissez sync. labs détecter le locuteur actif (uniquement pour les vidéos) ou envoyez un point sélectionné par votre utilisateur dans options.active_speaker_detection sur /v2/generate. Pour effectuer cette sélection dans Studio, consultez le guide de Studio.
Choisir une méthode de sélection
- Détection automatique (vidéo uniquement). C’est la méthode la plus rapide à configurer. Elle convient surtout si une seule personne parle ou si la personne qui parle est évidente. Définissez
auto_detect: trueet omettez les champs de sélection manuelle. - Sélection manuelle (vidéo ou image). Privilégiez-la si plusieurs personnes apparaissent à l’écran ou si vous souhaitez contrôler précisément le résultat. Fournissez une image de référence et un point sur le visage du locuteur, ou transmettez des cadres de délimitation si vous avez déjà les résultats de détection pour cette image.
Les images en entrée (sync-3 seulement) prennent en charge la sélection manuelle du locuteur. Le serveur rejette auto_detect: true pour les images.
Sélectionner un locuteur dans une vidéo
Extraire une image de référence
Placez-vous sur une image de la vidéo où le visage du locuteur visé est visible. Conservez l’index de l’image que vous affichez dans l’interface.
Relever un point sur le visage
Enregistrez les coordonnées [x, y] du point sélectionné sur le visage, dans le même repère en pixels que l’image extraite. Conservez ensemble l’index de l’image et les coordonnées.
Facultatif. Fournir des cadres de délimitation
Si vous avez déjà détecté les visages dans la vidéo, envoyez bounding_boxes sous forme de tableau par image. Chaque entrée contient quatre entiers, [x1, y1, x2, y2], du coin supérieur gauche au coin inférieur droit. En l’absence de visage, utilisez null ou []. Vous pouvez alors omettre frame_number et coordinates.
Pour les vidéos longues qui contiennent beaucoup d’images, utilisez bounding_boxes_url pour pointer vers un fichier JSON et limiter la taille de la requête.
Envoyer la requête de génération
Renseignez options.active_speaker_detection avec frame_number et coordinates. Si vous disposez déjà des résultats de détection, renseignez bounding_boxes pour toutes les images et omettez frame_number et coordinates. Laissez auto_detect à false pour respecter la sélection manuelle.
Associer les locuteurs d’une transcription à leurs visages
Après la transcription d’une vidéo, l’analyse des locuteurs peut identifier un visage pour chaque locuteur de la transcription. Elle prend en charge les vidéos de 2 minutes au maximum et jusqu’à 8 locuteurs.
- Interrogez
GET /v2/transcriptions/{id}/speaker-analysis. L’analyse est peut-être déjà disponible. Sinon, appelezPOSTau même chemin avecrevisionetsourceVideoUrlde la transcription. Pour relancer un résultatunavailable, envoyez aussiretry: true. Interrogez le point de terminaisonGETtant que l’état estprocessing. - Choisissez un locuteur à l’état
matched. AppelezPOST /v2/transcriptions/{id}/speaker-analysis/face-track-slicesavecrevision,speakerId,startFrame,endFrameetfps. Ces bornes se rapportent à la vidéo source entière. L’image de fin est exclue. - Transmettez l’
urlrenvoyée dansoptionsOverride.active_speaker_detection.bounding_boxes_urlpour le segment. Le fichier contient un cadre de délimitation par image du segment. Siurlest nulle, le visage est absent du segment. Utilisez une autre méthode de sélection ou laissez le segment sans synchronisation labiale.
Par exemple, pour un segment qui va de 5 à 10 secondes à 30 fps, utilisez startFrame: 150 et endFrame: 300 dans la requête d’extrait. Le frame_number manuel dans optionsOverride du segment commence toujours à 0.
Un locuteur à l’état uncertain n’a pas de correspondance fiable avec un visage. Utilisez le reason renvoyé et demandez à l’utilisateur de sélectionner un visage, ou utilisez la détection automatique. Si l’API renvoie 409 parce que la révision a changé, récupérez la transcription et l’analyse actuelles avant de réessayer. L’analyse accepte 3 requêtes par minute et l’extraction du suivi de visage en accepte 60.
Sélectionner un locuteur dans une image (sync-3)
Si votre image contient plusieurs visages, vous pouvez choisir celui dont vous voulez synchroniser les lèvres en fournissant les coordonnées manuellement.
Détecter les visages dans l’image
Détectez les visages dans l’image d’entrée et affichez des cadres de délimitation dans votre interface. Utilisez les dimensions d’origine de l’image en pixels comme repère.
Champs du DTO ActiveSpeaker
Consultez la référence complète de l’API pour active_speaker_detection.
auto_detect(booléen) laisse sync. labs choisir automatiquement le locuteur actif. Sa valeur par défaut estfalsedans un objetactive_speaker_detectionexplicite. Si l’objet est entièrement omis dans une requête de doublage vidéo compatible, Sync active la détection automatique. Définissez ce champ surfalsepour désactiver la sélection automatique. Les sélections manuelles de visages, les associations de locuteurs et les modifications de dialogue conservent leurs propres paramètres.v3(booléen, facultatif) active ASD v3.frame_number(nombre) est l’index de l’image correspondant aux coordonnées fournies. L’index commence à zéro. À la racine de la requête, comptez depuis le début de la vidéo d’entrée. Dans l’optionsOverrided’un segment, comptez depuis le début de ce segment. Pour un segment qui commence à 5 secondes dans une vidéo à 30 fps, l’image 150 de la source correspond à l’image 0 du segment.coordinates([x, y]) fournit un point de référence sur le visage du locuteur dansframe_number.bounding_boxes(([x1, y1, x2, y2] | [] | null)[], facultatif) contient une entrée par image vidéo si vous avez déjà effectué la détection de visages. Utilisez ce champ à la place deframe_numberetcoordinates.- Si l’image contient un visage, fournissez exactement quatre entiers,
[x1, y1, x2, y2], du coin supérieur gauche (x1,y1) au coin inférieur droit (x2,y2). - Si l’image ne contient aucun visage, fournissez
nullou[]. - Toute autre valeur, comme deux ou cinq nombres, ou une fraction, renvoie 400 et ne crée aucune génération. La même règle s’applique dans l’
optionsOverrided’un segment.
- Si l’image contient un visage, fournissez exactement quatre entiers,
bounding_boxes_url(chaîne, facultatif) pointe vers un fichier JSON contenant les cadres de délimitation. Utilisez cette URL à la place debounding_boxesdans le corps de la requête pour éviter de l’alourdir. Le fichier JSON doit contenir un tableaubounding_boxesavec une entrée par image au format ci-dessus.
Exemples de requêtes
SDK TypeScript
cURL (HTTP)
SDK TypeScript avec des cadres de délimitation à la place des coordonnées
Entrée image avec sélection du locuteur (sync-3)
Utiliser bounding_boxes_url pour les corps de requête volumineux
Pour les vidéos longues, hébergez les cadres de délimitation dans un fichier JSON externe pour limiter la taille de la requête. Le JSON doit respecter le format suivant.
Chaque entrée du tableau correspond à une image. Utilisez [x1, y1, x2, y2] si un visage est détecté, ou null si aucun visage n’est présent. Le nombre d’entrées doit correspondre au nombre total d’images.

