Modeles React

react-1 introduit la premiere primitive de controle de performance pour le montage video. En tant que modele IA expressif de talking head, react-1 peut synchroniser les mouvements des levres, les expressions faciales et les mouvements de tete pour correspondre a un audio cible, tout en suivant un prompt emotionnel. Nous decrivons ci-dessous quelques workflows possibles uniquement avec react-1.

Fonctionnalites principales

• Model Modes: Vous pouvez choisir la zone du visage a editer : seulement la bouche, les expressions faciales, ou meme les mouvements de tete
• Expressive lipsync: react-1 opere sur une zone faciale bien plus large, ce qui donne les mouvements de bouche les plus expressifs et alignes sur la parole
• Facial Expressions: les expressions faciales sont reecrites via un prompt emotionnel, et chaque micro-expression reste parfaitement synchronisee avec la parole.
• Head Movements: react-1 peut aussi synchroniser les mouvements de tete pour correspondre au rythme, a la prosodie et a l’intonation du nouveau dialogue.

Modes du modele

Le modele peut etre controle avec trois modes de fonctionnement : lips, face et head.

Cela vous permet de definir la zone spatiale a editer. Vous pouvez choisir uniquement le lipsync, ou aussi les expressions faciales et les mouvements de tete. La valeur par defaut est face.

Prompts d’emotion

Vous pouvez guider les expressions faciales en precisant des prompts d’emotion. Vous pouvez aussi ne rien preciser ; dans ce cas, le modele suivra le contexte emotionnel de la video d’entree. Voir l’usage ci-dessous pour plus de details.

Utilisation

react-1 est disponible via le meme endpoint API /v2/generate que le lipsync standard, avec des parametres supplementaires pour controler les effets emotionnels et de mouvement.

from sync import Sync
from sync.common import Audio, Video, GenerationOptions
sync = Sync()
response = sync.generations.create(
    input=[
        Video(url="https://assets.sync.so/docs/example-video.mp4"),
        Audio(url="https://assets.sync.so/docs/example-audio.wav")
    ],
    model="react-1",
    options=GenerationOptions(
        prompt="happy",
        model_mode="face"
    )
)

Bonnes pratiques

Limitations actuelles

Les fonctionnalites suivantes ne sont pas encore prises en charge pour react-1 :

• Input Duration: react-1 prend en charge des entrees jusqu’a 15 secondes. Pour un contenu plus long, envisagez de decouper votre video en segments.
• Segments: La generation multi-segments avec differents audios n’est pas disponible. Traitez chaque segment separement si necessaire.
• sélection du locuteur: L’option active_speaker_detection n’est pas prise en charge, y compris la detection automatique (auto_detect) et la selection manuelle via bounding box ou numero de frame. Assurez-vous que votre video d’entree contient un seul locuteur clairement visible.
• Occlusion detection: L’option occlusion_detection_enabled pour gerer les visages partiellement masques n’est pas disponible pour react-1.

Quand utiliser react-1

react-1 est ideal pour :

• Des contenus courts (≤ 15 secondes) qui necessitent des expressions emotionnelles
• Des videos ou des mouvements naturels de tete ameliorent le resultat
• Des contenus qui beneficient d’expressions faciales sensibles a l’emotion
• Des projets ou vous voulez des resultats lipsync plus dynamiques et expressifs

Pour les contenus plus longs (> 15 secondes) ou si vous avez seulement besoin de lipsync standard, envisagez d’utiliser lipsync-2 ou lipsync-2-pro.

Tarification

react-1 est disponible sur les abonnements payants (Creator et superieur). La tarification est basee sur l’usage a 25 fps et differente de celle des modeles lipsync ; chaque modele Sync Labs a son propre tarif par seconde.

react-1 est le modele le plus expressif et son prix est plus eleve que celui des modeles lipsync. Consultez la page de tarification pour une comparaison complete.

FAQ