React-Modelle

react-1 führt das erste Primitive zur Performance-Steuerung für die Videobearbeitung ein. Als ausdrucksstarkes KI-Talking-Head-Modell kann react-1 Lippenbewegungen, Gesichtsausdrücke und Kopfbewegungen mit einem Zielaudio synchronisieren und dabei einem Emotions-Prompt folgen. Unten beschreiben wir einige Workflows, die nur mit react-1 möglich sind.

Hauptfunktionen

• Model Modes: Du kannst wählen, welcher Gesichtsbereich bearbeitet wird: nur der Mund, die Gesichtsausdrücke oder sogar Kopfbewegungen
• Ausdrucksstarker lipsync: react-1 arbeitet auf einem deutlich größeren Gesichtsbereich und liefert dadurch die ausdrucksstärksten Mundbewegungen passend zur Sprache
• Gesichtsausdrücke: Gesichtsausdrücke werden mithilfe eines Emotions-Prompts neu geschrieben, und selbst kleinste Mikroausdrücke bleiben perfekt mit der Sprache synchron
• Kopfbewegungen: react-1 kann auch Kopfbewegungen mit Tempo, Prosodie und Intonation des neuen Dialogs synchronisieren

Model Modes

Das Modell kann mit drei Betriebsmodi gesteuert werden: lips, face und head.

So kannst du den räumlichen Bereich festlegen, den du bearbeiten möchtest. Du kannst nur lipsync wählen oder zusätzlich Gesichtsausdrücke bzw. Kopfbewegungen einbeziehen. Standard ist face.

Emotions-Prompts

Du kannst Gesichtsausdrücke durch Emotions-Prompts steuern. Du kannst auch keinen Prompt angeben, dann folgt das Modell dem emotionalen Kontext des Eingabevideos. Siehe die Nutzung unten für weitere Details.

Nutzung

react-1 ist über denselben API-endpoint /v2/generate verfügbar wie standardmäßiger lipsync, mit zusätzlichen Parametern zur Steuerung von Emotion und Bewegung.

from sync import Sync
from sync.common import Audio, Video, GenerationOptions
sync = Sync()
response = sync.generations.create(
    input=[
        Video(url="https://assets.sync.so/docs/example-video.mp4"),
        Audio(url="https://assets.sync.so/docs/example-audio.wav")
    ],
    model="react-1",
    options=GenerationOptions(
        prompt="happy",
        model_mode="face"
    )
)

Best Practices

Aktuelle Einschränkungen

Die folgenden Funktionen werden für react-1 noch nicht unterstützt:

• Input Duration: react-1 unterstützt Eingaben bis zu 15 Sekunden. Für längere Inhalte solltest du dein Video in Segmente aufteilen.
• Segments: Multi-Segment-Generierung mit unterschiedlichen Audioeingaben ist nicht verfügbar. Verarbeite jedes Segment bei Bedarf separat.
• Sprecher-Auswahl: Die Option active_speaker_detection wird nicht unterstützt, einschließlich automatischer Erkennung (auto_detect) und manueller Auswahl über Bounding Box oder Frame-Nummer. Stelle sicher, dass dein Eingabevideo eine einzelne, klar sichtbare sprechende Person enthält.
• Occlusion detection: Die Option occlusion_detection_enabled zur Behandlung teilweise verdeckter Gesichter ist für react-1 nicht verfügbar.

Wann react-1 verwenden

react-1 ist ideal für:

• Short-form-Inhalte (≤ 15 Sekunden), die emotionale Ausdrücke erfordern
• Videos, bei denen natürliche Kopfbewegungen das Ergebnis verbessern
• Inhalte, die von emotionsbewussten Gesichtsausdrücken profitieren
• Projekte, bei denen du dynamischere und ausdrucksstärkere lipsync-Ergebnisse willst

Für längere Inhalte (> 15 Sekunden) oder wenn du nur standardmäßigen lipsync brauchst, verwende stattdessen lipsync-2 oder lipsync-2-pro.

Preise

react-1 ist in kostenpflichtigen Abonnements (Creator und höher) verfügbar. Die Preise sind nutzungsbasiert bei 25 fps und unterscheiden sich von lipsync-Modellen, jedes Sync Labs-Modell hat seinen eigenen Preis pro Sekunde.

react-1 ist das ausdrucksstärkste Modell und wird höher bepreist als lipsync-Modelle. Einen vollständigen Vergleich findest du auf der pricing page.

FAQs