Personalisierte Videonachrichten
Personalisierte Videonachrichten
Mit KI-gestütztem Lip Sync kannst du aus einer Videoaufnahme für jede Person eine eigene Nachricht erstellen. Text-to-Speech erzeugt die individuelle Audiospur. Die Lip-Sync-API von sync. labs passt die Lippenbewegungen so an, dass die Person im Video den jeweiligen Text einschließlich des Namens zu sprechen scheint.
Diese Seite zeigt zwei Wege. Du kannst das unten beschriebene Text-to-Speech-Beispielprojekt verwenden oder mit Dialogbearbeitung und der Batch API ein Wort durch den Namen der jeweiligen Person ersetzen.
So führst du das Beispiel für personalisierte Videonachrichten aus.
Umgebung einrichten
Erstelle eine virtuelle Umgebung und installiere die erforderlichen Abhängigkeiten.
API-Schlüssel einrichten
Für das Beispiel brauchst du Sync_API_KEY und ELEVEN_LABS_API_KEY. Trage deine eigenen API-Schlüssel in die Datei constants.py ein.
SYNC_API_KEYist dein API-Schlüssel für sync. labs.ELEVEN_LABS_API_KEYist dein API-Schlüssel für ElevenLabs. Er dient zur Spracherzeugung.
Speichere die Datei, nachdem du die Schlüssel eingetragen hast.
Eingabedaten vorbereiten (optional)
Das Repository enthält die Beispieldatei example.csv, mit der du direkt loslegen kannst. Wenn du möchtest, ersetze die Beispieleingaben durch deine eigenen. Eine Zeile steht normalerweise für eine Person.
Die Eingabedatei sollte diese Spalten enthalten.
videoenthält die URL des Videos, das du personalisieren möchtest.textenthält den zu personalisierenden Text im Video.segment_startist der Startzeitpunkt des Videoabschnitts, den du personalisieren möchtest.segment_endist der Endzeitpunkt des Videoabschnitts, den du personalisieren möchtest.output_formatist das Ausgabeformat des Videos.sync_modelegt fest, wie der Text an den Videoabschnitt angepasst wird, wenn die Dauer abweicht. Siehe Optionen.voice_idist die ID der ElevenLabs-Stimme für das Video. Wenn das Feld leer ist, wird die Stimme aus der Audiospur des Videos geklont.lipsync_modelist das Lip-Sync-Modell von sync.so für das Video. Der Standard istlipsync-2.tts_modelist das Text-to-Speech-Modell von ElevenLabs. Der Standard isteleven_multilingual_v2.
Ein Wort durch den Namen der jeweiligen Person ersetzen (Early Access)
Du kannst die ursprüngliche Aufnahme behalten und nur ein Wort wie den Namen für jede Person ändern. Sync transkribiert das Video und spricht nur dieses Wort mit der geklonten Stimme neu ein. Anschließend synchronisiert die Batch API in einem Batch die Lippenbewegungen für jede Variante.
Dafür verwendest du Zeilen für Dialogbearbeitungen in der Batch API. Die Funktion ist im Early Access und wird pro Organisation freigeschaltet. Kontaktiere uns, um sie aktivieren zu lassen. Für die Batch API brauchst du den Tarif Scale oder höher und eine Freigabe für deine Organisation.
Du brauchst Folgendes.
- Ein Video mit einer sprechenden Person, das du in den Sync-Speicher hochgeladen hast. Folge der Anleitung zu Asset-Uploads und speichere die gehostete URL.
- Das Wort, das du ersetzen möchtest, so wie es im Video gesprochen wird. Nimm die Nachricht zum Beispiel mit einem Platzhalternamen wie “Alex” auf und ersetze dieses Wort.
- Eine CSV-Datei mit der Spalte
nameund 20 bis 500 Zeilen, eine pro Person. Optional enthält die Spaltepronunciationeine Schreibweise, mit der du falsch ausgesprochene Namen korrigierst. Die ersten Zeilen können so aussehen.
So funktioniert die Dialogbearbeitung
- Transkribiere das Video mit
POST /v2/transcriptionsund suche dieiddes Worts, das du ersetzen möchtest. - Erstelle mit
POST /v2/dialogue-editseine Vorschau pro CSV-Zeile. Ersetze das Wort durch den Namen aus der Zeile. Die erste Vorschau klont die Stimme und gibtvoiceIdzurück. Übergib den Wert bei den übrigen Vorschauen alsvoiceId, um das Klonen zu überspringen. Vorschauanfragen sind auf 30 pro Minute begrenzt. Sende sie daher im Abstand von etwa 2 Sekunden. - Warte, bis alle Vorschauen fertig sind. Höre vor einem großen Batch einige der Aufnahmen unter
previewAudioUrlan. Wenn die Stimme einen Namen falsch ausspricht, ergänze eine Aussprachehilfe inpronunciation, zum Beispiel{"kind": "change", "wordId": "w35", "replacement": "Mia", "pronunciation": "Meeah"}. Im Transkript und in den Ergebnissen bleibt der Text ausreplacementerhalten. - Reiche eine Batch-Zeile pro fertiggestellter Vorschau ein. Sende den Batch zuerst mit
dry_run: trueund dann zur tatsächlichen Verarbeitung. Jede Zeile sendet dasselbe Quellvideo unddialogueEdit: {"id": "..."}. Für jede Zeile fallen dieselben Kosten an wie beim Rendern der Vorschau mitPOST /v2/generate. - Frage
GET /v2/batch/{id}regelmäßig ab, bis der StatusCOMPLETEDist, oder übergibwebhook_url, um eine Benachrichtigung zu erhalten. Lade die Ergebnisdatei überoutputUrlherunter und ordne jede Zeile anhand vonrequest_idihrer CSV-Zeile zu. Bei einer abgeschlossenen Zeile findest du das Video unterresponse.output_url.
Beispielskript ausführen
Das folgende Skript führt alle fünf Schritte mit der Standardbibliothek von Python 3 aus. Du brauchst Python 3.8 oder höher und keine weiteren Pakete. Speichere das Skript als personalize_batch.py und führe es aus.
Das Skript gibt den Fortschritt auf stderr aus. Dazu gehört die Audio-URL jeder Vorschau, damit du einige davon anhören kannst.
- Das Skript verwendet auch eine nur teilweise abgeschlossene Vorschau (
COMPLETED_PARTIAL) und weist dich darauf hin, sie zuerst anzuhören. - Wenn eine Vorschau fehlschlägt oder das Zeitlimit überschreitet, meldet das Skript ihre Zeile und lässt sie im Batch aus.
- Das Skript reicht einen Batch nie erneut ein. Wenn das Einreichen einen 5xx-Fehler liefert oder das Zeitlimit überschreitet, kann der Batch bereits existieren. Das Skript weist dich darauf hin, deine Batches mit
GET /v2/batchaufzulisten und mit--batch-idfortzufahren.
Die Ergebnisse erscheinen auf stdout als tabulatorgetrennte Zeilen mit CSV-Zeile, Name, Status und Ausgabe-URL oder Fehlermeldung. Du kannst folgende Optionen verwenden.
--dry-runerstellt die Vorschauen, validiert den Batch und beendet das Skript, ohne Videos zu rendern.--batch-id <id>setzt einen unterbrochenen Lauf fort. Das Skript fragt den Status dieses Batches ab und gibt seine Ergebnisse aus. Übergib dieselbe CSV-Datei.--modelsetzt das Lip-Sync-Modell. Der Standard istsync-3.--occurrence Nersetzt das N-te Vorkommen von--word, wenn das Wort mehrfach gesprochen wird.--webhook-urlsetzt den Webhook für den Abschluss des Batches.--timeout-min Nlegt fest, wie lange das Skript je Schritt höchstens wartet. Das gilt für Transkription, Vorschauen und Batch. Standardmäßig sind es 60 Minuten. Läuft der Batch nach Ablauf des Zeitlimits noch, gibt das Skript den Befehl mit--batch-idaus, mit dem du fortfahren kannst.
Setze SYNC_API_BASE, um einen anderen API-Host zu verwenden.
Bei einem Test mit einem 10-Sekunden-Clip und 20 Namen waren die Vorschauen nach etwa einer Minute fertig. Dabei wurde eine Stimme einmal geklont und ihre voiceId anschließend 19-mal wiederverwendet. Etwa 5.5 Minuten später hatte der Batch alle 20 Zeilen verarbeitet. Für Batches gilt eine angestrebte Bearbeitungszeit von 24 Stunden. Plane daher längere Wartezeiten ein und verwende --batch-id, um den Lauf fortzusetzen. Die Ergebnisdatei beginnt so.
Häufig gestellte Fragen
Wie viele personalisierte Videos kann ich gleichzeitig generieren?
Die CSV-Dateien oben sind Eingaben für die Beispielskripte. Die Batch API akzeptiert für freigeschaltete Organisationen ab Scale 20 bis 500 Generierungsanfragen pro Batch als JSONL-Datei oder JSON-Array rows. Jeder Datensatz muss eine eindeutige request_id, endpoint: "/v2/generate" und eine Generierungs-payload enthalten. Wandle deine Empfängerdaten vor dem Einreichen in dieses Format um. Teile mehr als 500 Anfragen in mehrere Batches auf, die jeweils innerhalb dieser Limits liegen.
Was mache ich, wenn die Stimme einen Namen falsch ausspricht?
Ergänze bei Dialogbearbeitungen eine Aussprachehilfe in pronunciation für die change-Bearbeitung der betroffenen Zeile. Verwende beispielsweise “shivawn” für “Siobhan”. Schreib die Aussprachehilfe wie ein gewöhnliches Wort ohne Bindestriche oder komplett großgeschriebene Silben. Großbuchstaben werden möglicherweise einzeln buchstabiert. Kurze Namen können sich zwischen Aufnahmen trotzdem unterschiedlich anhören. Die Stimme liest die Aussprachehilfe, während im Transkript und in den Ergebnissen der Name erhalten bleibt. Höre vor einem großen Batch einige Vorschauen an.
Welche TTS-Anbieter funktionieren mit sync. labs?
Das Beispielprojekt enthält eine Integration von ElevenLabs für Text-to-Speech. Du kannst auch jeden TTS-Anbieter verwenden, der Standarddateien in WAV oder MP3 ausgibt. Übergib die URL der erzeugten Audiodatei als audio-Eintrag in input.
Was kosten personalisierte Videonachrichten?
Die Kosten hängen vom Lip-Sync-Modell und der Videodauer ab. Verwende den Endpunkt /v2/generate/estimate-cost, um vor dem Einreichen eines Batches die genauen Kosten zu ermitteln. lipsync-2 ist die kostengünstigste Option für personalisierte Videonachrichten in großen Mengen. Bei Dialogbearbeitungen fallen pro Batch-Zeile dieselben Kosten an wie beim Rendern der Vorschau mit POST /v2/generate.
Weitere Informationen
- Schnellstart für deinen ersten API-Aufruf bei sync. labs
- Python-SDK für die Integration über das offizielle SDK
- Webhooks für Echtzeitmeldungen zum Abschluss deiner Videogenerierungen
- Transkription und Dialogbearbeitung, um ein Video zu transkribieren und Wortänderungen in einer Vorschau abzuhören
- Batch-Verarbeitung mit Batch-Limits, Zeilenformat und Ablehnungscodes für Dialogbearbeitungen

