sync. labs ChatGPT plugin
Der sync. labs ChatGPT plugin verwandelt ein Gespräch in einen visuellen Synchronisations- und lip sync-Workflow. Überspielen Sie ein Video in eine andere Sprache, lassen Sie ein Bild sprechen, ersetzen Sie Dialoge oder synchronisieren Sie ein Video mit neuem Audio, ohne den Chat zu verlassen.
Schließen Sie den sync. labs ChatGPT plugin an
Der offizielle sync. labs ChatGPT plugin stellt eine Verbindung über OAuth her. Sie benötigen ein sync. labs-Konto, müssen aber keinen API-Schlüssel in ChatGPT kopieren.
Um eine andere sync. labs-Organisation zu verwenden, trennen Sie die Verbindung zum plugin, wechseln Sie Ihre aktive Organisation unter sync.so und stellen Sie die Verbindung wieder her.
Erstellen Sie lip sync aus einem Bild oder Video
Der sync. labs ChatGPT plugin akzeptiert eine visuelle Eingabe, entweder ein Bild oder ein Video, und eine Leistungseingabe, entweder Audio oder ein schriftliches Skript.
Für skriptbasierte Anfragen wählt ChatGPT eine Stimme aus, die Ihrer sync. labs-Organisation zur Verfügung steht. Sie können die verfügbaren Stimmen vor der Generierung anzeigen lassen, wenn Sie eine auswählen möchten.
Schreiben Sie Eingabeaufforderungen, die das Ergebnis beschreiben
Eine nützliche Eingabeaufforderung benennt die visuelle Eingabe, die Leistungseingabe und alle Steuerelemente, die Sie interessieren. | Ziel | Beispielaufforderung || --- | --- | | In eine andere Sprache synchronisieren | „Überspielen Sie das angehängte Video mit diesem übersetzten Skript ins Französische: [Skript].“ | | Mit fertigem Audio überspielen | „Überspielen Sie das angehängte Video mit dem angehängten Audio ins Koreanische.“ | | Ein Standbild animieren | „Lassen Sie das angehängte Bild ‚Hallo von sync. labs‘ sagen.“ | | Dialog durch ein Skript ersetzen | „Lassen Sie die Person in diesem Video sagen: ‚Das Meeting beginnt um neun.‘“ | | Verwenden Sie eine Audio-Performance | „Synchronisieren Sie das angehängte Video mit dem angehängten Audio.“ | | Wählen Sie eine Stimme | „Zeigen Sie mir die verfügbaren Stimmen und verwenden Sie dann die von mir ausgewählte, damit dieses Bild das folgende Skript sagt.“ | Wenn eine Anfrage nicht eindeutig ist, teilen Sie ChatGPT mit, welcher Anhang die visuelle Eingabe ist und ob es sich bei der anderen Eingabe um Audio oder ein Skript handelt.
Medien richtig hochladen
Hängen Sie lokale Videodateien direkt an die ChatGPT-Konversation an, bevor Sie sync. labs zum Generieren auffordern. Bilder und Audio können auch über die Upload-Schnittstelle des plugin ausgewählt werden, wenn der ChatGPT ihn präsentiert. Öffentliche URLs und vorhandene sync. labs-Assets sind für wiederkehrende Arbeitsabläufe nützlich, da der plugin auf sie verweisen kann, ohne die gleichen Medien erneut hochzuladen.
Um das zuverlässigste Ergebnis zu erzielen, verwenden Sie ein klares Gesicht, hörbare Sprache und einen visuellen Clip, der den gewünschten Abschnitt abdeckt lip sync.
Überprüfen Sie den Generierungsfortschritt und laden Sie das Ergebnis herunter
ChatGPT startet eine sync. labs-Generierung und prüft deren Status. Wenn die Generierung abgeschlossen ist, wird die Ausgabe URL in der Konversation zurückgegeben. Wenn das Ergebnis noch verarbeitet wird, fragen Sie: „Überprüfen Sie den Status der sync. labs-Generation in diesem Chat.“ Wenn Sie eine neue Konversation beginnen, geben Sie die Generations-ID in die Eingabeaufforderung ein.
Verstehen Sie die aktuellen Grenzwerte
Der ChatGPT plugin steuert den sync. labs API, sodass der Plan, die Credits, der modelzugriff und die Generationsbeschränkungen Ihrer Organisation weiterhin gelten. - Der plugin benötigt für eine einfache lip sync-Anfrage genau ein Bild oder Video und eine Audiodatei oder ein Skript. - Für eine skriptbasierte Anfrage ist eine Stimme erforderlich, die Ihrer Organisation zur Verfügung steht. - Automatische Transkription, Sprecherauswahl, Segmente und das Ersetzen einer bestimmten gesprochenen Zeile sind derzeit im ChatGPT plugin nicht verfügbar. Stellen Sie für die Synchronisation ein Transkript, ein übersetztes Drehbuch oder eine Audiospur in der Zielsprache bereit. - Ein lokales Video sollte direkt an das ChatGPT-Gespräch angehängt werden. Der Dateiwähler plugin ist für Bilder und Audio gedacht. - Generation-Zeit hängt vom Eingang und Modell ab. Ein Ergebnis kann länger dauern als ein ChatGPT-Tool-Aufruf, daher müssen Sie möglicherweise erneut nach dem Status fragen.
Fehlerbehebung beim ChatGPT plugin
Der plugin ist in meinem Chat nicht verfügbar
Öffnen Sie den sync. labs plugin-Eintrag, verbinden Sie ihn, starten Sie dann eine neue Konversation und wählen Sie sync. labs für diesen Chat aus.
ChatGPT fordert mich auf, mich erneut anzumelden
Schließen Sie den plugin erneut an und schließen Sie OAuth ab. Wenn Sie kürzlich die Organisation gewechselt haben, vergewissern Sie sich, dass die richtige Organisation unter sync.so aktiv ist, bevor Sie die Verbindung wiederherstellen.
ChatGPT kann mein Video nicht verwenden
Hängen Sie das Video direkt an die ChatGPT-Konversation an. Bitten Sie den plugin nicht, die Bild- und Audioauswahl für eine Videodatei zu öffnen.
Die Generation wird noch verarbeitet
Bitten Sie ChatGPT, die neueste Generation noch einmal zu überprüfen. Wenn Sie über die Generations-ID verfügen, geben Sie diese in die Eingabeaufforderung ein.
Ich habe die falsche Organisation angeschlossen
Trennen Sie sync. labs in ChatGPT, ändern Sie Ihre aktive Organisation bei sync.so und verbinden Sie dann plugin erneut.
Erstellen Sie benutzerdefinierte KI-Workflows mit dem MCP-Server
Der offizielle ChatGPT plugin ist die schnellste Möglichkeit, sync. labs im ChatGPT zu verwenden. Entwickler, die einen anderen KI-Client verbinden, eine lokale Desktop-Konfiguration verwenden oder benutzerdefinierte Agent-Workflows erstellen möchten, können den sync. labs MCP-Server verwenden.