Zur Navigation springen
Plugins und Erweiterungen

ComfyUI

Der comfyui-sync-lipsync-node ist ein benutzerdefinierter Node für ComfyUI, der lip-synced Videos nahtlos innerhalb des Workflows erzeugt und die Audio-Video-Synchronisierung einfach und effizient macht.

1

ComfyUI klonen und einrichten

Klone zuerst das ComfyUI-Repository und richte es ein. Wähle eine der folgenden Methoden:

Installiere und nutze Comfy-CLI für ein geführtes, zuverlässiges Setup. Vollständige Anleitung: https://github.com/Comfy-Org/comfy-cli

# Install comfy-cli 
pip install comfy-cli 
# Install ComfyUI
comfy install
# Clone ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# Set up your virtual environment and dependencies as needed
2

Zum Verzeichnis custom_nodes wechseln

Wechsle innerhalb des ComfyUI-Repositorys in den Ordner für benutzerdefinierte Nodes:

cd /path/to/ComfyUI/custom_nodes/
3

Den Sync Labs Lipsync Node installieren

Es gibt 3 Möglichkeiten, den lipsync Node einzurichten:

# Run this inside the custom_nodes folder
comfy node install comfyui-sync-lipsync-node

Dadurch werden das Klonen und das Einrichten der Abhängigkeiten des lipsync Node automatisch durchgeführt.

Registry-Link: comfyui-sync-lipsync-node

# Inside the custom_nodes folder
git clone https://github.com/synchronicity-labs/sync-comfyui.git
cd sync-comfyui/
pip install -r requirements.txt

Wenn du Methode A oder B nicht genutzt hast, kannst du über die ComfyUI-Oberfläche installieren:

  1. Starte zuerst ComfyUI: python main.py
  2. Öffne die ComfyUI-GUI im Browser
  3. Klicke oben rechts auf Manager.
  4. Wähle Install via Git URL
  5. Füge die URL ein: https://github.com/synchronicity-labs/sync-comfyui.git
  6. Du wirst aufgefordert, das Terminal neu zu starten. Tu das und folge dem neuen Link
4

ComfyUI starten

Nach Abschluss von Methode A oder B gehe zurück in das Hauptverzeichnis von ComfyUI und starte die Anwendung. Wenn du Methode C (Manager GUI) verwendet hast, lief ComfyUI bereits während der Installation. Starte es bei Aufforderung neu:

cd /path/to/ComfyUI/
python main.py

Im Terminal erscheint ein Link. Öffne ihn im Browser, um die ComfyUI-GUI aufzurufen.

5

Workflow konfigurieren

Wähle eine der folgenden Methoden, um deinen ComfyUI-Workflow einzurichten:

Richte den Workflow ein, indem du die Nodes in der ComfyUI-Oberfläche manuell verbindest:

  1. Sync Labs Nodes finden: Gehe in der linken Seitenleiste zum Tab Nodes und suche nach Sync Labs. Du findest genau diese Nodes:

    • sync.so lipsync - video input: Für die Konfiguration des Videoeingangs
    • sync.so lipsync - audio/tts input: Für die Konfiguration von Audio- oder Text-zu-Sprache-Eingaben
    • sync.so lipsync - api key: Für die Konfiguration des Sync Labs API-Schlüssels
    • sync.so lipsync - generate: Für die Verarbeitung der lip sync-Generierung
    • sync.so lipsync - output: Für die Verarbeitung der finalen Ausgabe

  2. Nodes verbinden: Verbinde die ersten drei Nodes als Eingaben mit dem Generate-Node und dann mit dem Output-Node:

    • Verbinde video input mit generate
    • Verbinde audio/tts input mit generate
    • Verbinde api key mit generate
    • Verbinde generate mit output
  1. Lade das Workflow-JSON über diesen Link herunter
  2. Ziehe die JSON-Datei per Drag-and-drop auf die ComfyUI-Canvas

Eingaben konfigurieren:

  • Video und Audio: Du kannst entweder eine URL oder einen lokalen Pfad als Eingabe verwenden. Bei lokalen Dateien sollten diese im ComfyUI-Repository liegen, das du verwendest.
  • Lokale Dateien laden: Wenn du ein Video oder Audio aus lokalem Speicher laden möchtest, verbinde die Input-Audio/Video-Nodes mit LoadVideo/Audio-Nodes.
  • API key: Trage deinen Sync Labs API-Schlüssel im Node api key ein. Deinen API-Schlüssel bekommst du auf der API Keys page.
6

Ausgabe erzeugen

Klicke auf Run, um den lip sync-Generierungsprozess zu starten. Das System verarbeitet deine Video- und Audio-Eingaben und erstellt eine synchronisierte Ausgabe.

Ausgabeverarbeitung:

  • Das lipsynced Video wird automatisch zusammen mit der job_id in einer JSON-Datei für dich gespeichert.
  • Manuelles Speichern: Das Video kann auch manuell gespeichert werden, indem du im Output-Node einen gewünschten Pfad und Videonamen angibst.
  • UI-Download: Du kannst das erzeugte Video direkt aus der UI herunterladen, indem du auf die 3 Punkte am erzeugten Video klickst und dann auf Download.

Fehlerüberwachung und Job-Tracking:

  • Alle Fehler werden im Terminal angezeigt, in dem ComfyUI läuft.
  • Für jede Generierung werden job_id und Status automatisch als JSON-Datei in /path/to/ComfyUI/output/ gespeichert.
  • Damit kannst du Fortschritt und Status deiner lip sync-Generierungen nachverfolgen.

Funktionen

  • Nahtlose Integration: Funktioniert direkt in ComfyUIs node-basierter Oberfläche
  • Flexible Eingabe: Unterstützt sowohl URLs als auch lokale Dateipfade für Video und Audio
  • Fünf-Node-Workflow: Separate Nodes für Videoeingang, Audioeingang, API-Schlüssel, Generierungsprozess und Ausgabe für eine klare Workflow-Trennung
  • Interaktive Node-Informationen: Fahre mit der Maus über Nodes, um zusätzliche Informationen zu ihrer Funktion zu erhalten
  • Mehrere Ausgabeoptionen: Automatisches Speichern, manuelle Pfadangabe und direkter UI-Download
  • Umfassendes Monitoring: Fehleranzeige in Echtzeit im Terminal und automatisches Job-Tracking mit Statusdateien
  • Unterstützung lokaler Dateien: Einfache Integration mit LoadVideo/Audio-Nodes für die Verarbeitung lokaler Dateien

Anforderungen

  • ComfyUI-Installation
  • Python virtual environment
  • Sync Labs API-Schlüssel
  • Video- und Audiodateien (URL oder lokale Pfade)

Fehlerbehebung

Installationsprobleme

  • Abhängigkeiten: Stelle sicher, dass alle Abhängigkeiten mit der Datei requirements.txt korrekt installiert sind

  • ComfyUI Manager Security Error: Wenn beim Verwenden von “Install via Git URL” der Fehler “This action is not allowed with this security level configuration” auftritt, folge diesen Schritten:

    Fehlermeldung:

    ERROR: To use this feature, you must either set '--listen' to a local IP and set the security level to 'normal-' or lower, or set the security level to 'middle' or 'weak'. Please contact the administrator.
    Reference: https://github.com/ltdrdata/ComfyUI-Manager#security-

    Lösung:

    1. Wechsle zu: ~/comfy/ComfyUI/user/default/ComfyUI-Manager/config.ini
    2. Ändere security_level auf normal-
    3. Ändere network_mode auf local
    4. Starte ComfyUI mit: python main.py --listen 127.0.0.1

Laufzeitprobleme

  • API-Key-Probleme: Verifiziere, dass dein API-Schlüssel gültig ist und du eine gültige Zahlungsmethode hinterlegt hast
  • Eingabedatei-Probleme: Prüfe, ob Eingabedateien erreichbar sind und in unterstützten Formaten vorliegen
  • Zugriff auf lokale Dateien: Bestätige bei lokalen Dateien, dass sie sich im ComfyUI-Repository-Verzeichnis befinden
  • Fehlerüberwachung: Prüfe das Terminal, in dem ComfyUI läuft, auf Fehlermeldungen in Echtzeit
  • Job-Status: Prüfe die JSON-Dateien in /path/to/ComfyUI/output/, um Job-Status zu sehen und fehlgeschlagene Generierungen zu analysieren
  • Node-Verbindungen: Stelle sicher, dass alle Nodes korrekt verbunden sind (video input-, audio input- und api key-Nodes mit dem Generation-Process-Node sowie der Generation-Process-Node mit dem Output-Node)

Zugehörige Ressourcen

  • Lipsync-Modell — erfahre mehr über verfügbare lip sync-Modelle und ihre Fähigkeiten
  • Schnellstart — starte direkt mit der Sync Labs API