Passer à la navigation
Plugins et extensions

ComfyUI

Le comfyui-sync-lipsync-node est un nœud personnalisé pour ComfyUI qui génère des vidéos lip sync directement dans le workflow, ce qui rend la synchronisation audio-vidéo simple et efficace.

1

Cloner et configurer ComfyUI

Commencez par cloner et configurer le dépôt ComfyUI. Choisissez l’une des méthodes suivantes :

Installez puis utilisez Comfy-CLI pour une configuration guidée et fiable. Instructions complètes: https://github.com/Comfy-Org/comfy-cli

# Install comfy-cli 
pip install comfy-cli 
# Install ComfyUI
comfy install
# Clone ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# Set up your virtual environment and dependencies as needed
2

Aller dans le dossier Custom Nodes

Dans le dépôt ComfyUI, placez-vous dans le dossier custom nodes :

cd /path/to/ComfyUI/custom_nodes/
3

Installer le nœud Lipsync Sync Labs

Il existe 3 façons de configurer le nœud lipsync :

# Run this inside the custom_nodes folder
comfy node install comfyui-sync-lipsync-node

Cela clone automatiquement le nœud lipsync et installe ses dépendances.

Registry Link: comfyui-sync-lipsync-node

# Inside the custom_nodes folder
git clone https://github.com/synchronicity-labs/sync-comfyui.git
cd sync-comfyui/
pip install -r requirements.txt

Si vous n’avez pas suivi la méthode A ou B, vous pouvez installer via l’interface ComfyUI :

  1. D’abord, lancez ComfyUI: python main.py
  2. Ouvrez l’interface ComfyUI dans votre navigateur
  3. Cliquez sur Manager en haut à droite.
  4. Sélectionnez Install via Git URL
  5. Collez l’URL: https://github.com/synchronicity-labs/sync-comfyui.git
  6. L’application vous demandera de redémarrer le terminal, faites-le puis suivez le nouveau lien
4

Démarrer ComfyUI

Après la méthode A ou B, revenez au dossier principal de ComfyUI et démarrez l’application. Si vous avez utilisé la méthode C (GUI Manager), ComfyUI est déjà lancé pendant l’installation, redémarrez-le si demandé :

cd /path/to/ComfyUI/
python main.py

Un lien apparaîtra dans le terminal, ouvrez-le dans votre navigateur pour accéder à la GUI ComfyUI.

5

Configurer le workflow

Choisissez l’une des méthodes suivantes pour configurer votre workflow ComfyUI :

Configurez le workflow en connectant manuellement les nœuds dans l’interface ComfyUI :

  1. Trouver les nœuds Sync Labs: Dans la barre latérale gauche, allez dans l’onglet Nodes et cherchez Sync Labs. Vous trouverez exactement ces nœuds :

    • sync.so lipsync - video input: Pour configurer l’entrée vidéo
    • sync.so lipsync - audio/tts input: Pour configurer l’entrée audio ou synthèse vocale
    • sync.so lipsync - api key: Pour configurer la clé API Sync Labs
    • sync.so lipsync - generate: Pour traiter la génération lip-sync
    • sync.so lipsync - output: Pour gérer la sortie finale

  2. Connecter les nœuds: Connectez les trois premiers nœuds au nœud generate en entrée, puis connectez à la sortie :

    • Connecter video input à generate
    • Connecter audio/tts input à generate
    • Connecter api key à generate
    • Connecter generate à output
  1. Téléchargez le JSON du workflow depuis ce lien
  2. Glissez-déposez le fichier JSON sur le canevas ComfyUI

Configurer les entrées:

  • Video and Audio: Vous pouvez fournir soit une URL, soit un chemin local en entrée. Pour les fichiers locaux, ils doivent se trouver dans le dépôt ComfyUI que vous utilisez.
  • Loading Local Files: Si vous voulez charger une vidéo ou un audio local, connectez les nœuds d’entrée audio/vidéo aux nœuds LoadVideo/Audio.
  • API key: Saisissez votre clé API Sync Labs dans le nœud api key. Vous pouvez obtenir votre clé API sur la page API Keys.
6

Générer la sortie

Cliquez sur le bouton Run pour lancer le processus de génération lip-sync. Le système traitera vos entrées vidéo et audio pour créer une sortie synchronisée.

Gestion de la sortie:

  • La vidéo lipsync sera automatiquement enregistrée avec le job_id dans un fichier JSON pour référence.
  • Enregistrement manuel: La vidéo peut aussi être enregistrée manuellement en précisant un chemin et un nom de vidéo dans le nœud output.
  • Téléchargement UI: Vous pouvez télécharger la vidéo générée directement depuis l’UI en cliquant sur les 3 points de la vidéo générée puis sur download.

Surveillance des erreurs et suivi des jobs:

  • Les erreurs apparaissent dans le terminal où ComfyUI s’exécute.
  • Pour chaque génération, le job_id et le statut sont automatiquement enregistrés dans /path/to/ComfyUI/output/ dans un fichier JSON.
  • Cela vous permet de suivre la progression et le statut de vos générations lip-sync.

Fonctionnalités

  • Intégration fluide: Fonctionne directement dans l’interface à nœuds de ComfyUI
  • Entrées flexibles: Prend en charge les URLs et chemins de fichiers locaux pour la vidéo et l’audio
  • Workflow en cinq nœuds: Nœuds séparés pour entrée vidéo, entrée audio, clé API, génération et sortie pour une séparation claire du workflow
  • Informations interactives sur les nœuds: Survolez les nœuds pour obtenir des informations supplémentaires sur leur fonction
  • Plusieurs options de sortie: Enregistrement automatique, chemin manuel et téléchargement direct depuis l’UI
  • Surveillance complète: Affichage d’erreurs en temps réel dans le terminal et suivi automatique des jobs avec fichiers de statut
  • Prise en charge des fichiers locaux: Intégration simple avec les nœuds LoadVideo/Audio pour traiter des fichiers locaux

Prérequis

  • Installation de ComfyUI
  • Environnement virtuel Python
  • Clé API Sync Labs
  • Fichiers vidéo et audio (URL ou chemins locaux)

Dépannage

Problèmes d’installation

  • Dépendances: Assurez-vous que toutes les dépendances sont correctement installées via le fichier requirements.txt

  • Erreur de sécurité ComfyUI Manager: Si vous voyez l’erreur “This action is not allowed with this security level configuration” en utilisant “Install via Git URL”, suivez ces étapes :

    Message d’erreur:

    ERROR: To use this feature, you must either set '--listen' to a local IP and set the security level to 'normal-' or lower, or set the security level to 'middle' or 'weak'. Please contact the administrator.
    Reference: https://github.com/ltdrdata/ComfyUI-Manager#security-

    Solution:

    1. Allez dans: ~/comfy/ComfyUI/user/default/ComfyUI-Manager/config.ini
    2. Changez security_level en normal-
    3. Changez network_mode en local
    4. Lancez ComfyUI avec: python main.py --listen 127.0.0.1

Problèmes d’exécution

  • Problèmes de clé API: Vérifiez que votre clé API est valide et que vous avez ajouté un moyen de paiement valide
  • Problèmes de fichier d’entrée: Vérifiez que les fichiers d’entrée sont accessibles et dans des formats pris en charge
  • Accès aux fichiers locaux: Pour les fichiers locaux, vérifiez qu’ils sont dans le dossier du dépôt ComfyUI
  • Surveillance des erreurs: Vérifiez le terminal où ComfyUI s’exécute pour les messages d’erreur en temps réel
  • Statut du job: Consultez les fichiers JSON dans /path/to/ComfyUI/output/ pour vérifier le statut des jobs et dépanner les générations en échec
  • Connexions de nœuds: Vérifiez que tous les nœuds sont correctement connectés (nœuds d’entrée vidéo, d’entrée audio et de clé API vers le nœud de génération, puis nœud de génération vers nœud de sortie)

Ressources associées

  • Lipmode Syncl — découvrir les modèles de lip sync disponibles et leurs capacités
  • [démarrage rapide](/démarrage rapide) — démarrer directement avec l’API Sync Labs