Saltar a la navegación
Plugins y extensiones

ComfyUI

El comfyui-sync-lipsync-node es un nodo personalizado para ComfyUI que genera videos sincronizados con los labios sin problemas dentro de su flujo de trabajo, lo que hace que la sincronización de audio y video sea simple y eficiente.

1

Clonar y configurar ComfyUI

Primero, clone y configure el repositorio ComfyUI. Elija uno de los siguientes métodos:

Instale y utilice Comfy-CLI para una configuración guiada y confiable. Instrucciones completas: https://github.com/Comfy-Org/comfy-cli

# Install comfy-cli 
pip install comfy-cli 
# Install ComfyUI
comfy install
# Clone ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# Set up your virtual environment and dependencies as needed
3

Instale el nodo Sync Labs Lipsync

Hay 3 formas de configurar el nodo de sincronización de labios:

<AccordionGroup>

# Run this inside the custom_nodes folder
comfy node install comfyui-sync-lipsync-node

Esto clonará y configurará las dependencias del nodo de sincronización de labios automáticamente.

Enlace de registro: comfyui-sync-lipsync-node

# Inside the custom_nodes folder
git clone https://github.com/synchronicity-labs/sync-comfyui.git
cd sync-comfyui/
pip install -r requirements.txt

<Accordion title=“Método C: uso de ComfyUI Manager (método GUI)”> Si no siguió el Método A o B, puede instalar a través de la interfaz ComfyUI:

  1. Primero, ejecute ComfyUI: python main.py
  2. Abra la GUI ComfyUI en su navegador.
  3. Haga clic en Administrador en la esquina superior derecha.
  4. Seleccione Instalar mediante Git URL
  5. Pega el URL: https://github.com/synchronicity-labs/sync-comfyui.git
  6. Se le solicitará restart el terminal; hágalo y siga el nuevo enlace. </Accordion> </AccordionGroup>
4

Iniciar ComfyUI

Después de completar el Método A o B, regrese al directorio principal ComfyUI e inicie la aplicación. Si utilizó el Método C (GUI del Administrador), ComfyUI ya se está ejecutando durante la instalación; restartícelo si se le solicita:

cd /path/to/ComfyUI/
python main.py

Aparecerá un enlace en la terminal; ábralo en su navegador para acceder a la GUI ComfyUI.

<Step title=“Configurar el flujo de trabajo”> Elija uno de los siguientes métodos para configurar su flujo de trabajo ComfyUI:

<AccordionGroup> <Accordion title=“Conexión de nodo manual”> Configure el flujo de trabajo conectando manualmente nodos en la interfaz ComfyUI:

  1. Localice los nodos Sync Labs: en la barra lateral izquierda, vaya a la pestaña Nodos y busque Sync Labs. Encontrarás estos nodos exactos:
  • sync.so lipsync - entrada de video: Para configuración de entrada de video
  • sync.so lipsync - entrada de audio/tts: para configuración de entrada de audio o texto a voz
  • sync.so lipsync - api clave: Para configuración de clave Sync Labs API
  • sync.so lipsync - generate: Para procesar la generación de sincronización de labios
  • sync.so lipsync - salida: Para manejar la salida final
  1. Conecte los nodos: conecte los primeros tres nodos al nodo de generación como entradas y luego conéctese al nodo de salida:

  • Conecte entrada de video para generar

  • Conecte entrada de audio/tts para generar

  • Conecte la clave api para generar

  • Conecte generar a salida

    </Accordion> <Accordion title=“Carga directa JSON”>

  1. Descargue el flujo de trabajo JSON desde este enlace
  2. Arrastre y suelte el archivo JSON en el lienzo ComfyUI.</Accordion> </AccordionGroup>

Configurar entradas:

  • Video y audio: puede proporcionar un URL o una ruta local como entrada. Para los archivos locales, deben estar en el repositorio ComfyUI que está utilizando.
  • Carga de archivos locales: si desea cargar un video o audio desde el almacenamiento local, conecte los nodos de entrada de audio/video a los nodos LoadVideo/Audio.
  • API clave: Ingrese su clave Sync Labs API en el nodo api clave. Puede obtener su clave API en la API página de claves. </Step> <Step title=“Generar salida”> Haga clic en el botón Ejecutar para iniciar el proceso de generación de sincronización de labios. El sistema procesará sus entradas de video y audio para crear una salida sincronizada.

Manejo de salida:

  • El video sincronizado con los labios se guardará automáticamente junto con job_id en un archivo JSON para su referencia.
  • Guardado manual: el vídeo también se puede guardar manualmente especificando la ruta deseada y el nombre del vídeo en el nodo de salida.
  • Descarga de UI: Puede descargar el video generado directamente desde la UI haciendo clic en los 3 puntos en el video generado y luego haciendo clic en descargar.

Monitoreo de errores y seguimiento de trabajos:

  • Cualquier error aparecerá en la terminal donde se ejecuta ComfyUI.
  • Para cada generación, job_id y el estado se guardarán automáticamente en /path/to/ComfyUI/output/ como un archivo JSON.
  • Esto te permite realizar un seguimiento del progreso y el estado de tus generaciones de sincronización de labios.</Step>

Características

  • Integración perfecta: funciona directamente dentro de la interfaz basada en nodos de ComfyUI
  • Entrada flexible: Admite URL y rutas de archivos locales para video y audio
  • Flujo de trabajo de cinco nodos: nodos separados para entrada de video, entrada de audio, clave API, proceso de generación y salida para una separación clara del flujo de trabajo
  • Información interactiva del nodo: coloque el cursor sobre los nodos para obtener información adicional sobre su funcionalidad.
  • Múltiples opciones de salida: guardado automático, especificación de ruta manual y descarga directa de la interfaz de usuario
  • Monitoreo integral: visualización de errores en tiempo real en la terminal y seguimiento automático de trabajos con archivos de estado
  • Soporte de archivos locales: Fácil integración con nodos LoadVideo/Audio para procesamiento de archivos locales

Requisitos

  • ComfyUI instalación
  • Python entorno virtual
  • Sync Labs API clave
  • Archivos de vídeo y audio (URL o rutas locales)

Solución de problemas

Problemas de instalación

  • Dependencias: asegúrese de que todas las dependencias estén instaladas correctamente utilizando el archivo requisitos.txt
  • ComfyUI Error de seguridad del administrador: si encuentra el error “Esta acción no está permitida con esta configuración de nivel de seguridad” al utilizar “Instalar mediante Git URL”, siga estos pasos:

Mensaje de error:

ERROR: To use this feature, you must either set '--listen' to a local IP and set the security level to 'normal-' or lower, or set the security level to 'middle' or 'weak'. Please contact the administrator.
Reference: https://github.com/ltdrdata/ComfyUI-Manager#security-

Solución:

  1. Navegue a: ~/comfy/ComfyUI/user/default/ComfyUI-Manager/config.ini
  2. Cambie security_level a normal-
  3. Cambie network_mode a local
  4. Ejecute ComfyUI con: python main.py --listen 127.0.0.1

Problemas de tiempo de ejecución

  • API Problemas con la clave: Verifique que su clave API sea válida y haya agregado un método de pago válido.
  • Problemas con archivos de entrada: verifique que los archivos de entrada sean accesibles y estén en formatos admitidos
  • Acceso a archivos locales: para archivos locales, confirme que estén dentro del directorio del repositorio ComfyUI
  • Monitoreo de errores: verifique el terminal donde se ejecuta ComfyUI para ver si hay mensajes de error en tiempo real
  • Estado del trabajo: revise los archivos JSON en /path/to/ComfyUI/output/ para comprobar el estado del trabajo y solucionar problemas de generaciones fallidas.
  • Conexiones de nodos: asegúrese de que todos los nodos estén conectados correctamente (entrada de video, entrada de audio y nodos clave API al nodo del proceso de generación y nodo del proceso de generación al nodo de salida).

Recursos relacionados

  • Modelo de sincronización labial: conozca los modelos lip sync disponibles y sus capacidades
  • [Inicio rápido](/inicio rápido): comience con Sync Labs API directamente