Ir para a navegação

ComfyUI

O comfyui-sync-lipsync-node é um nó personalizado para ComfyUI que gera videos sincronizados com os lábios perfeitamente dentro de seu fluxo de trabalho, tornando a sincronização de áudio e video simples e eficiente.

1

Clonar e configurar ComfyUI

Primeiro, clone e configure o repositório ComfyUI. Escolha um dos seguintes métodos:

Instale e use o Comfy-CLI para uma configuração guiada e confiável. Instruções completas: https://github.com/Comfy-Org/comfy-cli

# Install comfy-cli
pip install comfy-cli
# Install ComfyUI
comfy install
# Clone ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# Set up your virtual environment and dependencies as needed
3

Instale o nó Lipsync Sync Labs

Existem 3 maneiras de configurar o nó lipsync:
<AccordionGroup> <Accordion title=“Método A: usando a instalação do Comfy Node (recomendado)”> ```bash

Run this inside the custom_nodes folder

comfy node install comfyui-sync-lipsync-node

Isso irá clonar e configurar as dependências do nó lipsync automaticamente.
> **Link de registro**: [comfyui-sync-lipsync-node](https://registry.comfy.org/publishers/wasilone-sync/nodes/comfyui-sync-lipsync-node)</Accordion>
<Accordion title="Método B: Instalação Manual"> ```bash
# Inside the custom_nodes folder
git clone https://github.com/synchronicity-labs/sync-comfyui.git
cd sync-comfyui/
pip install -r requirements.txt
```</Accordion>
<Accordion title="Método C: usando o gerenciador ComfyUI (método GUI)">
Se você não seguiu o Método A ou B, poderá instalar através da interface ComfyUI:
1. Primeiro, execute ComfyUI: `python main.py`
2. Abra a GUI ComfyUI em seu navegador
3. Clique em **Gerenciador** no canto superior direito.
4. Selecione **Instalar via Git URL**
5. Cole o URL: `https://github.com/synchronicity-labs/sync-comfyui.git`
6. Será solicitado que você reinicie o terminal - faça isso e siga o novo link</Accordion>
</AccordionGroup>
</Step>
<Step title="Iniciar ComfyUI">
Após concluir o Método A ou B, volte ao diretório principal ComfyUI e inicie o aplicativo. Se você usou o Método C (GUI do gerenciador), o ComfyUI já está em execução durante a instalação - reinicie-o se solicitado:
```bash
cd /path/to/ComfyUI/
python main.py

Um link aparecerá no terminal - abra-o em seu navegador para acessar a GUI do ComfyUI.

4

Configurar o fluxo de trabalho

Escolha um dos seguintes métodos para configurar seu fluxo de trabalho ComfyUI: <AccordionGroup> <Accordion title=“Conexão manual de nó”> Configure o fluxo de trabalho conectando manualmente os nós na interface ComfyUI:

  1. Localize os nós Sync Labs: Na barra lateral esquerda, vá para a guia Nós e procure por Sync Labs. Você encontrará estes nós exatos: - sync.so lipsync - entrada de video: Para configuração de entrada de video - sync.so lipsync - entrada de áudio/tts: Para configuração de entrada de áudio ou texto para fala - sync.so lipsync - chave api: Para configuração de chave Sync Labs API - sync.so lipsync - generate: Para processar a geração de lip sync - sync.so lipsync - saída: Para lidar com a saída final
  2. Conecte os nós: Conecte os três primeiros nós ao nó gerador como entradas e, em seguida, conecte-se ao nó de saída: - Conecte entrada de video para gerar - Conecte entrada de áudio/tts para gerar - Conecte chave de API para gerar - Conecte gerar a saída</Accordion> <Accordion title=“Carregamento direto YAML”>
    1. Baixe o fluxo de trabalho JSON neste link
    2. Arraste e solte o arquivo JSON na tela ComfyUI</Accordion> </AccordionGroup> Configurar entradas: - Video e Áudio: Você pode fornecer um URL ou um caminho local como entrada. Para arquivos locais, eles devem estar no repositório ComfyUI que você está usando. - Carregando arquivos locais: se você deseja carregar um video ou áudio do armazenamento local, conecte os nós de áudio/video de entrada aos nós LoadVideo/Audio. - API key: Insira sua chave Sync Labs API no nó API key. Você pode obter sua API key na página Chaves API.
5

Gerar saída

Clique no botão Executar para iniciar o processo de geração de lip sync. O sistema processará suas entradas de video e áudio para criar uma saída sincronizada. Manuseio de saída: - O video sincronizado com os lábios será salvo automaticamente junto com o job_id em um arquivo JSON para sua referência. - Salvamento manual: O video também pode ser salvo manualmente especificando um caminho desejado e um nome de video no nó de saída. - Download da UI: Você pode baixar o video gerado diretamente da UI clicando nos 3 pontos do video gerado e depois clicando em download. Monitoramento de erros e rastreamento de trabalhos: - Quaisquer erros aparecerão no terminal onde o ComfyUI está sendo executado. - Para cada geração, o job_id e o status serão salvos automaticamente no /path/to/ComfyUI/output/ como um arquivo JSON. - Isso permite que você acompanhe o progresso e o status de suas gerações de lip sync.

Características - Integração perfeita: funciona diretamente na interface baseada em nó do ComfyUI

Entrada flexível: suporta URL e caminhos de arquivo locais para video e áudio **Fluxo de trabalho de cinco nós **: nós separados para entrada de video, entrada de áudio, API key, processo de geração e saída para separação clara do fluxo de trabalho - Informações interativas do nó: passe o mouse sobre os nós para obter informações adicionais sobre sua funcionalidade - Várias opções de saída: salvamento automático, especificação de caminho manual e download direto da interface do usuário - Monitoramento abrangente: exibição de erros em tempo real no terminal e rastreamento automático de trabalhos com arquivos de status - Suporte a arquivos locais: Fácil integração com nós LoadVideo/Audio para processamento de arquivos locais

Requisitos - Instalação ComfyUI - Ambiente virtual Python - Chave Sync Labs API - Arquivos de video e áudio (URL ou caminhos locais)

Solução de problemas

Problemas de instalação - Dependências: certifique-se de que todas as dependências estejam instaladas corretamente usando o arquivo requisitos.txt - Erro de segurança do gerenciador ComfyUI: se você encontrar o erro “Esta ação não é permitida com esta configuração de nível de segurança” ao usar “Instalar via Git URL”, siga estas etapas:

Mensagem de erro: ``` ERROR: To use this feature, you must either set ‘—listen’ to a local IP and set the security level to ‘normal-’ or lower, or set the security level to ‘middle’ or ‘weak’. Please contact the administrator. Reference: https://github.com/ltdrdata/ComfyUI-Manager#security-

**Solução:**
1. Navegue até: `~/comfy/ComfyUI/user/default/ComfyUI-Manager/config.ini`
2. Altere `security_level` para `normal-`
3. Altere `network_mode` para `local`
4. Execute ComfyUI com: `python main.py --listen 127.0.0.1`
### Problemas de tempo de execução - **Problemas de API key**: verifique se sua API key é válida e se você adicionou um método de pagamento válido - **Problemas com arquivos de entrada**: verifique se os arquivos de entrada estão acessíveis e em [formatos suportados](/compatibility-and-tips/media-formats-support) - **Acesso a arquivos locais**: Para arquivos locais, confirme se eles estão no diretório do repositório ComfyUI - **Monitoramento de erros**: verifique o terminal onde ComfyUI está sendo executado para mensagens de erro em tempo real - **Status do trabalho**: revise os arquivos JSON em `/path/to/ComfyUI/output/` para verificar o status do trabalho e solucionar problemas de gerações com falha - **Conexões de nós**: certifique-se de que todos os nós estejam conectados corretamente (entrada de video, entrada de áudio e nós principais API ao nó do processo de geração e nó do processo de geração ao nó de saída)
<llms-ignore>
## Recursos relacionados - [Modelo Lipsync](/models/lipsync) - aprenda sobre os modelos lip sync disponíveis e seus recursos - [Início rápido](/início rápido) - comece a usar o Sync Labs API diretamente
</llms-ignore>