Modelos React

react-1 introduz o primeiro primitivo de controle de desempenho para edição de vídeo. Como um modelo de cabeça falante de IA expressivo, react-1 pode sincronizar os movimentos dos lábios, expressões faciais e movimentos de cabeça para corresponder a um áudio alvo, enquanto segue um comando emocional. Descrevemos abaixo alguns fluxos de trabalho que são possíveis apenas usando react-1.

Principais Características

• Modos do Modelo: Você pode escolher qual região facial editar: apenas a boca, ou as expressões faciais, ou até mesmo os movimentos de cabeça
• Sincronização labial expressiva: react-1 opera em uma região facial muito maior, proporcionando os movimentos dos lábios mais expressivos que correspondem à fala
• Expressões Faciais: expressões faciais reescritas usando um comando emocional, e cada microexpressão está perfeitamente sincronizada com a fala.
• Movimentos de Cabeça: react-1 também pode sincronizar seus movimentos de cabeça para corresponder ao ritmo, prosódia e entonação do novo diálogo.

Modos do Modelo

O modelo pode ser controlado com três modos de operação: lips, face e head.

Isso permite que você especifique a região espacial que deseja editar. Você pode optar apenas pela lip sync, ou adicionalmente escolher expressões faciais ou movimentos de cabeça também. O padrão é face.

Comandos Emocionais

Você pode guiar as expressões faciais especificando os comandos emocionais. Você também pode optar por não especificar um, nesse caso, o modelo seguirá o contexto emocional do vídeo de entrada. Veja o uso abaixo para mais detalhes.

Uso

react-1 está disponível através do mesmo endpoint da API /v2/generate usado para lip sync padrão, com parâmetros adicionais para controlar os efeitos emocionais e de movimento.

from sync import Sync
from sync.common import Audio, Video, GenerationOptions
sync = Sync()
response = sync.generations.create(
    input=[
        Video(url="https://assets.sync.so/docs/example-video.mp4"),
        Audio(url="https://assets.sync.so/docs/example-audio.wav")
    ],
    model="react-1",
    options=GenerationOptions(
        prompt="happy",
        model_mode="face"
    )
)

Melhores Práticas

Limitações Atuais

Os seguintes recursos ainda não são suportados para react-1:

• Duração da Entrada: react-1 suporta entradas de até 15 segundos de duração. Para conteúdos mais longos, considere dividir seu vídeo em segmentos.
• Segmentos: Geração multi-segmento com diferentes entradas de áudio não está disponível. Processe cada segmento separadamente, se necessário.
• Seleção de Falante: A opção active_speaker_detection não é suportada, incluindo tanto a detecção automática (auto_detect) quanto a seleção manual via caixa delimitadora ou número de quadro. Certifique-se de que seu vídeo de entrada contenha um único falante claramente visível.
• Detecção de Oclusão: A opção occlusion_detection_enabled para lidar com rostos parcialmente ocultos não está disponível para react-1.

Quando usar react-1

react-1 é ideal para:

• Conteúdos de curta duração (≤ 15 segundos) que exigem expressões emocionais
• Vídeos onde movimentos naturais de cabeça melhoram o resultado
• Conteúdos que se beneficiam de expressões faciais conscientes de emoções
• Projetos onde você deseja resultados de lip sync mais dinâmicos e expressivos

Para conteúdos mais longos (> 15 segundos) ou quando você só precisa de lip sync padrão, considere usar lipsync-2 ou lipsync-2-pro.

Preços

react-1 está disponível em planos de assinatura pagos (Creator e acima). O preço é baseado no uso a 25 fps e difere dos modelos de lip sync - cada modelo Sync Labs tem sua própria taxa por segundo.

react-1 é o modelo mais expressivo e tem um preço mais alto do que os modelos de lip sync. Veja a página de preços para uma comparação completa.

Perguntas Frequentes