Modelos React

react-1 introduce el primer control primitivo de performance para edición de video. Como modelo de AI talking head expresivo, react-1 puede sincronizar los movimientos de labios, las expresiones faciales y los movimientos de cabeza para que coincidan con un audio de destino, mientras sigue un prompt emocional. A continuación describimos un par de workflows que solo son posibles con react-1.

Funciones clave

• Modos del modelo: puedes elegir qué región facial editar: solo la boca, las expresiones faciales o incluso los movimientos de cabeza
• Expressive lipsync: react-1 opera sobre una región facial mucho más grande, lo que te da los movimientos de boca más expresivos que coinciden con el habla
• Expresiones faciales: las expresiones faciales se reescriben usando un prompt de emoción, y cada microexpresión queda perfectamente sincronizada con el habla.
• Movimientos de cabeza: react-1 también puede sincronizar tus movimientos de cabeza para que coincidan con el ritmo, la prosodia y la entonación del diálogo nuevo.

Modos del modelo

El modelo se puede controlar con tres modos de operación: lips, face y head.

Esto te permite especificar la región espacial que quieres editar. Puedes optar solo por lipsync, o también elegir expresiones faciales o movimientos de cabeza. El valor predeterminado es face.

Prompts de emoción

Puedes guiar las expresiones faciales especificando prompts de emoción. También puedes no especificar ninguno, en cuyo caso el modelo seguirá el contexto emocional del video de input. Consulta el uso a continuación para ver más detalles.

Uso

react-1 está disponible mediante el mismo endpoint de API /v2/generate que se usa para lipsync estándar, con parámetros adicionales para controlar los efectos emocionales y de movimiento.

from sync import Sync
from sync.common import Audio, Video, GenerationOptions
sync = Sync()
response = sync.generations.create(
    input=[
        Video(url="https://assets.sync.so/docs/example-video.mp4"),
        Audio(url="https://assets.sync.so/docs/example-audio.wav")
    ],
    model="react-1",
    options=GenerationOptions(
        prompt="happy",
        model_mode="face"
    )
)

Buenas prácticas

Limitaciones actuales

Las siguientes funciones todavía no son compatibles con react-1:

• Duración del input: react-1 admite inputs de hasta 15 segundos de duración. Para contenido más largo, considera dividir tu video en segmentos.
• Segmentos: la generación multisegmento con diferentes inputs de audio no está disponible. Procesa cada segmento por separado si es necesario.
• selección de hablante: la opción active_speaker_detection no es compatible, incluida la detección automática (auto_detect) y la selección manual mediante bounding box o número de frame. Asegúrate de que tu video de input contenga un solo speaker claramente visible.
• Occlusion detection: la opción occlusion_detection_enabled para manejar rostros parcialmente ocultos no está disponible para react-1.

Cuándo usar react-1

react-1 es ideal para:

• Contenido corto (≤ 15 segundos) que requiere expresiones emocionales
• Videos donde los movimientos naturales de cabeza mejoran el resultado
• Contenido que se beneficia de expresiones faciales conscientes de la emoción
• Proyectos donde quieres resultados de lipsync más dinámicos y expresivos

Para contenido más largo (> 15 segundos) o cuando solo necesites lipsync estándar, considera usar lipsync-2 o lipsync-2-pro en su lugar.

Precios

react-1 está disponible en planes de suscripción de pago (Creator y superiores). El precio se basa en uso a 25 fps y difiere de los modelos de lipsync. Cada modelo de Sync Labs tiene su propia tarifa por segundo.

react-1 es el modelo más expresivo y tiene un precio más alto que los modelos de lipsync. Consulta la página de precios para ver una comparación completa.

FAQs