Eliminar un objeto de un vídeo con una red neuronalGeneración de vídeo con IA: el libro completo

Eliminar un objeto de un vídeo

Quitar un transeúnte al azar, un logotipo, un cable o un objeto que arruina el encuadre es rutina desde hace tiempo en una foto (un capítulo aparte en la guía de imágenes). En vídeo la tarea es más difícil: hay que quitar el objeto no en un fotograma sino en todos a la vez, y de modo que el fondo detrás de él sea creíble en movimiento. Los modelos actuales saben hacerlo.

Por qué es más difícil en vídeo que en una foto

En una foto la red rellena el fondo detrás del objeto una vez. En vídeo el mismo fondo hay que construirlo a lo largo de decenas de fotogramas — y de forma coherente: que el "parche" no tiemble, no cambie de textura y coincida con el movimiento de cámara. Esto se llama video inpainting. Por eso el resultado depende mucho de lo que hay detrás del objeto: una pared lisa o el agua se recuperan fácil, un fondo complejo en movimiento es más difícil.

Sube un clip, marca lo de más — mira el encuadre sin ello. El procesamiento de vídeo cuesta más que el de foto: la primera operación está disponible tras registrarte y el onboarding — que concede tokens iniciales.

Загрузка…

Para que salga limpio

  • Un fondo simple detrás del objeto se recupera mejor. Si detrás del objeto de más hay una superficie lisa o una textura repetitiva, el resultado es casi perfecto.
  • Un movimiento de cámara mínimo simplifica la tarea: con un travelling fuerte, al modelo le cuesta más mantener el "parche" estable.
  • El objeto no debe tapar lo principal. Si detrás del transeúnte hay una cara, la red la inventará, y el parecido se resentirá.
  • Comprueba los bordes en el tiempo. A veces el "parche" tiembla apenas en un par de fotogramas — visible solo en movimiento, no en un fotograma fijo.

Dónde se necesita

  • Limpiar el material — quitar personas al azar, equipos, un micrófono en el encuadre.
  • Quitar marcas de agua y logotipos — con la salvedad de los derechos (limpiar el contenido ajeno para hacerlo pasar por propio no es buena idea).
  • Publicidad y producción — quitar atrezo sobrante sin volver a rodar.

Qué sigue

Ese fue el último capítulo sobre el trabajo con vídeo terminado — a continuación el libro pasa a la aplicación: cómo hacer clips para tareas concretas. Empecemos por el más extendido — vídeo para redes sociales. Y el sonido y las imágenes para los clips se hacen en las guías vecinas: locución y una voz para vídeo, música y una pista de fondo y generación de imágenes.


En el chat de Twelver puedes subir un clip y quitarle lo de más — en una conversación, sin apps aparte. Los tokens iniciales para el procesamiento de vídeo se conceden tras registrarte y el onboarding.

Pruébalo tú mismo

Todo lo de esta guía funciona en Twelver

Un chat para texto, imágenes, vídeo, música y voz — sin servicios ni suscripciones aparte.

Abrir el chat de Twelver
Оцените свой опыт