Intelligenza artificiale per l’audiovisivo

Le IA di nuova generazione sono diventate accessibili per i filmmaker, gli autori, i tecnici audiovisivi, piccole e medie società di produzione e distribuzione.
Genesi, tecniche e possibili applicazioni dell’IA nel mercato audiovisivo
in un corso dal 6 al 22 novembre 2023, in diretta Zoom.

A cura di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale

Introduzione al corso

L’Intelligenza Artificiale (IA), in particolare quella generativa, sta avendo una rapidissima evoluzione. Gli esperti ritengono che stia già innescando una rivoluzione paragonabile a quella dell’ avvento dei personal computer negli anni ‘80 e a quella del web negli anni ‘90.
Il quotidiano di ciascuno di noi (attraverso programmi, servizi, app, social AI-based) e tutti i settori economici, finanziari, culturali e sociali ne saranno influenzati. L’industria cinematografica e audiovisiva subirà, ancora una volta, profonde trasformazioni.

L’Intelligenza Artificiale e il machine learning sono già utilizzati da anni dai grandi studios, soprattutto nel campo degli effetti speciali, e da piattaforme SVOD come Netflix per analizzare dati e scegliere i contenuti da produrre.
Per questione di costi e di competenze interne, l’utilizzo di IA era riservato a majors e multinazionali.
Ora le IA di nuova generazione sono diventate accessibili per i filmmakers, gli autori, i tecnici audiovisivi, piccole e medie società di produzione e distribuzione.

Implementate sui modelli di base (“foundations model”) come quelli di ChatGPT, Midjourney e di altre già famose applicazioni, permettono di utilizzare strumenti e servizi su di esse basati in tutte le fasi di un progetto audiovisivo: dalla scrittura di soggetti e sceneggiature (co-creazione) alla pre-produzione (“text to storyboard”, locations e casting finder), dalla produzione alla post-produzione (upscaling, denoise e video interpolation), dalla distribuzione (analisi dell’audience) al marketing. Non consentono solo risparmi di costi e tempi ma rappresentano un “enzima” per la creatività, permettendo di esplorare paesaggi di possibilità finora nemmeno immaginabili.

Obiettivi del corso
Questo corso introduttivo vuole far conoscere la genesi dell’Intelligenza Artificiale e i principi di base del suo funzionamento. Verranno spiegate tecniche come il “prompt engineering” e il “fine tuning”per sfruttare al meglio le IA conversazionali; saranno presentati strumenti e servizi, anche open source, per la pre e post-produzione, analizzati casi di studio come i cortometraggi e il lungometraggio realizzati con l’ausilio di modelli IA da uno dei docenti, Mateusz Miroslaw Lis, giovane esperto di machine learning, regista e produttore.
Saranno affrontati gli aspetti più controversi, come le insidie etiche della creazione di contenuti con l’IA, i pregiudizi insiti in queste IA, rischi per l’occupazione.
Alla fine del corso si (ri)conosceranno le potenzialità dell’Intelligenza Artificiale, la si potrà iniziare a utilizzare – nelle sue varie declinazioni – per i propri progetti audiovisivi e si sarà in grado di seguirne le rapide evoluzioni.

Programma delle lezioni

Lezione 1 – “Storia e funzionamento dell’Intelligenza Artificiale”- Federico Bo

• Breve storia dell’Intelligenza Artificiale e del machine learning
• Principi di funzionamento delle reti neurali
• Principi di funzionamento dei Large Language Models (LLM)
• Introduzione all’IA generativa

Lezione 2 – “IA per la scrittura cinematografica: prompt-engineering”- Mateusz Miroslaw Lis

• Introduzione all’IA per la co-scrittura
• Principi di Prompt engineering (zero-shot, one-shot, chain-of-thought)
• Text-generation, guida ai parametri di generazione (temperatura, top-p, top-k)
• Processi di scrittura cinematografica tramite IA, case study “Il Diario di Sisifo”

Lezione 3 – “IA per la scrittura cinematografica: fine-tuning e strumenti” – Mateusz Miroslaw Lis

• Transfer learning per modelli in lingue diverse dall’inglese
• Fine-tuning di modelli di IA per generazione specifica
• Best practices per il fine-tuning (Data preparation, Training, Validation, Overfitting)
• Overview dei principali strumenti per la text-generation (modelli GPT, Google Colab)

Lezione 4 – “IA per la pre-produzione” – Mateusz Miroslaw Lis

• Utilizzo dell’IA nella pre-produzione
• Modelli di text-to-image per concept art e storyboard (Stable Diffusion, DALL-E2, etc.)
• Spoglio e piani di lavoro tramite IA
• Budgeting tramite IA

Lezione 5 – “IA per la post-produzione” – Mateusz Miroslaw Lis

• Utilizzo dell’IA nella post-produzione sophia.vision
• Upscaling, denoise e video interpolation
• IA per i VFX (depth maps, re-lighting, style transfer, text-to-video)
• IA per il Sound Design (audio generation)
• Deepfakes, voice transfer e doppiaggio sintetico

Lezione 6 – “Distribuzione ed Etica dell’IA” – Mateusz Miroslaw Lis, Federico Bo

• IA per la distribuzione (matchmaking film-audience, film-festival)
• Etica dell’IA (diritto d’autore, riflessi sull’occupazione)
• IA Generativa, case studies “The Frost”, “Critterz” e altri

Mateusz Miroslaw Lis
Studente di Ingegneria Informatica ed esperto di machine learning, da due anni sperimenta l’utilizzo di IA nel cinema.
Ha co-prodotto e diretto tre corti e un lungometraggio, “Il diario di Sisifo”, realizzati in “collaborazione” con IA conversazionali.

Federico Bo
Ingegnere informatico, da più di quindici anni si occupa del rapporto tra audiovisivo e tecnologie emergenti. Nel 2010 è stato co-fondatore e CTO della startup Cineama che si è occupata di nuove tecnologie, strumenti e metodologie applicate al cinema e all’audiovisivo (vincitrice del contest Working Capital di Telecom Italia e del bando Media europeo per l’Innovazione).

ISCRIVITI AL CORSO (barra la casella tra i corsi online)