Audio dei video prodotto: controllarlo con Earshot e l'AI

Hai fatto un video demo con l'AI e sembra pronto. Poi lo riguardi: il clic arriva dopo il pulsante, la musica copre la voce. Con Earshot e un agente AI puoi avere una lista di punti audio da sistemare, ognuno con il momento esatto, prima di pubblicare.

Una premessa onesta: non abbiamo installato né provato Earshot, e non abbiamo ascoltato i suoi risultati. Questa pillola parte dagli articoli di Alek e dalla documentazione del progetto. È un metodo di lavoro, non una recensione e non una promessa di risparmio.

Cos'è

Earshot, di Leon Lin, è uno strumento open source che dà le "orecchie" agli agenti che scrivono codice. Trasforma il suono in descrizioni, misure e immagini che un agente può leggere. Secondo il README gira in locale sulla CPU, senza GPU, e si usa da riga di comando, da Python o via MCP (un collegamento che permette a un agente compatibile di usarne le funzioni).

Non è un editor video da usare con il mouse. Lo installa e lo collega chi produce i tuoi video. Tu devi solo sapere cosa chiedere.

Perché serve

Un agente AI monta un video, ma non lo sente. Così i difetti audio li scopri tu all'ultimo momento, o li scopre il cliente.

Earshot ti dà una revisione con indicazioni precise: quale evento, in quale momento, con quale problema. "Al secondo 12 il clic non coincide con l'azione" si corregge in un minuto. "L'audio non convince" no.

Le funzioni che servono qui, secondo il README:

• timeline: gli eventi sonori nel tempo, con livelli, etichette, sezioni e allineamento con i tagli del video.
• sheet: una sola immagine con fotogrammi, eventi annotati, spettrogramma e livelli.
• critique: confronta il video con un profilo ricavato da sette filmati professionali di lancio e restituisce un giudizio e suggerimenti con riferimenti temporali.
• forge: l'agente scrive una "ricetta" sonora in codice, Earshot genera varianti e le valuta, l'agente riscrive la ricetta.

Come si fa

1. Fai preparare l'ambiente. Il README chiede uv e ffmpeg, con ffprobe disponibile. Al primo uso delle funzioni di ascolto scarica due modelli, circa 1,1 GB. Se farai più analisi, meglio il server MCP: tiene i modelli caricati, mentre la riga di comando li ricarica a ogni chiamata.
2. Chiedi una mappa dei suoni. Fai lanciare timeline e sheet sul video. Ottieni gli eventi nel tempo e un'immagine da guardare insieme a chi monta.
3. Usa critique come lista di domande, non come voto. Il profilo descrive uno stile da video di lancio, non il modo giusto di fare ogni video. Una demo tranquilla non ha bisogno di un effetto a ogni cambio di schermata.
4. Correggi una cosa sola. Sposta un effetto, abbassa un livello o togli un suono inutile. Poi analizza di nuovo il file aggiornato e confrontalo con la versione di prima.
5. Ascolta tutto, anche dall'altoparlante del telefono. Si capisce cosa stai mostrando? La musica lascia spazio alla voce? La chiusura accompagna il messaggio senza coprirlo? Queste risposte le dai tu, non il punteggio.

Se chi lavora sul video ha un agente collegato a Earshot, questo è il prompt da passargli:

Se invece commissioni il video a un collaboratore, aggiungi queste righe al brief:

Nel brief chiarisci anche chi prepara gli strumenti, chi può maneggiare i file e chi approva il montaggio. Non serve che tutti diventino tecnici del suono.

Passo avanzato: cambiare il suono, non solo spostarlo. Con forge l'agente può creare un effetto nuovo partendo da una ricetta in codice. Earshot ha anche una banca di effetti salvati come codice, da generare quando servono.

Per un piccolo team, però, il punto di partenza è rivedere quello che c'è già. Un effetto in più non salva una demo confusa. Prima decidi quali azioni meritano un accento sonoro e dove è meglio il silenzio.

Prova piccola

Prendi un video demo che hai già, meglio se corto. Con l'ambiente pronto, fai lanciare solo timeline e chiedi i tre punti più sospetti, con il momento esatto. Vai a quei secondi e ascolta in cuffia e dal telefono.

La prova è riuscita se almeno un punto è un problema vero che non avevi notato, e se la nota è abbastanza precisa da correggerlo senza chiedere altro.

Attenzione a

• Le parole non le sente. La documentazione dice che Earshot rileva la voce ma non ne capisce il contenuto. Questa "trascrizione di ascolto" non trascrive il parlato: testi, nomi di prodotto e pronuncia vanno controllati a parte.
• Misure, non gusto. Le limitazioni dichiarate dal progetto separano le misure dai giudizi. Livelli e tempi sono una cosa; emozione e coerenza con il marchio un'altra. In un mix affollato le etichette degli eventi sono indizi, non certezze.
• La funzione llm manda l'audio fuori. È facoltativa: invia l'audio a Gemini, con una tua chiave e il consenso esplicito. Non fa parte del percorso locale. Con materiale riservato, non attivarla senza aver autorizzato quel trasferimento.
• Licenze. Il codice è MIT (vedi il file LICENSE); il README indica Apache-2.0 per il modello CLAP e BSD-3-Clause per AST. Questo non ti dà il diritto di usare qualsiasi musica o registrazione: controlla ogni materiale, anche quando lo trasformi in una ricetta sonora.
• Le prove sono del progetto. Le note di validazione non sono test indipendenti di Studio Futuro e non dimostrano più vendite o costi più bassi.

Finire il rendering non vuol dire aver finito il video. Lo stesso metodo (regole chiare, una correzione alla volta, controllo finale tuo) funziona anche sul design: leggi come fare il redesign di un'app con l'AI senza rompere il codice.

Fonti: gli articoli di Alek su Medium e Substack, verificati sulla documentazione di Earshot.

In breve: Un video non è finito quando finisce il rendering: fatti dare dall'agente i punti audio da sistemare, al secondo esatto, poi ascolta tu prima di approvare.