Hola a todos!
Soy Javier, vi que os interesaba el tema en el foro y decidí crearme una cuenta
En cuanto a lo que ya habéis comentado. En la noticia es cierto que no se describe mucho el funcionamiento, pero es bastante sencillo. El modelo de IA es este (
https://github.com/jajimesa/AmpEmulatorModel) y está basado en implementaciones similares que ya realizó la comunidad hace unos años, en concreto, el guiri al que hacía referencia:
acamm escribió:
El modelo se entrena mediante 2 ficheros de aproximadamente 3 minutos de audio, en formato wav (float32, raw). El primero es la señal de la guitarra, en limpio. El segundo consiste en el fichero primero, pero procesado por el pedal o el amplificador a clonar. Seguro que para hacer esto hay mil maneras mejores, pero con mis recursos limitados (una interfaz Focusrite 3rd Gen Solo, con solo una entrada mono y dos salidas L,R stereo), lo que hacía era 1) grabarme tocando muchas cosas, unos tres minutos y 2) reproducir el fichero, sacar la señal por la salida de la interfaz, 3) procesarla por el pedal a modelar y 4) volver a recibirla en la misma interfaz. Es decir, una especie de circuito cerrado, la interfaz reproduce y graba a la vez. Lo dicho, es cutre, pero resultó efectivo con los medios que teníamos!
Una vez el modelo está entrenado, produce un ficherito (en formato json). Abrimos la aplicación (o la versión plugin vst3, para quien quiera usarlo en DAW,
https://github.com/jajimesa/AmpEmulatorPlugin), y seleccionamos el fichero. Y ya estaría.
Me he dado cuenta, por cierto, de que con las últimas actualizaciones quité los perfiles que ya tenía entrenados, tendré que resubirlos lo más pronto posible, cuando saque tiempo. En cuanto a esto:
N456M escribió:
La emulación de Fuzz Face y Klon casi perfectos. El resto ya tiene más desviación. Pero teniendo en cuenta que es una tesina con una Rasperry, estas cosas marcan el futuro.
Efectivamente, el resto de pedales tiene una desviación considerable. El modelo se le da bien replicar efectos que "no introducen dependencias temporales", es decir, efectos como overdrives, compresiones o distorsiones. Cosas como un chorus, reverb, delay o frangers, ya no puede. Al menos con la tecnología en la que me basé originalmente, el año pasado. Igual ahora hay nuevos modelos que pueden lograrlo, pero creo que según qué efectos (por ejemplo, el chorus, si no recuerdo mal, duplicaba la señal de la guitarra, la desafinaba levemente, y la juntaba de nuevo en una sola), merecería más la pena incluso programarlos a pelo, en lugar de confiárselos a la IA. No sé todavía, me gustaría seguir investigar un poco más.
Por último, el proyecto está basado en este pedazo de artículo científico (
https://www.mdpi.com/2076-3417/10/3/766), donde literalmente nos daban a mí y a mis tutores todas las herramientas necesarias para llevar a cabo el proyecto. En un principio la idea me surgió a raíz de todos estos vídeos cortos de Freddie Mercury cantando canciones actuales, y demás, y pensé que el mecanismo que se usa podría ser perfecto para clonar "la voz" de un ampli o un pedal, porque al fin y al cabo, la IA no entiende lo que hace, solo se encarga de predecir con la mayor tasa de acierto posible un comportamiento que le has enseñado a realizar. Al final hubo mucha suerte, porque alguien ya se había lanzado con esta idea (el susodicho paper), y había gente que incluso había creado ya algún pedal también. Lo guapo es que cuando vi el artículo, se me ocurrió el montar un pedal casero con Raspberry Pi, pero alguien se había adelantado. Es decir, no había excusa para no lanzarse a la piscina, si alguien ya había logrado algo así.
En caso de no haber contado con el artículo, hubiéramos tenido que crear un modelo desde cero, que casi es tarea de Trabajo Fin de Máster (en lugar de Grado), e incluso daría para publicar un artículo científico. Seguramente nos hubiéramos quedado ahí, y no hubiéramos dado el paso a hacer la aplicación ni el pedal. Fue la leche encontrar todos los ingredientes a nuestra disposición, si os soy sincero. La idea por tanto, para hacer algo diferente a lo que ya se había hecho, fue crear un pedal con un modelo "WaveNet". En el artículo, se presentan dos modelos diferentes (los dos muy buenos), de entre los cuales destaca en fidelidad al sonido original este, WaveNet. Lo que sucede es que es considerablemente más exigente en recursos computacionales que el otro, por lo que nuestra teoría es que aún nadie se había animado a desplegarlo en ningún dispositivo de baja potencia, como puede ser la Raspberry. Como la Raspberry Pi 5 (mucho más potente que la Pi 4) salió al mercado unos pocos meses antes de iniciar el proyecto, ya teníamos claro que nos la íbamos a jugar, a ver si conseguíamos que funcionara en tiempo real. Y al final funcionó jejeje!
Lo bueno es que después de todo el reconocimiento que nos han dado vamos a poder seguir desarrollando la idea
. Y esta vez, nuestra intención es de investigar y aportar algo nuevo a toda esta gente que lo hizo posible. Espero traeros noticias pronto jejeje.
Si os interesa saber cualquier cosa particular del proyecto, estoy a vuestra disposición.
Un saludo!
