Нейросеть Stable Diffusion знакома многим. Она разрешает генерировать стереоизображения по текстовому описанию. Но, как попало, с её поддержкой можно также формировать и музыку. Сущность в том, что система может формировать аудиоспектрограммы — визуальные стереоизображения звуковых частот в треке. После этого нужно лишь «отразить» приобретенный звук. В спектрограмме (или сонограмме) на оси изображен распорядок воспроизведения частот слева вправо. По оси Y размещаются данные о частотах звука, а колер пикселей задаёт амплитуду звука в любой момент часы. Нейросеть обучили на сонограммах, какие характеризуют гармоничные жанры или звуки. В итоге вышла Riffusion — нейросеть, способная генерировать звук из стереоизображения, какое создаётся по текстовому описанию. Для вывода именно тропинки используется Torchaudio. При этом разработчики смогли понудить нейросеть генерировать таковые аудиоклипы, какие могли бы плавно «перетекать» дружище в дружище. То есть, темп музыки не меняется обвально. Веб-интерфейс можно захватить тута. Нейросеть скачать можно тут. Рискнуть онлайн тута. Сгененрировать спектрограмму тута. Прежде передавалось, что мастера взялись натуральную борьбу против нейросети на ArtStation.