Det här inlägget kommer att förklara följande innehåll:
- Vad är OpenAIs Jukebox?
- Hur fungerar OpenAIs Jukebox?
- Hur använder man OpenAIs Jukebox?
- Funktioner i Jukebox
Vad är OpenAIs Jukebox?
Jukebox är ett system för djupinlärning som kan generera musik från grunden, givet viss input som text, genre, artist eller humör. Jukebox använder ett stort dataset med över 1,2 miljoner låtar från olika källor, som Spotify, YouTube och MIDI-filer, för att lära sig musikens mönster och funktioner.
Hur fungerar OpenAIs Jukebox?
Jukebox består av tre huvudkomponenter: en VQ-VAE-kodare, en transformatoravkodare och en upsampler.
VQ-VAE-kodare
VQ-VAE-kodaren är ansvarig för att komprimera det råa ljudet till en representation med lägre dimensioner som bevarar den väsentliga informationen om musiken. Kodaren använder en teknik som kallas vektorkvantisering (VQ) för att mappa varje segment av ljudet till en av 2048 tokens.
Transformator avkodare
Dessa tokens matas sedan in i transformatoravkodaren, som är ett neuralt nätverk som kan generera sekvenser av tokens baserat på inmatningen och den inlärda musikaliska kunskapen. Avkodaren kan generera tokens som motsvarar text, melodi, harmoni, rytm, klang och andra musikaliska aspekter.
Upsampler
Upsamplern är den sista komponenten som omvandlar de genererade tokens tillbaka till högkvalitativt ljud. Upsamplern använder en annan VQ-VAE för att rekonstruera ljudet från tokens samtidigt som den lägger till detaljer och nyanser som saknas i den lägre dimensionella representationen. Upsamplern kan också använda ytterligare information som genre- eller artistinbäddningar för att finjustera utdata och få det att låta mer realistiskt och mångsidigt.
Hur använder man OpenAIs Jukebox?
För att använda Jukebox behöver du ha tillgång till en kraftfull GPU eller en molntjänst som kan köra Jukebox-koden. Du kan hitta skriptet och instruktioner om hur du installerar och kör Jukebox på GitHub . Du kan också hitta några exempel på låtar som skapats av Jukebox på SoundCloud Nedan:
För att skapa dina egna låtar med Jukebox måste du ange några indataparametrar som text, genre, artist eller humör. Du kan också ange provtagningstemperaturen, som styr hur slumpmässigt och kreativt resultatet blir.
En högre temperatur betyder mer mångfald och nyhet, medan en lägre temperatur betyder mer koherens och likhet med input. Du kan också välja nivån på kvalitet och komplexitet för utdata, från 5b (högst) till 1b (lägst). En högre nivå innebär mer trohet och detaljer, men också mer beräkningstid och resurser.
När du har ställt in dina inmatningsparametrar kan du köra Jukebox-koden och vänta på att den genererar din låt. Beroende på dina inställningar och hårdvara kan detta ta från minuter till timmar eller till och med dagar. Övervaka även framstegen och lyssna på mellanliggande prover längs vägen. När generationen är klar kan du ladda ner din låt som en MP3-fil och njuta av ditt musikaliska mästerverk.
Funktioner i Jukebox
Jukeboxen kan användas för olika ändamål, såsom:
- Skapa originalmusik för personligt eller kommersiellt bruk
- Remixa eller sampla befintliga låtar
- Skapa musik för specifika stämningar, teman eller tillfällen
- Utforska olika genrer och musikstilar
- Ha kul och vara kreativ
Slutsats
Jukebox är ett fantastiskt verktyg som kan hjälpa dig att skapa original och mångsidig musik med minimal ansträngning. Du kan använda den för att experimentera med olika genrer och stilar, för att remixa befintliga låtar eller artister, eller för att uttrycka dina egna känslor och idéer genom musik. Jukebox är dock inte perfekt; det kan ibland producera fel, fel eller meningslösa utdata.