In dit bericht wordt de volgende inhoud uitgelegd:
- Wat is de Jukebox van OpenAI?
- Hoe werkt de Jukebox van OpenAI?
- Hoe de Jukebox van OpenAI te gebruiken?
- Kenmerken van Jukebox
Wat is de Jukebox van OpenAI?
Jukebox is een deep learning-systeem dat vanaf het begin muziek kan genereren, op basis van input zoals songteksten, genre, artiest of stemming. Jukebox gebruikt een grote dataset van meer dan 1,2 miljoen nummers uit verschillende bronnen, zoals Spotify, YouTube en MIDI-bestanden, om de patronen en kenmerken van muziek te leren.
Hoe werkt de Jukebox van OpenAI?
Jukebox bestaat uit drie hoofdcomponenten: een VQ-VAE-encoder, een transformatordecoder en een upsampler.
VQ-VAE-encoder
De VQ-VAE-encoder is verantwoordelijk voor het comprimeren van de onbewerkte audio tot een lager-dimensionale weergave die de essentiële informatie van de muziek behoudt. De encoder gebruikt een techniek die vectorkwantisatie (VQ) wordt genoemd om elk segment van de audio in één van de 2048 tokens in kaart te brengen.
Transformator decoder
Deze tokens worden vervolgens ingevoerd in de transformatordecoder, een neuraal netwerk dat reeksen tokens kan genereren op basis van de invoer en de geleerde muzikale kennis. De decoder kan tokens genereren die overeenkomen met songteksten, melodie, harmonie, ritme, timbre en andere muzikale aspecten.
Upsampler
De upsampler is het laatste onderdeel dat de gegenereerde tokens weer omzet in audio van hoge kwaliteit. De upsampler gebruikt een andere VQ-VAE om de audio van de tokens te reconstrueren en tegelijkertijd details en nuances toe te voegen die ontbreken in de lager-dimensionale weergave. De upsampler kan ook aanvullende informatie gebruiken, zoals genre- of artiest-inbeddingen, om de uitvoer te verfijnen en realistischer en diverser te laten klinken.
Hoe de Jukebox van OpenAI te gebruiken?
Om Jukebox te gebruiken, moet u toegang hebben tot een krachtige GPU of een cloud computing-service die de Jukebox-code kan uitvoeren. U kunt het script en instructies vinden voor het installeren en uitvoeren van Jukebox GitHub . U kunt ook enkele voorbeelden vinden van nummers die door Jukebox zijn gegenereerd op SoundCloud onderstaand:
Om uw eigen nummers te genereren met Jukebox, moet u een aantal invoerparameters opgeven, zoals songteksten, genre, artiest of stemming. U kunt ook de bemonsteringstemperatuur specificeren, die bepaalt hoe willekeurig en creatief de uitvoer zal zijn.
Een hogere temperatuur betekent meer diversiteit en nieuwheid, terwijl een lagere temperatuur meer coherentie en gelijkenis met de input betekent. U kunt ook het kwaliteitsniveau en de complexiteit van de uitvoer kiezen, variërend van 5b (het hoogste) tot 1b (het laagste). Een hoger niveau betekent meer getrouwheid en detail, maar ook meer rekentijd en middelen.
Nadat u uw invoerparameters heeft ingesteld, kunt u de Jukebox-code uitvoeren en wachten tot deze uw nummer genereert. Afhankelijk van uw instellingen en hardware kan dit enkele minuten tot uren of zelfs dagen duren. Houd ook de voortgang in de gaten en luister onderweg naar tussentijdse voorbeelden. Wanneer het genereren is voltooid, kun je je nummer downloaden als MP3-bestand en genieten van je muzikale meesterwerk.
Kenmerken van Jukebox
De jukebox kan voor verschillende doeleinden worden gebruikt, zoals:
- Originele muziek maken voor persoonlijk of commercieel gebruik
- Remixen of samplen van bestaande nummers
- Muziek genereren voor specifieke stemmingen, thema's of gelegenheden
- Ontdek verschillende genres en muziekstijlen
- Plezier maken en creatief bezig zijn
Conclusie
Jukebox is een geweldige tool waarmee je met minimale inspanning originele en gevarieerde muziek kunt maken. Je kunt het gebruiken om te experimenteren met verschillende genres en stijlen, om bestaande nummers of artiesten te remixen, of om je eigen emoties en ideeën uit te drukken door middel van muziek. Jukebox is echter niet perfect; het kan soms glitches, fouten of onzinnige uitvoer produceren.