VoCo is een audio app die woorden kan veranderen

Onder de noemer VoCo is Adobe bezig een soort Photoshop voor audio te bouwen waarmee je een opname van de menselijke stem zover kunt gaan aanpassen dat die stem andere woorden gaat uitspreken. De software heeft ongeveer 20 minuten aan spraak van een persoon nodig om op basis daarvan nieuwe woorden en zinnen te kunnen bouwen. Tijdens het Adobe MAX 2016 Sneak Peeks evenement werd een demo van de tool gepresenteerd:

Het is een kwestie van tijd voordat zo’n tool vlekkeloos werkt. Dat was met Photoshop immers ook het geval. Dankzij de digitale techniek kunnen we vandaag de dag al best heel veel. In tegenstelling tot analoog kun je digitaal echt onhoorbaar knippen in audio. Zelfs in een woord. En met de huidige techniek kunnen we de toonhoogte van een stem veranderen. We kunnen het formant (resonantie van specifieke frequentie/s) aanpassen om bv van een mannenstem een vrouwenstem te maken. We kunnen de snelheid van de stem versnellen of vertragen terwijl de toonhoogte gelijk blijft. En nog meer van dat soort foefjes. Een soort kleien met audio.

Met gemak knip ik woorden uit een interview. Een poos geleden werd tijdens een interview een achternaam verkeerd uitgesproken. Ik kon het niet over mijn hart krijgen dat de geïnterviewde met die fout op de radio te horen zou zijn en dus sleutelde ik net zo lang totdat het helemaal naturel klonk. En een jaartje terug werkte ik aan een documentairefilm waarin een Indiër voorkwam die ongelofelijk traag sprak. Niet te doen! Als oplossing werd het interview met behulp van software versneld, ook op beeld dus (het moet natuurlijk wel sync lopen!). Het zag er totaal overtuigend uit. Niemand die het doorhad, behalve de man zelf. En zijn vrouw die voor het eerst een beetje trots kon zijn op haar man…

Met een beetje (veel!) geduld kan ik zelfs een synthesizer mijn naam laten zeggen:

Deze VoCo tool zal nieuwe ethische vragen opwerpen. Hetzelfde gold ooit ook voor Photoshop. En nog altijd is daar discussie over. Want hoe ver ga je in het “mooier” maken van fotomodellen? Inmiddels zijn we toch helemaal gewend geraakt aan die onechtheid die we massaal beschouwen als echt. Of hebben we precies in de gaten dat het zwaar gemanipuleerde foto’s zijn? Ik denk het niet, slechts een klein deel van het publiek zal zien dat het niet echt is. Kritisch kijken en luisteren is een vak apart.

De werkelijkheid aanpassen/manipuleren is wat we graag doen. Vaak doen we dat vanuit het oogpunt van esthetiek. Maar we slaan er ook vaak in door. Je ziet het in het gebruik van Photoshop maar ook in het gebruik van Instagram-filters en dergelijke, iedereen slaat een beetje door in het aanpassen van de werkelijkheid. En over 50 jaar zal men zich gaan afvragen: hoe zag het er nu echt uit?

Onlangs zag ik een prachtige expositie van fotograaf Peter Lindbergh in de Kunsthal van Rotterdam. Peter staat bekend om zijn modefoto’s waarin hij de modellen op een rauwe en eerlijke manier fotografeert. Hij onderscheid zich in een modewereld die bol staat van doorgeslagen photoshoppers.

Tja… wat is mooi?

Mede door zo’n tool als VoCo zullen de discussies ook op het gebied van interviews en documentaires gaan komen. Je kunt straks mensen namelijk dingen laten zeggen die ze helemaal niet gezegd hebben. Is het wel ethisch verantwoord? En hoe zit het met de esthetische aspecten?

Net als met Photoshop moeten de mensen opvoed worden: wees je ervan bewust dat dit de werkelijkheid niet is, maar dat deze gemanipuleerd is. En laat ik er duidelijk over zijn: op zich is er niets mis met die techniek. Ik ben voor innovatie. Denk alleen goed na. Werkelijkheid en fictie dienen uit elkaar gehouden te worden. Ja toch?

 

bron, onder andere: The Verge

Planet Elektro: top docu over invloed van elektronische instrumenten op muziek

Gisteravond was de documentaire Planet Elektro op NPO3 te zien. Een prachtige documentaire van 2 uur waarin Leo Blokhuis de relatie tussen elektronische instrumenten en muziek legt.

Vele pioniers kwamen voorbij zoals Thomas Dolby (geweldig als solo artiest maar evenzo geweldig vanwege zijn geweldige producties voor Prefab Sprout), Kraftwerk (helaas zonder interview met de heren zelf), Arthur Baker, Peter Vogel (uitvinder Fairlight sampler), Rick Wakeman, Roger Linn en vele anderen. En Leo ging op bezoek bij Roland, een firma die haar niet populaire budgetapparaten zoals de TR-808 (Marvin Gaye’s Midnight Love drumcomputer) en de TB-303 jaren later zag veranderen in gewilde apparaten die voor altijd de muziek heeft weten te veranderen. Questlove verklaarde in de docu 808 Drum Machine:

“the 808 is the rock guitar of hip hop.”

Het gekke is wel, en dat zou mijn hamvraag voor de firma Roland zijn, waarom heeft Roland nooit besloten om die 808 en 303 gewoon weer in productie te nemen? Men heeft dik 30 jaar niet zitten opletten. Pas dit jaar kwamen de TB-03 en de TR-09 op de markt. En het zijn niet eens exacte reissues, wat voor puristen altijd in verkeerde aarde valt.

Opvallend is eigenlijk dat alle apparaten voor een ander doel gecreëerd zijn. Zo waren de TR-808 en de LinnDrum nooit bedoeld als vervangers voor een drummer. En zo is was eerste sampler, de Fairlight nooit bedoeld om een orkest overbodig te maken. Het was wel het gevolg, wie een LinnDrum gebruikte had geen drummer nodig. En menig media-/filmcomponist gebruikt heden ten dage orkestbibliotheken vol samples, zonder een echt orkest nodig te hebben.

Het zijn nooit de fabrikanten die het doel van het instrument bepalen, dat zijn de muzikanten zelf. Leo Fender heeft de Stratocaster ook niet ontworpen voor waar Jimi Hendrix hem voor gebruikte. En zo gaat het dus altijd. Muzikanten zijn altijd op zoek Een Nieuw Geluid.

De docu Planet Elektro geeft een mooi overzicht door de jaren heen. Het is een verhaal over de invloed ervan binnen de popmuziek. De invloed van electronica op klassieke muziek vond namelijk al veel eerder plaats, mede hierdoor gingen The Beatles er in de late jaren 60 ook mee aan de slag. Het viel overigens samen met Motown die het ook als een van de eersten inzette. Opvallend aan de documentaire is overigens wel dat de pionerinsgdrang van iemand als Stevie Wonder geheel achterwege blijft. Juist door de electronica kon Stevie Wonder zich afzetten wat gangbaar was bij Motown: het werken met de Funk Brothers, de legendarische backing band. Stevie wilde alles zelf doen en was geobsedeerd door de mogelijkheden van synths en elektronica.

Het zijn keuzes die je moet maken als je in 2 uur een groot tijdsvlak wilt behandelen. Het is wel een beetje jammer, want vele verhalen blijven hierdoor onvermeld. Leo had van mij wel een heel jaar, elke week, het over dit onderwerp kunnen hebben. Ik heb een paar creatieve oplossingen om zoiets niet al te kostbaar te maken voor de NPO. Maar goeds, dit terzijde.

Op het eind doet Roger Linn trouwens een vreemde uitspraak. Ik heb Roger zeer hoog zitten (lees ook bv mijn blogpost over de shuffle modus). Roger noemt het toetsenbord een simpele on/off switch en voorspelt de opkomst van meer expressieve instrumenten. Ik verwacht dat ook maar je kunt het beter andere vormen van expressie noemen dan dat je de “simpele on/off switches” als niet-expressief bestempelt. Het orgel, niet aanslaggevoelig en dus inderdaad slechts een on/off switch, is dus niet-expressief? En wat te denken van de piano? Het instrument is wel aanslaggevoelig, net zoals vrijwel alle MIDI keyboards trouwens, maar dus voorzien van dezelfde “simpele on/off switches”. Een 808 is in principe een beperkte drumcomputer net zoals die drumcomputer van Roger zelf, de LinnDrum. Maar het is juist  dankzij deze beperkingen dat wij muzikanten ons kunnen uitdrukken.

Een voorwaarde om je creatief te kunnen uiten is dat er beperkingen zijn. Pas dan kan er sprake van expressie zijn. Het is precies dat wat de documentaire Planet Elektro zo goed aan de orde stelt. Nieuwe mogelijkheden vormen tegelijkertijd een beperking op de gangbare mogelijkheden. Of zoals Johan Cruijf altijd zei: elk voordeel heb z’n nadeel. Elke innovatie levert dus tegelijkertijd nieuwe beperkingen op. 1 stap voorwaarts, 1 stap achterwaarts.

Fabrikanten van muziekinstrumenten denken te vaak in beperkingen. Terwijl muzikanten juist mogelijkheden zien, juist door de beperkingen. Want dát is creativiteit: mogelijkheden zien.

Verplicht kijkvoer dus! Bekijk Planet Elektro hierrrr!

Hoe rock ’n roll via röntgenfoto’s in de USSR verspreid werd

Het is bijna niet voor te stellen in onze tijd met muziek in overvloed, maar vroegâh in de 50-er jaren lag de situatie totaal anders. En al helemaal in de USSR dat in een Koude Oorlog verkeerde met de Yankees. Wie in de USSR rock ‘n’ roll of jazz wilde horen moest een beroep doen op het illegale circuit, de zwarte markt. En daarmee een gevangenisstraf van 2 to 5 jaar riskeren. Dan moet de voor liefde muziek wel heel groot zijn.

Lees verder

Amy (documentaire, 2015)

We delen ons halve privé-leven online. Soms onder naïef geroep dat we “niets te verbergen hebben.” Toch blijven er genoeg zaken over die we echt niet op straat gooien, in de krant of op het bord van Rutte willen hebben.

Voor een popster geldt die privacy niet, daar hebben De Media wel voor gezorgd. Hij of zij moet ervoor knokken om überhaupt nog iets van een privé-leven te kunnen leiden. Een wedstrijd die als verloren moet worden beschouwd zodra de popster overlijdt. In éen klap komt het complete privé-leven van de dode popster volledig op straat te liggen. Nieuwsgierigheid levert immers veel geld op.

Ik was gisteren getuige van zo’n openbaarmaking. In het Filmhuis van Den Haag zag ik de documentaire Amy over het leven van Amy Winehouse. Na afloop kwamen de vragen. Waarom willen wij zo diep in de huid kruipen van die supersterren? Waarom moeten wij dit allemaal willen zien? En met die wij bedoel ik natuurlijk vooral: ikzelf.

Ik zag beelden van Amy die grauw voor zich uitkijkend op een vieze bank in haar appartement zit, compleet van de wereld door een combinatie van drank en heroïne. Gefilmd door haar toekomstige echtgenoot Blake Fielder-Civil. Een griezel.

Ik herinner me liever de beelden van een paar jaar daarvoor. Toen Amy nog stellig overtuigd was dat ze nooit een grote ster zou worden. Omdat ze complexe jazzliedjes schrijft. Zie hoe haar dunne vingers om de hals van haar gitaar complexe akkoordreeksen spelen. Een septiem/mol 5, of een mineur 13, het lijkt allemaal gesneden koek voor Amy. Ze is van de jazz en haat hedendaagse muziek. Met een goed gevoel voor melodie en een dijk van een stem die niet past bij haar fragiele postuur.

Maar ze werd wel succesvol, commercieel en artistiek gezien.

In haar teksten durft ze diep te graven. Haar problematische relatie met de 7 jaar oudere vriend die het naar haar idee ontbreekt aan mannelijkheid verwoordt ze in haar hit Stronger Than Me. De persoon in kwestie krijgt het label “you’re my ladyboy” opgeplakt. Te soft voor Amy. “You should be stronger than me”, zo zingt ze.

Amy heeft tegengas nodig maar krijgt het niet. Moeders is te slap net als pa. Pa Winehouse verzwijgt jarenlang zijn buitenechtelijke relatie en laat uiteindelijk het gezin in de steek. De scheiding vormde voor Amy de aanleiding om haar eigen gang te gaan. Aan tegengas ontbrak het volledig en dus ontspoorde ze al snel. Zelfs toen, vele jaren later, Amy rijp was voor een verplicht bezoek aan de rehab. Ook dit voorval resulteerde in een lied. Eentje waarin ze helder uitlegt hoe het zit. Ze lacht ze allemaal uit, allemaal te slap, inclusief papa:

They tried to make me go to rehab

I said, “no, no, no”

(…)

And if my daddy thinks I’m fine
He’s tried to make me go to rehab
I won’t go, go, go

Het moge duidelijk zijn: pa Winehouse komt er in de documentaire niet goed vanaf. Als de man aan het woord is spreekt hij over Amy in de zin van Zakelijk en nooit en te nimmer als zijnde Zijn Dochter.

De documentaire Amy zit onwaarschijnlijk knap in elkaar. Vrijwel nergens zien we op camera een talking head spreken. Het verhaal wordt voornamelijk verteld aan de hand van privé-beelden en voice-overs van collega-muzikanten, vriendinnen, bodyguards etc. Het gekmakende geluid van de camera’s van de paparazzi die steevast op de loer liggen wordt aangezet met slim sounddesign. De sluiters van de camera’s horen we terwijl de beelden in slow motion voortgezet worden. In het echt kan het niet, maar op beeld werkt het uitstekend. De documentaire zit vol met dit soort subtiele vondsten. Het is al met al een tot in de puntjes verzorgde documentaire.

Schrijnend is hoeveel geld er aan Amy verdiend wordt. Door die gevoelloze idioot van een Blake Fielder-Civil, haar echtgenoot, bijvoorbeeld. De privé-beelden zal hij voor grof geld verkocht hebben aan de documentairemaker. En tijdens de film zijn we getuige van hoezeer die foute pa van Amy gewoon elke Engelse pond uit zijn bloedeigen dochter probeert te persen. Hij overvalt dochterlief zelfs tijdens een vakantie en neemt een camerateam mee dat hem filmt. Alles voor het geld. Privacy, geen.

De documentaire is zowel fascinerend als beschamend. Het laat je dingen zien die je niet zou moeten zien. Omdat ze simpelweg te privé zijn. Arme Amy toch. Als ze terug kon gaan naar de tijd voordat ze beroemd werd, zou ze het zo doen, zo zegt ze ergens in de film. Maar De Media hadden het allang voor haar beslist. Omdat ze geld oplevert.

Edward Snowden toonde aan dat onze eigen overheid ons op grote schaal afluistert en al onze teksten, foto’s en video’s logt. We spreken er schande van want we hebben toch recht op privacy? Maar we vergeten de supersterren. Ook zij hebben recht op privacy. En ook na hun dood. Ook al zijn jij en ik nog zo nieuwsgierig. En ook al kun je er nog zoveel geld aan verdienen.

Geweldige verteltechniek van New York Times en Huffington Post

still uit 'Desperate Crossing'

still uit NYT Magazine

The New York Times is een van dé pioniers op het gebied van multimedia verteltechniek (of te wel: storytelling). In deze documentairevorm vallen beeld, geluid en tekst samen op een manier die weliswaar lineair is opgebouwd maar waar je als eindgebruiker toch op een flexibele manier doorheen kunt klikken en scrollen zonder de lijn van het verhaal te verliezen. Het is een interactieve vorm waarmee de longread, een lang stuk tekst, tot leven komt omdat dan weer een stuk tekst, dan weer prachtige fotografie en dan weer een stuk video de volledige aandacht zal vragen. Een format waarmee de NYT sinds haar productie Snow Fall defintief naam gemaakt heeft. Het resulteerde zelfs in het werkwoord snow falling omdat de hele wereld ermee werd aangestoken en is gaan experimenteren met deze verteltechniek.

Deze maand publiceerde The New York Times de fraaie documentaire Desperate Crossing over de boottochten van 733 Libische vluchtelingen die de oversteek naar Italië proberen te maken, waaronder 59 kinderen onder 5 jaar (!).

En ook The Huffington Post bleef niet achter. Ook zij investeerde de afgelopen tijd flink in deze multimedia verteltechniek. Het resulteerde in het onwaarschijnlijk verhaal van 4 moeders van ISIS strijders: Mothers Of ISIS. Ook hier is de verteltechniek adembenemend mooi.

Natuurlijk, het web biedt alle media-typen die we in de oude wereld voor het web ook al kenden. Maar het bundelen van die media-typen is iets nieuws, dat is toch echt iets dat alleen het web mogelijk heeft gemaakt. Het is naar mijn idee de presentatievorm voor het vertellen van verhalen die de meeste mogelijkheden biedt. Een vorm waarin de gebruiker zelf het tempo bepaalt, zoals met lezen ook het geval is, maar met de aanvullende mogelijkheden van geluid en bewegend beeld.

Deze moderne documentairevorm vraagt om goeie teksten, goeie fotografie, goeie audio en/of video en bovenal: een perfect werkende webpagina met een groot gebruikersgemak. We staan daarin nog maar aan het begin. Wat dus een te gekke uitdaging betekent!

De nieuwe prachtfilm van Wim Wenders: The Salt of the Earth

Er zijn maar weinig filmmakers waar ik gevoelsmatig een klik mee heb. De meesten maken lompe epische meuk waar ik niets mee kan. Zonder oog en oor voor details en zonder die essentiële balans tussen geluid en beeld te willen doorgronden. Het resulteert niet in schoonheid maar in lelijkheid.

Ik haat die lelijkheid. Het cynisme. Je eigen publiek niet serieus willen nemen. Alles puur voor de kijkcijfers doen. De bekende saaie weg nemen. Het ontneemt de kijker de kans om beter te kijken en beter te luisteren. De kijker leert niets maar wordt slechts vermaakt. Ik haat dat.

Wim Wenders vormt hierop een uitzondering. Gisteren zag ik zijn nieuwste film, de documentaire The Salt of the Earth over de Braziliaanse fotograaf Sebastião Salgado. Zijn foto’s vormen een venster naar een wereld die ver van ons af lijkt te liggen. Foto’s waar wij misschien zelf niet graag naar willen kijken. Salgado is begaan met het lot van de mensen die hij fotografeert. Je voelt zijn empathie als je door zijn lens meekijkt. Het zijn mensen die er niet voor kozen op op te groeien in het verkeerde deel van de wereld. Maar hun lot had ook ons lot kunnen zijn. Salgado maakt het invoelbaar en dichtbij.

De foto’s zijn van een ongekende schoonheid en gruwelijk tegelijk. Het is des Hollywoods om dit soort beelden te voorzien van zware pathetische muziek. Grotesk orkestwerk om de diepe eenzaamheid nog meer te benadrukken. Maar het zou deze beelden overschreeuwen en ontsieren. Wim kiest echter voor klein. De rustige muziek van Salt zit de beelden nooit in de weg maar ondersteunt ze subtiel. Veel van de stilstaande beelden, de foto’s zijn voorzien van fonografische geluiden om de beelden auditief wat meer in te kleuren. Ze komen tot leven. Zo hoorde ik het geluid van krekels, een menigte van mensen, het ruisen van de bomen, bij diverse stills.

The Salt of the Earth is van een gevoelige tederheid die je in de cinematografie nog zelden aantreft. Het is een meesterlijke documentaire.

Met Wim zou ik ooit willen werken. Misschien moet ik alles op alles zetten om dat te bereiken. Omdat dit werk me zo diep raakt. Met mijn muziek en geluiden wil ik ook iets wezenlijks raken. Geen plat sentiment of puur vermaak, maar een diepere laag waardoor je meer gaat voelen. Stimuli voor het hart. Mijn antwoord op al die lelijkheid die ik zo haat.

fotograaf: Sebastião Salgado

fotograaf: Sebastião Salgado