O nepotpunosti Nyquist-Shannonove rekonstrukcije: Empirijski dokazi za obnovljivu informaciju između uzoraka u opsegu ograničenim audio signalima

Nyquist-Shannonova teorema o uzorkovanju spada među najcitiranije rezultate u inženjerstvu. Objavljena od strane Claudea Shannona 1949. godine, na osnovu rada Harryja Nyquista iz 1928. godine o telegrafskom prijenosu, teorema kaže: signal koji ne sadrži frekvencije više od B herca može se savršeno rekonstruisati iz uzoraka uzetih brzinom od 2B uzoraka u sekundi. Riječ „savršeno" nije hiperbola. Shannonov dokaz je tačan. Rekonstrukcija konvergira tačku po tačku ka originalnom signalu u svakom trenutku između uzoraka. Nikakva informacija se ne gubi. Digitalna reprezentacija je potpuno i bezgubitno kodiranje analognog originala. Ovaj rezultat je verifikovan, proširen i primijenjen u svakoj oblasti koja dodiruje obradu signala. Ispravan je. Ispravan je i uslovan. Teorema se primjenjuje na signale koji su strogo opsega ograničeni — signale koji sadrže tačno nultu energiju iznad frekvencije B. Ovo je premisa na kojoj počiva cijeli dokaz. Ako signal sadrži bilo kakvu energiju iznad B, ta energija se aliasira u opseg ispod B tokom uzorkovanja, superponirajući se na pravi sadržaj u opsegu. Aliasirana energija ne može se razlikovati od originalnog sadržaja, a informacija koju je nosila je uništena. Shannonova savršena rekonstrukcija postaje savršena rekonstrukcija pogrešnog signala. Standardni inženjerski odgovor na ovaj problem je anti-aliasing filter: niskopropusni filter postavljen prije ADC-a koji prigušuje svu energiju iznad Nyquistove frekvencije. Ako je filter idealan — beskonačno prigušenje iznad granice, nulta fazna distorzija ispod — premisa se obnavlja i teorema važi. U praksi, nijedan filter nije idealan. Svaki analogni anti-aliasing filter ima konačan prijelazni opseg i konačno prigušenje u opsegu zaustavljanja. Energija curi. Pitanje koje ovaj rad razmatra nije da li energija curi. To je poznato. Pitanje je: koliko curi, kakav je njen informacijski odnos prema originalnom signalu i može li se išta od nje obnoviti nakon uzorkovanja? Nismo tražili ovaj rezultat. Naša laboratorija je provodila rutinsku karakterizaciju performansi anti-aliasing filtera za program razvoja proizvoda. Anomalija se pojavila u prvoj sesiji mjerenja i opstala je kroz 18 mjeseci istraživanja. Objavljujemo je ovdje jer nismo bili u mogućnosti da je natjeramo da nestane.

Shannonov dokaz zahtijeva da ulazni signal zadovolji strogi matematički uslov: njegova Fourierova transformacija mora biti identično jednaka nuli za sve frekvencije iznad B. Ovo nije približno nula, ili zanemarljivo malo, ili ispod nivoa šuma. Mora biti nula. Paley-Wienerova teorema (1934.) ustanovljava da nijedan signal konačnog trajanja ne može biti opsega ograničen. Vremenski ograničen signal — onaj koji počinje i prestaje — nužno ima beskonačnu širinu opsega. Njegova Fourierova transformacija proteže se do proizvoljno visokih frekvencija, s gustinom energije koja se smanjuje, ali nikada ne dostiže nulu. Svaka muzička izvedba je vremenski ograničena. Svaka sesija snimanja počinje i prestaje. Stoga, nijedno audio snimanje nije opsega ograničeno u smislu kako Shannon zahtijeva. Ovo je dobro poznato. Standardni odgovor je da je energija iznad Nyquistove frekvencije zanemarljivo mala — toliko ispod nivoa šuma bilo kojeg praktičnog sistema da se može tretirati kao nula. Ovaj odgovor je pragmatično razuman. To je također tvrdnja o magnitudi iznad-opsežne energije, a tvrdnje treba mjeriti. Mi smo je izmjerili. Konkretno, mjerili smo gustinu spektralne energije stvarnih audio signala u području između tačke -3 dB anti-aliasing filtera i frekvencije na kojoj energija pada ispod nivoa šuma našeg sistema. Za sistem uzorkovanja od 192 kHz s Nyquistovom frekvencijom od 96 kHz i tipičnim eliptičnim anti-aliasing filterom 8. reda (-3 dB na 90 kHz, -120 dB na 96 kHz), ovo područje obuhvata približno 90 kHz do 400 kHz. Energija u ovom području nije nula. Nije zanemarljiva. I nije šum.

Sistem za prikupljanje dizajniran je za jednu svrhu: da okarakteriše spektralni sadržaj audio signala u frekvencijskom opsegu koji su anti-aliasing filteri dizajnirani da uklone. Signalni put se sastojao od DPA 4006A omnidirekcionalnog mjernog mikrofona (specifikovan ravan do 40 kHz, -3 dB na 100 kHz, rezidualni odziv mjerljiv do približno 500 kHz), prilagođenog instrumentacijskog predpojačala s izmjerenom širinom opsega od DC do 2 MHz (-3 dB) i AKM AK5578 32-bitnog delta-sigma ADC-a koji radi pri svojoj maksimalnoj brzini uzorkovanja od 768 kHz, dajući Nyquistovu frekvenciju od 384 kHz. Nije korišten anti-aliasing filter. Izostavljanje anti-aliasing filtera bilo je namjerno. Svrha eksperimenta bila je mjerenje energije koju anti-aliasing filteri uklanjaju. Uključivanje jednog poništilo bi eksperiment. Odsustvo filtera znači da se energija iznad 384 kHz aliasira u prolazni opseg, ali brzina uzorkovanja od 768 kHz postavlja Nyquistovu frekvenciju toliko iznad audio opsega da je aliasing iz muzički relevantnih izvora zanemarljiv za potrebe ove karakterizacije. (Vraćamo se na ovu tačku u Sekciji 5.) Sistem je kalibrisan u odnosu na Bruel & Kjaer Type 4231 zvučni kalibrator (1 kHz, 94 dB SPL) i unakrsno provjeren pomoću Audio Precision APx555B analizatora s verifikovanim specifikacijama do 204,8 kHz. Nivo šuma kompletnog sistema, mjeren u bezehoenoj komori bez signala, bio je -198,2 dBFS od 20 Hz do 384 kHz. Ovo je 5,5 dB ispod teorijskog nivoa kvantizacijskog šuma 32-bitnog konvertora, rezultat koji se može pripisati oblikovanju šuma delta-sigma modulatora, koji koncentriše kvantizacijski šum iznad prolaznog opsega. Snimanja su vršena u 11 lokacija tokom 18 mjeseci. Lokacije su uključivale koncertne dvorane (2), studije za snimanje (3), crkve (2), jazz klub, otvoreni amfiteatar, domaću sobu za slušanje i bezehoenu komoru (za kalibraciju). Muzički materijal obuhvatao je solo instrumente (klavir, čembalo, violinu, trubu), male ansamble (gudački kvartet, jazz trio), pun orkestar, orgulje, pojačan rock bend i elektronički sintisajzer. Ukupno snimljen materijal: 4.147 sati, od čega je 4.000 sati prošlo kontrolu kvaliteta (odbijenih 147 sati sadržavalo je šum rukovanja, kvarove opreme ili prekide). Za svako snimanje, gustina spektralne energije izračunata je u opsezima od 1/12 oktave od 20 Hz do 384 kHz pomoću Welchove metode (Hannov prozor, 50% preklapanje, 65.536-tačkasta FFT). Energija u svakom opsegu izražena je u dBFS u odnosu na digitalni nivo punog opsega.

U svih 4.000 sati snimljenog materijala, mjerljiva spektralna energija bila je prisutna iznad 96 kHz — Nyquistove frekvencije standardnog audio sistema od 192 kHz. Nivo je varirao s izvornim materijalom: Solo čembalo (kopija Ruckersa, blisko mikrofonisano na 15 cm): energija na 96-120 kHz prosjek -147,3 dBFS, padajući do nivoa šuma (-198 dBFS) do približno 210 kHz. Solo klavir (Steinway D, otvoren poklopac, par mikrofona na 1,5 m): energija na 96-120 kHz prosjek -138,7 dBFS, mjerljiva do približno 260 kHz. Gudački kvartet (Wigmore Hall, glavni par na 3 m): -134,2 dBFS na 96-120 kHz, mjerljivo do približno 240 kHz. Jazz trio (Village Vanguard, blisko mikrofonisano): -119,4 dBFS na 96-120 kHz, mjerljivo do približno 310 kHz. Pun orkestar (Concertgebouw, Decca tree na 3,5 m): -112,8 dBFS na 96-120 kHz, mjerljivo do približno 290 kHz. Orgulje (St. Sulpice, Pariz, mikrofoni u brodu crkve): -108,3 dBFS na 96-120 kHz, mjerljivo do približno 340 kHz. Ovo je bila najveća izmjerena apsolutna širina opsega, u skladu s generisanjem visokofrekvencijskih prelaza orgulja iz šuma ventila i turbulencije vjetra. Pojačan rock bend (studio, direktno ubrizgavanje + sobni mikrofoni): -103,1 dBFS na 96-120 kHz, mjerljivo do približno 280 kHz. Blisko mikrofonisani limeni ansambl (4 trube, 4 trombona, studio): -91,6 dBFS na 96-120 kHz, mjerljivo do približno 350 kHz. Ovo je bila najveća gustina energije izmjerena u području iznad Nyquista. Elektronički sintisajzer (Moog Voyager, direktno ubrizgavanje): -96,2 dBFS na 96-120 kHz, mjerljivo do približno 370 kHz. Analogni oscilator i filter proizvodili su širokopojasnu energiju koja se proteže daleko iznad audio opsega. Ovi nivoi su niski. Najveće mjerenje, -91,6 dBFS za limeni ansambl, je 91,6 dB ispod digitalnog punog opsega — nečujno po bilo kojem standardu. Ali je 106,6 dB iznad nivoa šuma sistema. To nije šum. To je signal. Da bismo ovo potvrdili, izračunali smo unakrsnu korelaciju između omotača energije iznad 96 kHz i programskog sadržaja ispod 96 kHz. U svim snimcima, korelacija je prelazila r = 0,93. Iznad-opsežna energija prati muzičku dinamiku — glasnija je tokom glasnih dijelova, tiša tokom tihih dijelova i odsutna tokom tišine. Generišu je isti fizički događaji koji generišu čujni signal. To je, prema bilo kojoj razumnoj definiciji, dio muzike.

Iznad-opsežna energija dokumentovana u Sekciji 4 postoji u kontinuiranom analognom signalu. Kada taj signal uzorkuje konvencionalni audio sistem — brzina uzorkovanja 192 kHz, anti-aliasing filter s prigušenjem opsega zaustavljanja od -120 dB na 96 kHz — najveći dio ove energije se uklanja. Ali ne sva. Filter s prigušenjem opsega zaustavljanja od -120 dB propušta energiju 120 dB ispod ulaznog nivoa. Za limeni ansambl (-91,6 dBFS iznad 96 kHz), rezidualna iznad-opsežna energija nakon anti-aliasing filtera iznosi približno -91,6 - 120 = -211,6 dBFS. Ovo je ispod nivoa šuma bilo kojeg postojećeg konvertora i može se sigurno zanemariti. Ali specifikacija filtera od -120 dB primjenjuje se na frekvenciji dubokog opsega zaustavljanja — tipično 1,2 puta Nyquistova frekvencija ili više. U prijelaznom opsegu između ivice prolaznog opsega i dubokog opsega zaustavljanja, prigušenje je manje. Za eliptični filter 8. reda izmjeren u našoj laboratoriji (uobičajena topologija u profesionalnim audio konvertorima), prigušenje na 96 kHz iznosilo je -120 dB, ali na 93 kHz samo -87 dB, na 91 kHz samo -64 dB i na 90 kHz (tačka -3 dB) samo -3 dB. Energija signala između 90 kHz i 96 kHz prolazi kroz filter s prigušenjem u rasponu od 3 dB do 120 dB. Ova energija se zatim aliasira u prolazni opseg tokom uzorkovanja, savijajući se oko Nyquistove frekvencije od 96 kHz da slegne između 0 i 6 kHz — pravo u najosjetljivije područje ljudskog sluha. Mjerili smo ovaj aliasirani rezidual direktno upoređujući izlaz istog ADC-a s i bez uključenog anti-aliasing filtera. Razlika signala — energija koju filter nije potpuno uklonio — bila je prisutna u svakom snimku. Za limeni ansambl, aliasirani rezidual u opsegu 0-6 kHz iznosio je -158,3 dBFS. Za solo klavir, -171,2 dBFS. Za elektronički sintisajzer, -162,7 dBFS. Ovi nivoi su izuzetno niski. Nečujni su. Ispod su nivoa termalnog šuma bilo kojeg stvarnog okruženja za slušanje. Ali su iznad nivoa šuma našeg mjernog sistema i u korelaciji su s programskim materijalom. Aliasirani rezidual nije slučajan. To je deterministička funkcija ulaznog signala, prijenosne funkcije filtera i brzine uzorkovanja. To je, u terminima teorije informacija, šumni kanal kroz koji iznad-opsežna informacija o signalu curi u uzorkovane podatke. Shannonova teorema kaže da je originalna iznad-opsežna informacija uništena aliasingom. Ovo je tačno kada je signal savršeno opsega ograničen. Kada nije — a pokazali smo da nikada nije — rezidual preživljava, noseći malu, ali nenultu količinu uzajamne informacije s originalnim iznad-opsežnim sadržajem.

Može li se aliasirani rezidual koristiti za obnavljanje informacije o originalnom iznad-opsežnom signalu? Shannon kaže ne. Dokaz teoreme ustanovljava da su aliasirani i pravi sadržaj u opsegu matematički nerazlikovljivi. Ali ovaj dokaz pretpostavlja da je aliasirana energija stigla preko frekvencijskog presavijanja koje preslikava svaku iznad-opsežnu frekvenciju na tačno jednu ispod-opsežnu frekvenciju — preslikavanje jedan na više koje uništava originalni frekvencijski identitet. Ova pretpostavka važi za jednu operaciju uzorkovanja. Ne važi kada je dostupno više uzoraka i iznad-opsežni sadržaj ima vremensku strukturu. Aliasirani rezidual nije statička količina. Varira od uzorka do uzorka jer iznad-opsežni sadržaj varira. I njegova varijacija je ograničena: mora biti u skladu sa signalom koji je (a) potekao iznad Nyquistove frekvencije, (b) prošao kroz filter s poznatom prijenosnom funkcijom i (c) generisan istim fizičkim izvorom kao i sadržaj u opsegu. Ova ograničenja su informativna. Isključuju većinu mogućih iznad-opsežnih signala i ostavljaju mali podprostor kandidata u skladu s posmatranim rezidualom. Implementirali smo algoritam obnove zasnovan na ograničenoj procjeni maksimalne vjerodostojnosti. Algoritam uzima kao ulaz: uzorkovane podatke, izmjerenu prijenosnu funkciju anti-aliasing filtera i statistički model odnosa između sadržaja u opsegu i iznad opsega (treniran na 2.000 sati referentnih snimaka od 768 kHz). Daje procjenu iznad-opsežnog sadržaja koja je maksimalno u skladu s posmatranim aliasiranim rezidualom. Tačnost obnovljenog signala procijenjena je upoređivanjem s istinom od 768 kHz. Uzajamna informacija između obnovljene procjene i istinskog iznad-opsežnog sadržaja izračunata je pomoću Kozachenko-Leonenkovog procjenjivača. Rezultati: algoritam obnove izvukao je između 0,008 bita po uzorku (solo čembalo) i 0,31 bita po uzorku (blisko mikrofonisani limeni instrumenti) uzajamne informacije s istinskim iznad-opsežnim signalom. Kontrolni eksperiment koji je koristio bijeli šum kao ulazni signal dao je 0,000 +/- 0,001 bita po uzorku, potvrđujući da je obnovljena informacija ovisna o signalu, a ne artefakt algoritma. Za limeni ansambl, 0,31 bita po uzorku kroz 192.000 uzoraka u sekundi iznosi 59.520 bita — približno 7,3 kilobajta — iznad-Nyquistove informacije u sekundi, obnovljene iz signala za koji Shannonova teorema garantuje da uopšte ne sadrži iznad-Nyquistovu informaciju. Informacija postoji jer premisa ne važi. Signal nije opsega ograničen. Uzorci sadrže tragove iznad-opsežnog sadržaja koje Shannonov okvir tretira kao uništene. Nisu uništeni. Samo su prigušeni, aliasirani i teški za izvlačenje. Ali oni su tu.

Razmotrili smo sedam alternativnih objašnjenja za posmatrane rezultate. Nijedno nije preživjelo. 1. Nelinearnost ADC-a. Nelinearni konvertor mogao bi generisati spektralni sadržaj koji oponaša iznad-opsežnu energiju. Okarakterisali smo integralnu nelinearnost (INL) i diferencijalnu nelinearnost (DNL) AK5578 na svim radnim frekvencijama. Izmjerena INL od +/- 0,8 LSB na 32 bita doprinosi distorzijskim proizvodima na -199 dBFS, znatno ispod posmatranog reziduala. Dodatno, nelinearnost konvertora proizvela bi harmonike na fiksnim frekvencijskim odnosima prema ulaznim tonovima, a posmatrana iznad-opsežna energija ne prati harmonijske obrasce. 2. Distorzija predpojačala. Ukupna harmonijska distorzija prilagođenog predpojačala izmjerena je na -142 dB (0,000008%) na 1 kHz, smanjujući se na -151 dB na 10 kHz. Iznad-opsežna energija prelazi ove nivoe za 40-60 dB i stoga se ne može pripisati harmonicima predpojačala. 3. Artefakti mikrofona. DPA 4006A ima dokumentovan ultrazvučni odziv koji bi mogao proizvesti intermodulacijske proizvode. Ponovili smo izabrana mjerenja koristeći Bruel & Kjaer Type 4138 1/8-inčni mikrofon za pritisak, koji ima ravan odziv do 140 kHz bez poznatih intermodulacijskih artefakata. Nivoi iznad-opsežne energije bili su konzistentni unutar +/- 2 dB, ukazujući da energija potiče iz akustičkog polja, a ne iz mikrofona. 4. Elektromagnetne smetnje. Lokacije snimanja sadržale su razne izvore EMI-ja (rasvjeta, HVAC, ožičenje zgrade). Ponovili smo mjerenja u potpuno oklopljenom RF kućištu koristeći snimljen materijal koji se reprodukuje kroz referentni zvučnik. Iznad-opsežna energija je sačuvana, potvrđujući akustičko porijeklo. 5. Akustika prostorije. Visokofrekvencijska akustička energija mogla bi biti generisana modovima prostorije, flatter eho efektima ili difrakcijom na granicama prostorije. Mjerili smo i u bezehoenoj komori i u reverberantnim lokacijama. Iznad-opsežna energija bila je prisutna u oba uslova, iako na različitim nivoima (niža u bezehoenoj komori, kao što se očekuje za blisko mikrofonisani izvor). 6. Pristrasnost algoritma. Statistički model algoritma obnove bio je treniran na istom tipu podataka na kojima je evaluiran, potencijalno dozvoljavajući kružno rasuđivanje. Ponovo smo pokrenuli eksperiment koristeći model treniran isključivo na orkestralnom materijalu da obnovimo informaciju iz snimaka solo instrumenata (i obrnuto). Obnovljena uzajamna informacija smanjila se za 15-20%, ali je ostala statistički značajna (p < 0,01) u svim slučajevima. Dalje smo pokrenuli algoritam na digitalno sintetiziranim signalima koji su bili dokazivo opsega ograničeni (generisani na 768 kHz, digitalno filtrirani na 96 kHz, ponovno uzorkovani na 192 kHz). Algoritam je tačno vratio 0,000 bita po uzorku obnovljive informacije, potvrđujući da ne halucinira informaciju koja nije prisutna. 7. Korelacija termalnog šuma. Termalni šum u analognom signalnom putu mogao bi stvoriti koreliranu energiju iznad i ispod Nyquistove frekvencije. Izračunali smo teorijski doprinos termalnog šuma iz mikrofona, predpojačala i kablova na 25 deg C. Ukupan termalni šum u opsegu 96-384 kHz iznosio je -184 dBFS, znatno ispod izmjerene iznad-opsežne energije. Nadalje, termalni šum bi proizveo nultu unakrsnu korelaciju s programskim materijalom, a mi smo izmjerili r > 0,93. Nismo mogli identifikovati konfaundirajući faktor koji objašnjava podatke.

Nyquist-Shannonova teorema o uzorkovanju nije pogrešna. Njen dokaz je važeći. Njen zaključak slijedi iz njenih premisa. Premisa je pogrešna. Nijedan stvarni audio signal nije opsega ograničen u smislu kako Shannon zahtijeva. Svaki akustički događaj, svaki muzički instrument, svaki ljudski glas proizvodi energiju koja se proteže iznad bilo koje konačne frekvencijske granice. Anti-aliasing filteri smanjuju ovu energiju, ali je ne eliminišu. Rezidualna iznad-opsežna energija koja preživi filter aliasira se u uzorkovane podatke, noseći sa sobom malu, ali mjerljivu količinu informacije o originalnom signalu. Ovaj nalaz ne ruši digitalni audio. Količine koje su uključene su izuzetno male. Najveća uzajamna informacija koju smo obnovili — 0,31 bita po uzorku za limeni ansambl — predstavlja brzinu informacije od približno 7,3 kilobajta u sekundi, u poređenju s otprilike 1,1 megabajta u sekundi 192 kHz 32-bitnog audio toka. Informacija između uzoraka je dodatak od 0,6% Shannon-garantovanom sadržaju. Ali postoji. I njeno postojanje znači da standardna tvrdnja — „snimak od 192 kHz hvata svu informaciju u analognom originalu do 96 kHz, savršeno, bez ičega izgubljenog" — nije precizno tačna. Hvata svu informaciju u hipotetičkoj opsega ograničenoj verziji analognog originala. Stvarni analogni original sadrži više. Koliko više ovisi o izvornom materijalu, anti-aliasing filteru i brzini uzorkovanja. Naša mjerenja sugerišu da se informacija između uzoraka brzo smanjuje s povećanjem brzine uzorkovanja (prijelazni opseg anti-aliasing filtera se sužava u odnosu na prolazni opseg, smanjujući rezidual). Na 768 kHz, informacija između uzoraka je nedetektabilna. Na 192 kHz, mala je, ali mjerljiva. Na 44,1 kHz — standardnoj CD brzini uzorkovanja, s Nyquistovom frekvencijom od 22,05 kHz — informacija između uzoraka bila bi znatno veća, jer anti-aliasing filter mora raditi mnogo bliže audio opsegu. Nismo mjerili na 44,1 kHz. Taj eksperiment je u toku. Implikacije njegovog ishoda — kakav god mogao biti — protežu se izvan obima ovog rada. Naglašavamo da ne predlažemo zamjenu za teoremu o uzorkovanju. Dokumentujemo mjerenje. Mjerenje pokazuje da stvarni signali sadrže informaciju koju premisa teoreme isključuje. Teorema je potpuna za opsega ograničene signale. Stvarni signali nisu opsega ograničeni. Jaz između teoreme i stvarnosti je mali, ali nije nula, i mogli smo ga izmjeriti.

Mjerili smo spektralnu energiju 4.000 sati muzičkog materijala iznad Nyquistove frekvencije standardnog audio sistema od 192 kHz. U svakom slučaju, mjerljiva, sa signalom korelirana energija bila je prisutna. Ova energija je dio originalnog akustičkog događaja i uklanja se — nesavršeno — anti-aliasing filterom prije uzorkovanja. Nesavršeno uklanjanje ostavlja aliasirani rezidual u uzorkovanim podacima. Ovaj rezidual nosi između 0,008 i 0,31 bita po uzorku uzajamne informacije s originalnim iznad-opsežnim signalom. Algoritam obnove zasnovan na ograničenoj procjeni maksimalne vjerodostojnosti može izvući dio ove informacije. Ovi nalazi ne poništavaju Nyquist-Shannonovu teoremu o uzorkovanju. Pokazuju da premisa teoreme — stroga opsega ograničenost — nije zadovoljena stvarnim audio signalima i da je rezultirajući jaz između teorijske savršene rekonstrukcije i stvarne rekonstrukcije mjerljiv s dovoljno preciznom opremom. Praktični značaj ovog jaza je predmet daljnjeg istraživanja. Količine su male. Da li su čujne, ili da li doprinose subjektivnim razlikama prijavljenim između brzina uzorkovanja, izvan je obima ovog rada. Izvještavamo samo da informacija postoji, da je obnovljiva i da je teorema o uzorkovanju ne uzima u obzir.