Dit is een verslag van het boek The Information van James Gleick. Hij beschrijft het ontstaan van informatie, de verzelfstandiging ervan tot taal, logica en computability en de rol van informatie in evolutie. Ik had gehoopt dat hij door zou tot het gaatje, namelijk door te beschrijven hoe computability of eigenlijk computing centraal staat in co-evoluerende systemen zoals organisaties, maar dat moet ik zelf doen.
Gesproken en geschreven taal
Voor het geschreven woord was er geen formele logica. Er was nauwelijks een mogelijkheid om relaties tussen begrippen met elkaar te vergelijken. Als de begrippen abstracter worden en de relaties complexer dan wordt het teveel informatie om alleen in het menselijk geheugen op te slaan en te analyseren. Het gesproken woord alleen is te fluïde om te analyseren: hoewel syllogismen kunnen bestaan in gesproken en geschreven tekst, is schrift nodig voor een analyse.
Omgekeerd verandert de beleving van mensen ook door het schrift: door gegevens op schrift te stellen wordt het mogelijk om grotere verbanden te leggen dan met alleen de gegevens die bekend zijn uit eigen waarnemening mogelijk is. Die gegevens zijn in dat laatste geval onmiskenbaar en er kan niet aan getwijfeld worden (‘waarom moet ik jou uitleggen wat een boom is: iedereen weet dat, je kan het zelf zien’ of ‘er zijn vast allerlei kleuren beren, geen idee of er witte beren bestaan, hier hebben we alleen zwarte’). Als de bevraagde zou kunnen lezen dan zou zijn antwoord kunnen zijn: ‘vertrouwend op jouw woorden dan zijn er in Nova Zembla witte beren’.
Dan wordt een fundamentele grens overschreden, omdat de gegevens nu niet meer alleen in het geheugen van mensen verblijft, maar ook in het schrift. En het enige dat er nog nodig is is een validatie van de geschreven tekst om het de werkelijkheid te maken.
Woorden en begrippen kunnen met schrift worden geformaliseerd, zodat de definities eenduidig zijn in de tijd (zoveel mogelijk) en voor verschillende gebruikers. Bovendien komt het woord voor een zaak of een begrip nu los te staan van het voorwerp of het begrip zelf. Daarmee is het mogelijk om, abstract van de zaak of het begrip, er toch over te communiceren (‘vertrouwend op jouw woorden’). Daarmee is het mogelijk geworden om logisch te redeneren, dus gevolgtrekkingen te maken, los van de feitelijke zaak of het abstracte begrip. Dit is een voorwaarde voor het ontstaan van logica en wiskunde.
De lexis (het totaal van alle woorden in een taal) groeit exponentieel als het aantal gebruikers van die taal lineair toeneemt. De drijvende kracht is het aantal connecties tussen die gebruikers. Het aantal berichten groeit niet geometrisch maar combinatorisch. Omdat via internet informatie anders wordt verspreid kan ieder (mogelijk) woord opeens een rol krijgen: de schaal is opeens niet meer relevant in de snelheid van de verspreiding van het gebruik van een woord. Een woord kan meteen aan miljoenen mensen worden gebroadcast, aan een specifieke groep ge-narrowcast of ge-whatsapped aan een individu.
Babbage en Lovelace waren de eersten die een machine ontwierpen en gedeeltelijk gemaakt (de machine heeft nooit volledig gewerkt) om bewerkingen op getallen mee uit te voeren. Nu werden – in theorie – getallen los gezien van de bewerkingen op die getallen. Computation was – in theorie – niet meer voor mensen maar kon in principe ook door een machine worden uitgevoerd.
Dissipatieve systemen (Wikipedia)
Dissipation is the result of an irreversible process that takes place in inhomogeneous thermodynamic systems. A dissipative process is a process in which energy (internal, bulk flow kinetic, or system potential) is transformed from some initial form to some final form; the capacity of the final form to do mechanical work is less than that of the initial form. For example, heat transfer is dissipative because it is a transfer of internal energy from a hotter body to a colder one. Following the second law of thermodynamics, the entropy varies with temperature (reduces the capacity of the combination of the two bodies to do mechanical work), but never decreases in an isolated system.
These processes produce entropy (see entropy production) at a certain rate. Thermodynamic dissipative processes are essentially irreversible. They produce entropy at a finite rate. In a process in which the temperature is locally continuously defined, the local density of rate of entropy production times local temperature gives the local density of dissipated power.
A particular occasion of occurrence of a dissipative process cannot be described by a single individual Hamiltonian (frictionless) formalism. A dissipative process requires a collection of admissible individual Hamiltonian descriptions, exactly which one describes the actual particular occurrence of the process of interest being unknown. This includes friction, and all similar forces that result in decoherency of energy—that is, conversion of coherent or directed energy flow into an indirected or more isotropic distribution of energy.
Entropie en informatie
Entropie is de niet-beschikbaarheid van energie. De energie is niet verloren, maar dissipeert tot een andere vorm van energie. Deze gedissipeerde energie is aanwezig, maar niet bruikbaar voor werk. Maxwell: ‘Available energy is energy which we can direct into eny desired channel. Dissipated energy is energy whci we cannot lay hold of and direct at pleasure, such as the confused agitation of molecules which we call heat’.
Szilárd: gemiddeld genomen neemt de entropie globaal toe in een open systeem, maar fluctuaties kunnen ervoor zorgen dat er lokaal toch negatieve entropie productie is. Dat zou, in theorie, de mogelijkheid openlaten voor ‘free energy’, oftewel een perpetuum mobile. Dat bestaat niet, omdat de benodigde informatie niet ‘free’ is. In eerste instantie werd gedacht dat informatie parallel beschikbaar was en niet een intrinsiek onderdeel van het beschouwde systeem. Dus bij het scheiden van snellere van langzamere deeltjes houdt Maxwell’s Demon een administratie bij van de snelheid en de richting van ieder van de deeltjes die potentieel kandidaat zijn om naar de andere kant te worden toegelaten.
Echte informatie is fysiek: de demon laat zien dat er informatie nodig is om de snellere (meer energie) en langzamere (minder) van elkaar te scheiden. Er is dus een conversie van informatie naar energie, een deeltje per keer. Szilárd berekende dat een eenheid informatie precies een toeneming van de entropie opleverde met k Log 2. Dus de keuze of een deeltje wel of niet door mag gaan kost precies 1 bit aan informatie. De afrekening komt aan het eind, wanneer het geheugen, de administratie, wordt geleegd, zie verderop.
Voor een natuurkundige is entropie een maatstaf voor de onzekerheid over de toestand van een fysiek systeem: een bepaalde toestand die mogelijk is tussen alle andere mogelijke toestanden. Die kansen op die toestanden zijn niet allemaal gelijk, dus: S = – Σ pi log pi (Szilárd).
Voor een informatie-theoreticus is entropie een uitdrukking over de onzekerheid over een bericht: een bepaald bericht tussen alle mogelijke berichten die de bron van dat bericht zou kunnen hebben gegenereerd. Dus H = – Σ pi log pi (Shannon).
Eén of ander mechanische procedure om een formule te genereren is in feite een Turing machine. Elk formeel systeem moet daarom onbeslisbare proposities hebben. Iedere wiskunde is niet compleet en incompleetheid volgt uit uncomputability.
Structuur te brengen in een container met gas c.q. om nuttig werk te verrichten brengt dus informatiekosten met zich mee. Een specifiek bericht reduceert de entropie in een ensemble van alle mogelijke berichten. Dus: H is een maatstaf voor onzekerheid. Wiener formuleerde het omgekeerd: H is het aantal Ja / Nee antwoorden dat nodig is om bij een onbekend bericht uit te komen.
Organismen, entropie en informatie
Wij organismen zijn in feite de demon van Maxwell: we zijn de hele dag bezig met het sorteren en organiseren van allerlei dingen. Dit kost maar een beperkte hoeveelheid energie, omdat we in staat zijn om dat intelligent (geïnformeerd, in het Engels ‘apply intelligence’) te doen. We propageren structuur, we verstoren een constante neiging naar evenwicht ten gevolge van de tweede wet. Het zou absurd zijn als we onszelf gaan zien als een (extensie van) een thermodynamisch systeem maar wij (levende organismen) zijn wel steeds bezig met het verminderen van entropie. Waar Maxwell’s demon nog een eenvoudige sorteermachine was, zijn levende organismen niet alleen zeer geavanceerde machines maar in hun voorkomen zelf ook een patroon.
Schrödinger verbaasde zich over de permanentie van biologisch leven. Levende organismen blijven verrasend lang, tijdens hun eigen leven en over generaties. Zijn definitie van leven is eenvoudigweg: ‘zolang het iets blijft doen, zoals eten, reproduceren, bewegen, ect voor een periode die langer is dan verwacht kan worden van iets dat niet leeft’. In het normale geval zou een stuk materiaal na verloop van één of andre periode veranderen in een inerte, grijze, lauwe homp, totdat maximale entropie is bereikt. Leven is in staat om onstabiel te blijven: de stabiele toestand van een levend organisme is dood te zijn.
De essentiële karaktertrek van een metabolisme is dat het in staat is zichzelf te bevrijden van de entropie die het tegen wil en dank zelf produceert. Het voedt zichzelf met negatieve entropie, met orde en scheidt gedegradeerd materiaal uit met een veel hogere entropie, maar niet zo gedegradeerd dat het niet opnieuwe bruikbaar is voor andere levende wezens. Energie is best goed te calculeren, orde niet.
Schrödinger gebruikte al de term ‘gene’ (Wilhelm Johansson, 1910) om de kleinste drager van erfelijke informatie aan te duiden. Deze moesten volgens hem het patroon in zich dragen van het levende organisme waarvan ze de genetische informatie in zich droegen. Dat patroon moest volgens Schrödinger in 4 dimensies worden gezien, namelijk het feitelijke fenotype en het hele pad van de embryologische ontwikkelingen dat aan die verschijningsvorm ten oorsprong lagen.
Gamow noemt de DNA codering in 4-tallig stelsel de ‘number of the beast’, naar de bijbelse Openbaringen. Als één beest in dat stelsel dezelfde code heeft als een andere dan zijn ze identieke tweelingen. Hofstadter legt het verband met een wiskundig systeem: ‘between the complex machinery in a living cell that enables a DNA molecule to replicate itself and the clever machinery in a mathematical system that enables a formula to say things about itself’.
DNA heeft twee functies: het bewaart informatie door zichzelf te copiëren van generatie tot generatie. Gleick illustreert dit als een Bibliotheek van Alexandrië die zichzelf miljoenenen keren kopieert. De andere functie van DNA is om die informatie naar buiten te sturen om er nieuwe organismes mee te bouwen. De informatie overdracht vindt plaats tussen de aminozuren naar de proteïnen en de opdracht in die boodschap is om in 3 dimensies te groeien en de instructies hoe. Die berichten worden dus gepropageerd in een chemisch substraat, analoog aan radio of electrische signalen. Als hun alfabet en grammatica bekend zijn dan zijn ze los te zien van dat substraat.
Crick formuleerde het Central Dogma met betrekking tot de richting van evolutie en het ontstaan van leven: ‘Once ‘Information’ has passed into protein it cannot get out again. In more detail, the transfer of information from nucleic acid to nucleic acid, or from nucleic acid to protein may be possible, but transfer from protein to protein, or from protein to nucleic acid is impossible. Information means here the precise determination of sequence’ . Het CD is bewijsbaar in temen van Shannon entropie in de mogelijke chemische alfabetten. Dus de genetische boodschap is onafhankelijk en ondoordringbaar: geen informatie als gevolg van gebeurtenissen van buiten kan het veranderen.
Dus nu kunnen we het ontwikkelingsproces van een organisme – in evolutionair perspectief – zien als een instructieset waarmee een muis zichzelf bouwt. Dit gebeurt door genen die zichzelf en elkaar aan en uit zetten en een berekening in stappen uitvoeren, een computer dus, een algoritme voor ontwikkeling. Richard Dawkins stelt dan voor om te breken met de idee dat genen door organismes worden gebruikt voor hun voortplanting en ontwikkeling etc. Volgens hem is het in feite andersom: de organismes bestaan voor de meerdere eer en glorie van de genen (The Selfish Gene, 1976). De organismes zijn ‘survival machines’ van genen. Een kip is alleen een manier voor een ei om een ander ei te leggen (Samuel Butler 1878), een wetenschapper is alleen een manier voor een bibliotheek om een andere bibliotheek te maken (Daniel Dennett, 1995).
Richard Dawkins: ‘Genes just are, some more than others, but that is all there is to it’. En in het verlengde kan je stellen: ‘Memes just are, some more than others, but that is all there is to it’. Werner Loewenstein: ‘There is a molecular archaeology in the making…. The history of life is written in terms of negative entropy… What actually evolves is information in all its forms or transforms. If there was something like a guidebook for living creatures, I think, the first line would read like a biblical command, Make thy information larger’.
Richard Dawkins over co-evolutie: ‘Selection favors those genes which succeed in the presence of other genes, which in turn succeed in the presence of them’.
Evolutie, Genes en Memes
Zoals de biosfeer ‘boven’ de wereld van de niet levende materie staa, zo staat er een abstract koninkrijk ‘boven’ de biosfeer. De bewoners van dat koninkrijk zijn ideeën. Zoals organismen kunnen ideeën zich combineren, muteren, zich afscheiden, evolueren en in dat proces moet (één of andere vorm van ) selectie een rol spelen. Ideeën hebben de kracht om zich te verspreiden, nieuwe ideeën voort te brengen en erop verder te bouwen en om zich te laten beïnvloeden door hun omeving en andersom. Op die manier zijn ze, mede door de toegenomen internationale communiccatie, de oorzaak van een enorme versnelling van de evolutie.
Memes (Dawkins 1976) zijn jong op een evolutionaire tijdschaal. Ze drijven nog een beetje rond in hun primordiale soep (de memepool) , hun voortbrengingsmechaanisme is menselijke taal en habitat en plaats waar ze zich voortplanten is het menselijk brein. Ze propageren via imitatie van brein naar brein concurrerend voor ‘braintime’ en bandbreedte, we noemen het aandacht. Ze moeten niet (noodzakelijk) gezien worden als elementaire componenten maar als organismes. Het zijn objecten of zoiets eenduidigs als een kleur, een getal, maar een zelfstandig te overleven bericht. Dennett: ‘a wagon with spoked wheels not only carries grain or freight from place to place, but it also carries the brilliant idea of a wagon with spoked wheels from place to place’. En hetzelfde kan gezegd worden van de hoela-hoep: de mens is, door te hoela-hoepen een geweldige drager van het idee van de hoela-hoep. Door in toenemende mate snellere en meer globale communicatie verspreiden mensen memes steeds effectiever, of de memes zijn steeds beter in staat om zichzelf te propageren.
Computability, randomness of patroon en de mate van interessantheid
Gregory Chaitin: ‘a number is not random if it is computable’. Dus is computability een maatstaf voor randomness. Voor Turing (On Computable Numbers) was computability een Ja of Nee kwaliteit: het is computable of niet. Voor Chaitin waren sommige getallen meer computable dan andere, omdat ze minder random zijn, minder geordend, meer gestructureerd, meer patroon hebben. We kunnen de computability van een reeks bepalen door de lengte van het algoritme te bepalen dat een bepaalde reeks voortbrengt. Dus: gegeven een getal, gerepresenteerd door één of andere string, wat is het kortste algoritme dat die string kan voortbrengen? Dat kan worden uitgedrukt in bits. Dus de algoritmische definitie van Chaitin voor randomness levert een algoritmische definitie van informatie op: de afmeting van het algoritme bepaalt hoeveel het getal (de string) bevat. Als er geen patroon is dan is de string zelf de kortste weergave van die string, maar als er een patroon is dan is het mogelijk om een algoritme te vinden dat die string in kortere bewoordingen weergeeft en voorspelling kan doen over de toekomstige uitkmsten van het systeem dat die string genereert. Dit is Occam’s razor.
Kolmogorov stelt een algoritmische methode voor om de hoeveelheid informatie in een object te bepalen. Hij bedenkt daarvoor de term complexity. Hij definieert dit als het tegengestelde van eenvoud of orde van een getal, een bericht of een dataset in termen van de informatie die het bevat. Hoe eenvoudiger het object, des te minder informatie het bevat en omgekeerd: hoe complexer, des te meer informatie. Zoals Chaitin baseerde ook Kolmogorov zich op het algoritme dat nodig is om zo’n object te beschrijven. Dus wat is het kleinst mogelijke computer programma waarmee dat object kan worden beschreven: kort programma betekent weinig informatie, lang programma, veel informatie. Op deze manier gedefinieerd is het duidelijk, omdat alle computertalen terug zijn te voeren op de Turing Machine. Voor spreektalen is dat niet het geval, omdat die niet op één gemeenschapelijke taal zijn terug te voeren. De Kolomogorov complexiteit is dus het aantal bits dat nodig is om een bepaald object in een computer te programmeren. En dat is tevens de hoeveelheid informatie. En dat is bovendien de mate van randomness.
Kolmogorov ging verder met het berekenen van de complexiteit van dynamische systemen. Het bleek dat dynamische systemen informatie produceren. Als ze onvoorspelbaar gedrag vertonen en de complexiteit neemt toe dan neemt de hoeveelheid informatie toe.
De vraag of een getal interessant is, is de tegenovergestelde vraag of een getal random is. Als een getal met een relatief kort algoritme kan worden beschreven dan is het interessant, anders is het random. Als de enige manier om een getal weer te geven het getal zelf is, dus PRINT [n], dan is het random, maximaal complex en niet interessant. Er is geen enkel patroon in dus er is geen korte uitdrukking voor. Als dat patroon er is dan is dat uitzonderlijk en dus interessant. Maar hoe bijzonder is dat eigenlijk als er een patroon in een getal is te vinden? De meeste getallen zijn random; neem ter illustratie 1.000 bits, waarmee 2^1000 getallen kunnen worden gemaakt. Een kleine minderheid daarvan kan met een computerprogrammaatje van 1.000 bits worden beschreven. Er zijn dus maar weinig interessante getallen.
Welke van die getallen random zijn is lastiger tte bweijzen want door bijvoorbeeld grote hoeveelheden algoritmes aan te maken die losgelaten worden op de te testen getallen en andere algoritmes die dat managen, kom je weer op de Berry paradox uit, namelijk (Chaitin): het kleinste getal waarvan we kunnen aantonen dat het niet beschreven kan worden in minder dan n syllables’. Dit is Chaitin’s versie van het incompleteness theorema, namelijk dat een complex reeks, uitgedrukt in de lengte van het computerprogramma in principe niet computable is, maar of dat het geval is, niet met zekerheid te zeggen is. Chaitin: ‘So now god not only plays dice in quantum mechanics and nonlinear dynamics, but also in number theory’.
Als een string statistisch normaal is dan komt elk cijfer evenveel voor op de lange termijn. Een random sequence is dus statistische normaal. Een niet-random sequence is echter niet noodzakelijk niet-normaal, met andere woorden een getal kan statistisch normaal zijn en niet random. Aan de uiteinden van het spectrum liggen een string van 1mio 0-en respectievelijk 1mio keer een munt werpen. De eerste levert geen verassing en bevat 0 informatie. De tweede levert alleen maar verrassing en bevat veel informatie. Ze hebben gemeenschappelijk dat ze allebei saai zijn, ze hebben geen waarde. Als ze een muziekstuk vertegenwoordigden dan zouden ze allebei waardeloos zijn en als ze een buitenaards bericht zouden bevatten dan zouden we weinig intelligentie aan de afzender toerekenen.
Charles H. Bennett (1988) stelde een waarde van informatie voor, genaamd ‘logical depth’. Dit is een maatstaf zoals complexity, maar haaks erop, namelijk de waarde van een bepaald bericht in zijn domein. De 0en hebben dan geen waarde, de reeks met uitslagen van de opgegooide munt hebben de waarde van het niet opnieuw hoeven uitvoeren van die exercitie. Bennett stelde voor om die kosten en inspanning van het uitvoeren van zo’n berekening moeten meenemen om complexiteit te kunnen begrijpen. Hij paste het begrip ‘logical depth’ toe op zelf-organiserende systemen (hoe complexe structuren ontwikkelen in de natuur). Evolutie begint met eenvoudige beginvoorwaarden en complexiteit ontstaat en bouwt op zijn voorgangers. Dat begint te lijken op eeen vorm van computation.
De kosten van informatie
Von Neumann stelt voor (1949) dat de totale kosten van informatie de som is van de gedissipeerde warmte als gevolg van elementaire beslissing uit 2 opties plus de elementaire transmissie van de uitkomst daarvan.
Rolf Landauer probeert dit zonder succes wiskundig te bewijzen (1960). Hij komt tot de conclusie dat logische operaties geen entropie kosten: als een bit van 1 naar 0 gaat of andersom dan verdwijnt er geen infomatie. Het proces is omkeerbaar, entropie verandert niet, er is geen dissipatie van warmte. Hij redeneerde dat alleen in een onomkeerbaar proces de entropie verhoogt.
De conclusie is, conform de conclusie van Szilárd, dat het uitwissen van informatie energie kost. Dus niet het volgen van de bewegingen van de gasdeeltjes en het bijhouden van de administratie kost energie, maar het uitwissen ervan aan het eind. Informatie is fysiek, het heeft één of andere fysieke verschijningsvorm nodig. Het uitwissen daarvan op de fysieke locatie, dat is het onomkeerbare element in het proces.
Informatie, het behoud ervan en de vermeerdering ervan zijn de drijvende krachten van evolutie. Dus zijn dat de drijvende krachten van het bestaan en de ontwikkeling van een bedrijf. Wordt vervolgd.
