Kraljeva švedska akademija znanosti v Stockholmu je danes sporočila, da sta John Hopfield z ameriške univerze Princeton in Geoffrey E. Hinton s kanadske univerze v Torontu prejela Nobelovo nagrado za fiziko za leto 2024 za temeljna odkritja in izume, ki omogočajo strojno učenje z umetnimi nevronskimi mrežami. Njuna odkritja so bila velikega pomena za razvoj umetne inteligence, ki je zaznamovala zadnji dve leti.
»John Hopfield in Geoffrey Hinton sta uporabila orodja iz fizike za izgradnjo metod, ki so pomagale postaviti temelje za današnje zmogljivo strojno učenje,« so predstavniki Kraljeve švedske akademije znanosti zapisali v sporočilu za javnost ob podelitvi nagrade.
»Računalniki ne morejo misliti, vendar lahko posnemajo funkcije, kot sta spomin in učenje. Letošnja nagrajenca na področju fizike sta to omogočila,« so še povedali. »Razvoj strojnega učenja se je v zadnjih letih močno razmahnil in uporablja strukturo, imenovano umetna nevronska mreža. Ko govorimo o umetni inteligenci, pogosto mislimo na to vrsto tehnologije.«
Marko Grobelnik: Nobelova nagrada je dokaz, da ne gre za modno muho
»Področje nevronskih mrež, kjer sta nagrajenca imela najpomembnejši doprinos, je sicer staro že okoli 80 let (prvi premisleki segajo v leto 1943) in se je postopoma razvijalo po različnih delih sveta,« je za Dnevnik pojasnil dr. Marko Grobelnik, eden od vodij laboratorija za umetno inteligenco na Institutu Jožef Stefan, strokovni direktor Mednarodnega raziskovalnega centra za umetno inteligenco pod okriljem Unesca ter vodja delovne skupine za spremljanje incidentov umetne inteligence pri OECD. »V polnosti je področje nevronskih mrež zacvetelo po letu 2010, ko so algoritmi za učenje nevronskih mrež, ob pomoči zelo zmogljivih računalnikov, omogočili pomemben preboj na področju prepoznavanja človekovega govora, računalniškega vida in razumevanja naravnega jezika – torej na veščinah, ki so značilne za človeka in jih računalnik do tedaj ni obvladal. Morda najpomembnejši dogodek v razvoju umetne inteligence je bila objava priljubljenega sistema chatGPT (novembra 2022), ki zelo uspešno simulira razumevanje naravnega jezika in je v kratkem času preplavil svet in številne industrije, pri čemer v osnovi temelji na nevronskih mrežah.«
Dodaja, da Hopfield in Hinton zagotovo sodita v ozki krog ljudi, ki so prispevali k razvoju nevronskih mrež, ki so omogočile omenjeni tehnološki preboj. »Seveda pa nista edina, ki bi zaslužila to nagrado – v krog zaslužnih inovatorjev bi zagotovo sodilo še vsaj deset ali več raziskovalcev, ki so v zadnjih desetletjih postopoma razvijali tovrstne algoritme,« dodaja dr. Grobelnik. »Oba nagrajenca pa sta zelo dosledno prispevala k področju že od zgodnjih 80-ih let prejšnjega stoletja in sodelovala pri nekaterih izrazito pomembnih izboljšavah originalnih idej, ki so danes prisotne v skoraj vsakem modernem sistemu umetne inteligence. Posebej izpostavimo t.i. "backpropagation" inovacijo iz leta 1980, ki je še posebej zaznamovala nevronske mreže. Za prebojne rešitve zadnjih let pa je morda najbolj zaslužna ekipa iz Googla, ki je razvila algoritem po imenu "transformer" (ključni članek: https://arxiv.org/abs/1706.03762), ki v osnovi temelji na prispevkih Hopfielda in Hintona, a pomembno razširja pristop, kar je omogočilo "chatGPT" in sorodne sisteme.«
Dr. Grobelnik ocenjuje, da je podelitev Nobelove nagrade za prebojno metodo umetne inteligence nedvomno potrditev širše znanstvene skupnosti in da pri tehnološki revoluciji, katere priče smo, ne gre zgolj za trenutno modo, ampak za pomemben kakovosten preskok v modeliranju sveta. »Rezultati, ki jih danes dosegamo, so presenetili celo znanstveno skupnost, vključno z avtorji. Čeprav vemo, kako stvari delujejo v računalniku, še vedno ne vemo, zakaj delujejo tako dobro. Mnogi raziskovalci, ki delujemo na področju umetne inteligence že desetletja, se strinjamo, da takšnih rezultatov, kot smo jim priča danes, nismo pričakovali v času naših življenj. V tem smislu sta oba nagrajenca dala pomemben prispevek k razvoju umetne inteligence,« je še pojasnil.
V čem pa je pomembnost in moč nevronskih mrež? »Za bolj tradicionalne metode analize podatkov lahko rečemo, da so zasnovane tako, da so bolj ali manj blizu človekovemu razumevanju v smislu delovanja. Sem sodijo standardne statistične metode, diferencialne enačbe, tradicionalne metode umetne inteligence in podobno. Nevronske mreže pa delujejo na način, ki je človeku skoraj popolnoma nerazumljiv,« nam je povedal dr. Grobelnik. »Lahko rečemo, da smo z nevronskimi mrežami ljudje prepustili računalnikom, da se izražajo na njim naraven način. S tem so računalniki izrazito pridobili na moči izražanja. V kombinaciji s skoraj neverjetnim razvojem hitrosti računalnikov in široko razpoložljivostjo podatkov (predvsem podatki s svetovnega spleta) je uporaba nevronskih mrež povzročila tehnološki preboj, katerega smo priča v zadnjih letih. Razvoj pa se ne ustavlja. V naslednjih letih lahko pričakujemo še nove preboje, ki jih dandanes že zaznavamo, niso pa še v široki uporabi.«
Kaj so Hopfieldove mreže?
John Hopfield se je rodil leta 1933 v Chicagu v ZDA, leta 1958 pa je doktoriral iz fizike na Univerzi Cornell. Tesno je povezan tudi s podjetjem Bell Labs. Leta 1982 je izumil posebno vrsto umetne nevronske mreže, ki se imenuje Hopfieldova mreža. Zgrajena je tako, da se izhod vsakega nevrona vrne nazaj kot vhod v druge nevrone v mreži. To ustvari povratno zanko, ki omogoča shranjevanje in priklic vzorcev. Hopfieldova mreža zmore priklicati vzorce tudi na podlagi delnih ali poškodovanih vhodnih podatkov.
Mreža se najprej »nauči« niz vzorcev z nastavitvijo uteži med nevroni na podlagi vhodnih vzorcev. Ko je mreža naučena, ji lahko predstavimo nov vzorec, ki je lahko nepopoln ali poškodovan, mreža pa poskuša poustvariti prvotni vzorec.
Hopfieldove mreže so koristne za strojno prepoznavanje podob, koristijo pa tudi za optimizacijo različnih problemov. So pa omejene, saj lahko shranijo le omejeno število vzorcev in so lahko občutljive na začetne pogoje.
Kaj je Boltzmannov stroj?
Geoffrey E. Hinton je bil rojen leta 1947 v Londonu in je leta 1978 doktoriral na Univerzi v Edinburghu. Trenutno je profesor za računalništvo in informatiko na univerzi v Torontu. Njegova področja raziskav poleg strojnega učenja vključujejo še psihologijo, umetno inteligenco in kognitivne znanosti.
Geoffrey Hinton je znan tudi kot »boter umetne inteligence«, laskavi naziv pa si je prislužil z nadgradnjo Hopfieldove mreže leta 1985 v novo vrsto mreže, ki se imenuje Boltzmannov stroj. Zanj je značilno, da se lahko nauči prepoznati elemente v določeni vrsti podatkov in ni omejen zgolj na prepoznavanje in pomnjenje. Za razliko od Hopfieldove mreže lahko ustvarja tudi nove podatke, ki so podobni tistim, na katerih se je učil. Modelira lahko celo kompleksne podatke, kot so fotografije in govor.
Boltzmannov stroj velja za bolj splošen in bolj zmogljiv model kot Hopfieldova mreža. Ker je bolj kompleksen, ga je tudi težje usposobiti.
