Noiz sortua: 2020-06-19 00:30:00

Zientzia. ARGI ALDIAN

Tamainak inporta al du?

Gorka Azkune - EHUko Informatika fakultateko irakaslea eta ikerlaria

2020ko ekainak 19

Erantzun laburra: bai. Orain zuen arreta neureganatu dudanez, espero dut hurrengo lerroetan ere irakurtzen jarraituko duzuela, nahiz eta neurona-sareen tamainari buruz dihardudan. Azken egunotan argitaratu den zientzia artikulu baten ildotik, neurona sare baten tamainaren ingurukoak kontatzea interesgarria izan daitekeela pentsatu dut. Historia pixka batekin hasiko gara.

Neurona sare sakonen iraultzak 2012. urtean hartu zuen indarra. Orduan argitaratu zen AlexNet sareak (bai, sareei izenak jartzen dizkiegu) 60 bat milioi parametro zituela. Horrek esan nahi du sarea osatzen duten neuronen artean 60 bat milioi konexio daudela. Giza burmuinarekiko analogia eginez, guk parametro deitzen duguna sinapsiaren parekoa da; hots, neuronen arteko konexioak. Konturatu bazarete, ez ditugu neuronak zenbatzen, euren arteko konexioak baizik, hor gertatzen baita ikasketa.

Baina 60 milioi asko al da? Hasiera batean baietz dirudi, ezta? Bada kontu egin hiru urteko umetxo batek 10^15 sinapsi dituela estimatzen dela. Zenbaki horri nola esaten zaion ere ez dakit. Pentsa: hamabost zeroko zenbakia. AlexNet sareak zazpi zero ditu. Horrela ikusita, nahiko txikia. Baina azken zortzi urteetan gure neurona sareak handiagotuz joan dira. 2018an 100 milioitik 300 milioira pasatu ginen (zortzi zeroko zenbakiak). Urtebete geroago, 1.500 milioi parametroko sare bat argitaratu zen, bederatzi zeroko zenbakietan sartuz. Urte hartan 11.000 milioi parametrotara iritsi ginen, hamar zeroko zenbakia, alajaina! Aurten, 17.000 milioirekin hasi ginen eta jada argitaratu dute 175.000 milioi parametro dituen sare erraldoi bat. Horrek esan nahi du hamaika zeroko zenbakietara iritsi garela parametro kopuruan. Zortzi urtean 60 milioitik 175.000 milioira pasatu gara. Erritmo berean jarraituz gero, eta ez dugu inongo bermerik hala izango denik, beste zortzi urte beharko genituzke giza burmuinaren pareko konexio kopuruetara iristeko.

Beraz, nahikoa al da neurona-sare baten tamaina handitzea «boteretsuago» bilakatzeko? Ez. Adibide politena ikusmen artifizialean topa dezakegu. AlexNet sarea irudiak prozesatzeko diseinatu zen bere 60 milioi parametrorekin. Gaur egun, ordea, beste sare batzuk erabiltzen ditugu, nabarmen hobeto funtzionatzen dutenak. Eta hara, 60 milioi parametro inguru dituzte baita ere! Ezberdintasunak arkitekturetan daude, hots, neurona horiek elkarren artean nola dauden lotuta, baita ikasketa planteatzeko moduan ere.

Baina tamainak badu garrantzia, bai. Egunotan argitaratu den 175.000 milioiko sare erraldoia lengoaiak prozesatzeko egin dute, eta hainbat emaitza interesgarri erakutsi dituzte. Bide batez, GPT-3 izena jarri diote sareari eta OpenAI enpresa estatubatuarrak garatu du. Ikusi nahi izan dute ea sare erraldoi hauek hobeto lortzen al duten entrenatuak izan ez diren arazoetara egokitzea. Gizakiok oso ondo egiten dugu hori, baina neurona-sare artifizialei ikaragarri kostatzen zaie. GPT-3 sareak, ordea, pauso bat aurrera eman du alor horretan, eta egileen esanetan, tamainarekin erlazionatuta dago gaitasun hori. Beraz, bai, tamaina garrantzitsua da, zalantzarik gabe. Baina ez da faktore bakarra. Asko dugu ikasteko oraindik!

Goizeko buletina

BERRIAren papereko edizioaren gai nagusiak biltzen ditu egunero (astelehenetan salbu). Goizean goiz iristen da zure posta elektronikora.

Albiste gehiago

Covid-19 daukaten gaixoak zaintzen duten bi erizain besarkatzen 55 egun gaixo zeraman gizon bat sendatzean. ©Andoni Lubaki / Foku

Koronabirusaren azken datuak

Berria

Euskal Herrian 31.166 gaixok eman dute positibo guztira, koronabirusa atzemateko probaren bat eginda. Horietatik 2.150 hil dira. Grafikoak, albiste barruan.

ENDIKA PORTILLO / FOKU ©Lehen arretako profesionalen protesta bat, iaz, Gasteizen.

Hildako bat eta 15 kutsatu gehiago izan dira, datu ofizialen arabera

Ane Eslava

Egoera «kontrolpean» dagoen arren, «zuhurtzia» eskatu du Nekane Murga Jaurlaritzaren Osasun sailburuak. Nafarroan ez da kasu berririk egon. Lehen arretako langileek protesta egin dute Bilbon.

Larrialdi zerbitzuek behin-behineko ospitale bat jarri dute Lleidan. ©Ramon Gabriel / Efe

Kataluniako Gobernuak konfinamendua ezarri die 200.000 herritarri

Berria

Lleidako eskualde batean koronabirusaren zortzi agerraldi detektatu dituzte. Eguerdian jarri dute indarrean.

Osasun langileak lanean, Gurutzetako ospitalean. ©MARISOL RAMIREZ / FOKU

Auzitegi Nagusiak dio Osakidetzak ez zuela babes baliabide nahikoa

Ainhoa Larretxea Agirre - Irati Urdalleta Lete

Osakidetzak «ontzat» jo du ebazpena, «ez dituelako aintzat hartu sindikatuen eskaera gehienak». ESK sindikatuak jarri zuen salaketa, eta ekainaren 16an egin zuten epaiketa

Irakurle agurgarria:

Honaino iritsi zarenez, eskaera bat egin nahi dizugu: irakurtzen ari zaren edukia eta egunkaria babestea, konpromiso ekonomikoa hartuz. Publizitatea eta erakundeen diru-laguntzak ez dira nahikoa BERRIAren etorkizuna bermatzeko. Sarean eskaintzen dizugun edukia irakurtzen duzuen milaka irakurleek proiektuari ekarpena eginda, urrutira iritsiko ginateke.

Kazetaritza libre, ireki eta independentea egin nahi dugu euskaldunontzat. Euskaraz informatzea delako gure eginkizuna, eta zure eskubidea.Lagun gaitzazu bide horretan. Idatzi gurekin etorkizuna. Geroa zugan.

Martxelo Otamendi
BERRIAko zuzendaria

Izan zaitez BERRIAlaguna