Intelligence realm

[matob]

http://www.intelligencerealm.com/aisystem/system.php

ma niekto skusenosti s tymto projektom?
vyzera celkom slusne, mozno by som sa donho aj pustil
ps, mohol by sa vytvorit aj tym, ak ma niekto zaujem

aj ked, ako som prave zistil... sotva dostanem daku tu robotu, a celkovo ma projekt len par pouzivatelov, takze asi nic

[Honza]

To je jeden z projektu, ktery krasne vypada na povrchu, ale jinak toho zatim moc neprinasi - pripomina mi to treba Clenar Energy, GridRepublic.
V tomto stavu uz je nejakou dobu...zatim bych proste vyckal, co z toho (ne)bude.

[matob]

nazdar, počíta niekto artificial intellingence?
naťahal som na skúšku dáke WU, ale chovajú sa tak divne.. resp. nie vždy
idú na 100%. Chvíľu idú normálne potom chvíľu nejdu resp. v taskmanageri
"nečinné procesy systému" berú 70% zdrojov a po chvíli zase idú dobre.
robí to aj niekomu inému ale to už môj win štrajkuje?

[Palo M.]

nazdar, počíta niekto artificial intellingence?
naťahal som na skúšku dáke WU, ale chovajú sa tak divne.. resp. nie vždy
idú na 100%. Chvíľu idú normálne potom chvíľu nejdu resp. v taskmanageri
"nečinné procesy systému" berú 70% zdrojov a po chvíli zase idú dobre.
robí to aj niekomu inému ale to už môj win štrajkuje?

AI pocitam. Je to jeden z mala open-source. Original aplikacia sa mi aj tak zosypala ("klasicke" problemy s dynamickym linkovanim a nekompatibilnymi kniznicami), skompiloval som si vlastnu a cez Intelacky kompilator bezi podstatne rychlejsie (kredity su podla benchmarkov, takze kreditovo je to jedno, ale takto viac vypocitam za rovnaky cas a rovnake kredity)...
Pokial sledujem, priemerne 20% CPU je IO-wait, cize caka na vstupno-vystupnu operaciu, podla vsetkeho na disk, lebo v rovnakom case stupa pocet IRQ na ATA a takisto IOwait pre disk. Takisto pocas AI vacsinu pamate zabera SLAB-cache, ktora sa pouziva na objekty jadra (bez AI zabera najviac obycajna cache, nie SLAB). Statistiky servera na ktorom mi to bezi su tu (je to cely server, takze odporucam len pre hardcore vrtakov). Pokial som si vsimol v zdrojaku, pouziva AI nejaku vlastnu databazu a to IO je pravdepodobne kvoli tomu. No a ked sa caka na IO, neda sa nic robit a aplikacia musi stat kym to dokonci pristup na pomale zariadenie...
Podla FAQ je logika v datach a nie v kode aplikacie, takze to je asi dovod na taky mohutny databazovy pristup.
Bezim s AI iba na Linuxe, tak neviem ako je to na Windoze, ale moze to pripadat "divne" aj tam, lebo AI sa urcite aj tam sprava dost inak ako ine BOINC aplikacie (ktore typicky vyuzivaju numericke vypocty CPU). Dokonca ked mas iba jedno jadro tak ti to moze aj spomalovat system, lebo pri cakani na disk kvoli AI sa moze vytvorit uzke hrdlo inych cinnosti a potom mozes mat sice malo vytazeny CPU, ale system subjektivne pomaly ako slimak...
A Honza ma pravdu, ze projekt zatial vela neprinasa, lebo vlastne este nesimuluju neurony, ale testuju kapacitu a vyvijaju aplikacie i serverovu cast... Na hlavnej stranke uvadzaju, ze projekt je "Launched", ale ja by som povedal, ze je najviac v beta faze, mozno dokonca alfa. Udajne 20% WU pada (podla fora), ale mne nespadla ani jedna (teda okrem tych prvych ktore padali kvoli nekompatibilite kniznic; to vlastne neboli pady WU ale pad aplikacie). Mozno je to specificke pre Windoze... a asi dost neprijemne, lebo to udajne vyhodi okno s error-hlaskou a kym to clovek neodklikne, tak BOINC stoji a to jadro nepocita vobec nic.
Takze pozor na to, ked to chces bezat na Windozoch, tak to radsej sleduj, aby ti nestala masina.

[matob]

super, diki za vysvetlenie..
no mne zatial na Win padla len jedna WU a aj to bez nejakej hlášky, proste iba vyhodilo chybu výpočtu..
najhoršie je že som to chcel iba otestovať , naťahalo mi nejakých 12 WU ale to nie a nie spočítať..
síce ukazuje po dokončení že počítalo 3h, ale do toho sa nezapočítavajú tie "prestoje"...
rátam tak minimálne 4+ h na WU.. cez noc spočítalo len 2WU(na jadro)... no možno sa k nemu vrátim
neskôr.
Inak cez týžden som skúšal ešte jeden podobný projekt - mindmodelling...
ale ked som zistil ze mi nespočítalo ani sec. výpočtu = sklamanie.. síce bola hláška že počíta..
ale cpu time = O, takisto v task manageri- využitie cpu = O%...
vrátim sa späť k "vesmírnym " projektom.. tie ma bavia najviac..

EDIT: error hláška... najlepšie na tom je že v 98%... 5h zahodených... fajne..

[matob]

We released a couple of days ago version 1.08 of the neuronal simulator. Each workunit has now 500,000 neurons. The processing rate increased significantly and it stands at around 95%. The previous application issues have been fixed. There have been 33.07 billion neurons simulated since the project start. At the current rate of 1 billion neurons simulated per day, we should reach the 100 billion mark within 2 months. We would like to thank the volunteers that helped with the beta testing. The total number of processors for all machines is 9126. We started working on the direct learning component which is part of the larger neuronal generator application. Source Code Downloads: 2159 Teams: 549 Computers: 4854 Participants: 2761

[matob]

Dear Participant,

We have reached today the 100 billion simulated neurons level. I would like to congratulate you for making this a reality and also to thank you for your participation and patience during these couple of months. The beginning was especially
challenging, with the application being unstable and raising lots of error. This was a collective effort.

Proving that there is enough computer power to simulate brain size biophysical neural networks at the cellular level
removes a large stumbling block from the path of Artificial Intelligence. That in turn will lead to increase
levels of interest in this field and will result in additional applications that will eventually benefit
the entire society.

The significance of this event can be summarized with the following image:
http://www.intelligencerealm.com/aisyst ... illion.jpg


If you are interested to find out more about the future project steps please use the following link:
http://www.intelligencerealm.com/aisyst ... php?id=205

[Kiwi]

Preco mi tie app bezie na Linuxe tak pomaly ? Su tie app. narocne na RAM ?
Lebo mam to pretaktovane na max., ale vysledok horsi ako na non OC Quadoch.
Ked vsak pozriem na vyuzitie RAM, tak to zozralo takmer celych 2 GiB.
Myslite ze 4 GiB by tomu pomohli ?

[Honza]

V tabulce mam, ze Intel. Realm bere pouze 4MB RAM. Zmenilo se to nejak?

[Kiwi]

Sak aj mne pise, ze zerie par MB, ale aj Milky zerie par MB. Lenze, ked mi bezi Milky,
tak mam obsadenu RAM na 500 az 600 MB, ale akonahle spustim IR, tak ihned skoci
vyuzitie RAM na 100 %, cize 2 GiB. Ako je to mozne ? V Top Computers pozeram
casy, tak zvycajne ja mam pri OC casy pri inych projektoch 1.5 az 4 x rychlejsie,
a v tomto mam cas na WU 1.5 x pomalsi, ako stroj, ktory ide na 2 x nizsej frek. CPU.

[Palo M.]

Intelligence Realm je svina. Samotna aplikacia sice nezerie RAM, ale pouziva vela systemovych resourcov. Je to vidiet u mna na serveri na statistike vyuzitia pamate. To fialove je SLAB-cache a je to na alokaciu systemovych objektov (ako su semafory, pipe a pod). Ak AI nebezi, vacsinu pamate zabera (oranzova) cache, to je obycajna diskova cache (bezi mi tam apache, samba, mldonkey a pod, takze cache sa zide). Akonahle sa zapne AI, vybieha SLAB-cache. AI ma v sebe nejaku vlastnu databazu, ktora okrem toho vytazuje systemovy cas - asi 10% CPU usage je system. Na jednojadraku sa to prejavuje tak, ze sa ludom zda akoby, CPU nebezal na 100% (na fore sa o tom pise).

Takze aplikacia sa zakerne tvari, ze pouziva malo RAM, ale v podstate zozerie vsetku RAM, ktora je volna. Pridanim pamate sa IMHO vela nevyriesi, lebo ja mam 4G a aj tak mi zozralo vsetku pamat. Ako by zvysenie 2G->4G ovplyvnilo na rychlost, to neviem (a na serveri nebudem laborovat s odoberanim pamate)... Ale skompiloval som si sam aplikaciu s 64-bitovym kompilatorom a podla casu vypoctu v porovnani s inymi masinami to vyzera, ze to znacne pridalo na rychlosti (stock aplikacia mi okamzite crashovala, takze to porovnat nemozem, ale moj icc-build je znacne rychlejsi ako moj gcc build). Bohuzial ten zdrojakovy archiv je dost neprehladny (nepouzivaju automake a treba sachovat s Makefile-ami, dost blby build system), takisto zdrojaky su dost rozsiahle, takze sa neda dost dobre patrat po tom, preco to tolko vytazuje system. Takisto mam podozrenie, ze AI mi sposobuje problemy s inymi projektami (parkrat mi spadol hadrm spinup na CPDNbeta a vzdy bol pri tom aj aisystem a segfault), ale musi tam byt este aj nieco ine - nejaky deadlock diskovych operacii a potom CPDN nemoze zapisat subor a crashne, lebo inak by chyba jednej aplikacie nemala zhodit inu aplikaciu. Ale mozno to bolo v boinc-6.2.12, lebo predtym na 6.2.8 mi to nerobilo a odkedy som dal 6.2.14, tak sa mi to tusim nestalo... Ale mozno to uz nepada preto, ze som znizil percentaz na AI, takze teraz mi uz nebezia 3 AI-tasky naraz (co moze vyrazne znizovat riziko dead-locku).

Skratka... Intelligence Realm je svina.

[gabberattack]

Otazka je, ci je to bug, alebo zamer autorov projektu. Ak je to zamer, nie je to velmi v zasade s pravidlami BOINC projektov. Je o tom nejaky oznam na webe projektu ?

[Palo M.]

Podla mna "it's not a bug, it's a feature". Aplikacia skratka robi systemove volania, lebo potrebuje systemove resourcy. Ze system na cache vybacha vsetku volnu pamat, to je vec systemu. Ked tu pamat nemas, tak ju system nevybacha. A ked ju aj system vybacha na SLAB cache, ale neskor je pamat potrebna na nieco ine (napr. CPDN aplikaciu), tak system zmensi SLAB-cache (najstarsie polozky posle do prec) a pamat pouzije. Zas naco by sa pamat valala nepouzita, ked moze byt na cache .
Je mozne, ze tento fenomen je sposobeny aj nekvalitnou aplikaciou - napriklad ked requestuje enormne mnozstvo novych a novych systemovych prostriedkov, ak moze znovu pouzit stare. No a system vsetky drzi v SLAB-cache, lebo predpoklada, ze by mohli byt znova pouzite. Alebo aplikacia nevracia resourcy priebezne, ale ich vrati az na konci (toto fakt moze sposobit deadlock, ktory sa uvolni az skoncenim aplikacie, ci uz korektnym alebo padom).
Podobne moze nejaky iny program nehospodarne pracovat s pamatou (co zjavne nie je pripad AI): stale robit malloc(), malloc(), malloc(), ale nikdy free(), aj ked tu pamat uz davno nepotrebuje. Ked aplikacia skonci, tak system ma naspat vsetku pamat k dispozicii, ale pocas behu je skratka zozrana.

Bohuzial, AI sa mi nepodarilo spustit v standalone mode, len pod BOINCom (tiez dalsi humus; pre standalone to myslim treba inak kompilovat, ale bol som z toho jelen a som rad, ze som skompiloval aspon defaultne). Takze nie je az take jednoduche sledovat, co ta svina vlastne robi... Ale je to zaujimavy napad, skusit zistit cim konkretne sa zvacsuje ta SLAB-cache - ak cez vikend nebude co robit... .