nazdar
zaujimalo by ma ako je to s tymi optimalizaciami, viem ze existuje optimalizacia na seti@home aj zhruba viem ako na to ale existuje nieco take aj na ostatne?
inak nasiel som nieco taketo: KWSN - CPU Test & Benchmark Tool V2.2B with Graphics
toto myslim iba zvoli vhodne instrukcie ako SSE 2,3... atd
existuju aj nejake specialne optimalizacie alebo mi staci toto?
diki
Optimalizovana WU
Moderátor: Moderátori
-
slavko.sk
- Príspevky: 1603
- Dátum registrácie: Po Feb 05, 2007 3:42 pm
- Bydlisko: Bratislava, Slovensko
- Kontaktovať používateľa:
Re: Optimalizovana WU
V zasade ide o 2 moznosti:
1. Samotna aplikacia je optimalizovana tak ze zisti aku instrukcnu radu ma k dispozicii a taky kus kodu sa potom vyuziva, myslim ze takto to je pri Einstein@Home, mozno aj ine projekty.
2. Treba manualne nakopirovat optimalizovanu aplikaciu, napr. Enigma@Home. Tato sa bud da odniekadial stiahnut alebo si ju skompilujes - ak su k dispozicii zdrojove kody, alebo ti ju skompiluje kolega z timu ako v nasom pripade Palo M.
Zalezi od konkretneho projektu, vacsinou ked su k dispozicii zdrojove kody tak sa to da skompilovat pre dany typ procesora (napr. co podporuje SSE3). Nikedy vsak treba aj upravit kod lebo tie sice rychle instrukcie davaju trosku ine vysledky. Niekedy zas netreba ani zdrojovy kod ako sme boli svedkami brutalnych optimalizacii od akosf pre Einstein@Home.
Je to v celku veda, existuje o tom par clankov. V skratke asi tolko, ak ta zujima nieco konkretne, pytaj sa.
1. Samotna aplikacia je optimalizovana tak ze zisti aku instrukcnu radu ma k dispozicii a taky kus kodu sa potom vyuziva, myslim ze takto to je pri Einstein@Home, mozno aj ine projekty.
2. Treba manualne nakopirovat optimalizovanu aplikaciu, napr. Enigma@Home. Tato sa bud da odniekadial stiahnut alebo si ju skompilujes - ak su k dispozicii zdrojove kody, alebo ti ju skompiluje kolega z timu ako v nasom pripade Palo M.
Zalezi od konkretneho projektu, vacsinou ked su k dispozicii zdrojove kody tak sa to da skompilovat pre dany typ procesora (napr. co podporuje SSE3). Nikedy vsak treba aj upravit kod lebo tie sice rychle instrukcie davaju trosku ine vysledky. Niekedy zas netreba ani zdrojovy kod ako sme boli svedkami brutalnych optimalizacii od akosf pre Einstein@Home.
Je to v celku veda, existuje o tom par clankov. V skratke asi tolko, ak ta zujima nieco konkretne, pytaj sa.
Re: Optimalizovana WU
no pytal som sa hlavne preto lebo teraz napr. som sa na novo prihlasil do seti@home a v prvych dvoch ulohach mi ukazuje 22, resp 23 hodin do kompletizacie/aj ked som ich este nespustil/, predtym som mal optimalizovane seti a robilo mi to okolo 6 hodin jednu.. preto ze ci taketo brutalne narasty vykonu sa konaju aj u inych projektov. napr einsteina by som tiez chcel pocitat, lenze naposledy ked som to pocital mrzol mi pc zo screensaveru, proste ostal blank.. a nic..
no a robil okolo 30 hodin, ze ci napr. tu nieje nejaka optimalizacia
inak funkcie mi podporuje sse1,2, aj 3
no a robil okolo 30 hodin, ze ci napr. tu nieje nejaka optimalizacia
inak funkcie mi podporuje sse1,2, aj 3
Re: Optimalizovana WU
Není možné, že v případě SETI jsi dříve počítal ještě starou aplikací z minulého století, tj. pouze byla překlopená do BOINcu?
Nebo už se jedná o SETI Enhanced, která má odlišný algoritmus zpracování (a údajně větší šanci na úspěch) než původní, která běžela jestě před 2 lety.
Staré SETI mělo jednotlivé WU stejně náročné - v podstatě to byl pouze porcovaný šum, který se vcelku primitivně procházel po částech.
SETI Enhanced má algoritmus propracovanější a jednotky nemají stejnu délku (viz moje tabulka náročnosti).
What is SETI@home Enhanced?, forest má na svém nacionalistickém webu k tomu také článek.
Obecně o optimalizacích je to jak píše slavko.
Jednou se dokonce stalo, že projekt pod tíhou optimalizací zkolaboval - optimalizace udělala výpočet ~30x rychlejší. Navíc se ukázalo, že původní výpočty nebyly příliš správné, tj. optimalizace odhalila chybu (SZTAKI). Od té doby mnoho lidí nevěří, že je aplikace optimalizovaná - dokud se zdroják nedostane do rukou opravdovým odborníkům.
Na druhé straně jsou zkušenosti, že optimalizace jsou velmi obtížné, jejich testování neskutečně náročné a výsledky nejisté - viz CPDN. Zkoušeli jsme různé optimalizace včetně 64-bitu.
Trvá však týdny, než se dají porovnat výsledky. Leckeré modely byly nestabilní a aplikace i padala. Optimalizovat zdrojáky, které se vyvíjely 30+let a v řádově stovkách souborů jde o statisíce řádků zdrojového kódu je úkol náročností diametrálně odlišní, než u jednoduchých aplikací o pár stovkách/tisících řádcích. U CPDN je problém také v tom, že zdrojáky nejsou volně dostupné.
Navíc u klimatu je třeba vzít potaz komparaci s výsledky a modely jiných týmu/univerzit, což třeba SETI z principu dělat nemusí a prakticky ani nemůže. Tím mám na mysli obecné problém validity a reliability.
Mě třeba na CPDN vadí, ze HadAM modely berou až 450 mega a přitom velmi dynamicky alokují pamět sem a tam. Každý programátor ví, že alokace velkého množství paměti je CPU intensive - zvláště u 32-bitu.
Někde mezi tím bude asi Einsteina, který své aplikace dokázal dobře zoptimalizovat jak po stránce kompilace, tak optimalizace samotného kódu. Ostatně, SETI Enhanced má některé tyto aspekty také zahrnuté.
Samotnou kapitolou je multithreaded optimalizace a optimalizace pro GPU - Folding a ATI či PS3, v posledních dnech/týdnech SETI na NVidia GPUs.
Motto by asi bylo - vždy je co optimalizovat.
Nebo už se jedná o SETI Enhanced, která má odlišný algoritmus zpracování (a údajně větší šanci na úspěch) než původní, která běžela jestě před 2 lety.
Staré SETI mělo jednotlivé WU stejně náročné - v podstatě to byl pouze porcovaný šum, který se vcelku primitivně procházel po částech.
SETI Enhanced má algoritmus propracovanější a jednotky nemají stejnu délku (viz moje tabulka náročnosti).
What is SETI@home Enhanced?, forest má na svém nacionalistickém webu k tomu také článek.
Obecně o optimalizacích je to jak píše slavko.
Jednou se dokonce stalo, že projekt pod tíhou optimalizací zkolaboval - optimalizace udělala výpočet ~30x rychlejší. Navíc se ukázalo, že původní výpočty nebyly příliš správné, tj. optimalizace odhalila chybu (SZTAKI). Od té doby mnoho lidí nevěří, že je aplikace optimalizovaná - dokud se zdroják nedostane do rukou opravdovým odborníkům.
Na druhé straně jsou zkušenosti, že optimalizace jsou velmi obtížné, jejich testování neskutečně náročné a výsledky nejisté - viz CPDN. Zkoušeli jsme různé optimalizace včetně 64-bitu.
Trvá však týdny, než se dají porovnat výsledky. Leckeré modely byly nestabilní a aplikace i padala. Optimalizovat zdrojáky, které se vyvíjely 30+let a v řádově stovkách souborů jde o statisíce řádků zdrojového kódu je úkol náročností diametrálně odlišní, než u jednoduchých aplikací o pár stovkách/tisících řádcích. U CPDN je problém také v tom, že zdrojáky nejsou volně dostupné.
Navíc u klimatu je třeba vzít potaz komparaci s výsledky a modely jiných týmu/univerzit, což třeba SETI z principu dělat nemusí a prakticky ani nemůže. Tím mám na mysli obecné problém validity a reliability.
Mě třeba na CPDN vadí, ze HadAM modely berou až 450 mega a přitom velmi dynamicky alokují pamět sem a tam. Každý programátor ví, že alokace velkého množství paměti je CPU intensive - zvláště u 32-bitu.
Někde mezi tím bude asi Einsteina, který své aplikace dokázal dobře zoptimalizovat jak po stránce kompilace, tak optimalizace samotného kódu. Ostatně, SETI Enhanced má některé tyto aspekty také zahrnuté.
Samotnou kapitolou je multithreaded optimalizace a optimalizace pro GPU - Folding a ATI či PS3, v posledních dnech/týdnech SETI na NVidia GPUs.
Motto by asi bylo - vždy je co optimalizovat.
Re: Optimalizovana WU
Ještě možná - při používání optimalizací je dobré sledovat forum daného projektu. Někde jsou k optimalizacím benevolentní, jinde pečlivě hlídají validitu výsledků a může se i stát, že určitá optimalizace je lidmi z projektu vysloveně nedoporučená, protože dává špatné výsledky.
Často je to věcí vyladění validatorů, které výsledky kontrolují - viz příklad Einsteina. Výsledky na dvou CPU, pod dvěma různými a/nebo dvě různě optimalizované aplikace s nejvyšší pravděpodobností dají nestejné výsledky. A jde o to určit, jak moc blízké si mají být, aby to bylo považováno za shodu.
U CPDN stačí statistická přibližnost, u honění prvočísel, louskání šifer apod. je třeba exact match.
Často je to věcí vyladění validatorů, které výsledky kontrolují - viz příklad Einsteina. Výsledky na dvou CPU, pod dvěma různými a/nebo dvě různě optimalizované aplikace s nejvyšší pravděpodobností dají nestejné výsledky. A jde o to určit, jak moc blízké si mají být, aby to bylo považováno za shodu.
U CPDN stačí statistická přibližnost, u honění prvočísel, louskání šifer apod. je třeba exact match.
-
slavko.sk
- Príspevky: 1603
- Dátum registrácie: Po Feb 05, 2007 3:42 pm
- Bydlisko: Bratislava, Slovensko
- Kontaktovať používateľa:
Re: Optimalizovana WU
SETi presla na SETI Enhanced a 1 WU trva ovela dlhsie ako predtym - rata to myslim vacsie spektrum alebo po mensich krokoch, viac harmonickych, neviem presne. V kazdom pripade to rata ovela dlhsie ako pred casom ked bola klasicka SETI@home este z minuleho storocia.mato205 napísal:no pytal som sa hlavne preto lebo teraz napr. som sa na novo prihlasil do seti@home a v prvych dvoch ulohach mi ukazuje 22, resp 23 hodin do kompletizacie/aj ked som ich este nespustil/, predtym som mal optimalizovane seti a robilo mi to okolo 6 hodin jednu.. preto ze ci taketo brutalne narasty vykonu sa konaju aj u inych projektov. napr einsteina by som tiez chcel pocitat, lenze naposledy ked som to pocital mrzol mi pc zo screensaveru, proste ostal blank.. a nic..
no a robil okolo 30 hodin, ze ci napr. tu nieje nejaka optimalizacia
inak funkcie mi podporuje sse1,2, aj 3
Re: Optimalizovana WU
trochu zle som sa vyjadril... ked som povedal ze som pred tym pocital seti myslel som tym par mesiacov do zadu. to bolo tiez enhanced. no a teraz som sa po nejakej dobe znovu pripojil do projektu, pricom pocitam neoptimalizovanu/teda original/ a doba do ukoncenia je 22 hodin. no a s optimalizaciou je to okolo 7 hodin. myslim ze to necham tak a az na seti, nebudem pouzivat optimalizacie
ozaj nieco som zacul ze optimalizacia pre ati... da sa do toho nejako zapojit aj gpu?
ozaj nieco som zacul ze optimalizacia pre ati... da sa do toho nejako zapojit aj gpu?
-
marpes
- Príspevky: 455
- Dátum registrácie: Po Feb 05, 2007 7:18 pm
- Bydlisko: Bratislava
- Kontaktovať používateľa:
Re: Optimalizovana WU
Ako odrazovy mostik mozes pouzit tabulku a potom na konkretne projekty