- Размеркаваны пошук гравітацыйных хваль
- Больш падрабязна аб праекце Einstein @ home
- Тэсты Intel Optane SSD на запіс і чытанне
- Аптымізацыя алгарытмаў ў галіне вылічальнай электрадынамікі
- замест заключэння
У пачатку ліпеня мы пачалі бясплатнае тэставанне SSD-дыскаў Intel Optane і апублікавалі падрабязную артыкул аб іх магчымасцях і перавагах ў нашым блогу .
Сярод якія прынялі ўдзел у тэставанні сустракаліся вельмі цікавыя праекты, у тым ліку і звязаныя з навукай.
Ніжэй мы разгледзім прыклады прымянення дыскаў у галіне навуковых разлікаў.
Размеркаваны пошук гравітацыйных хваль
Дадзены кейс напісаны ў суаўтарстве з Аляксандрам Вінаградавым, НПФ Соцыум, Ніжні Ноўгарад.
Канфігурацыя сервера з Intel Optane SSD апынулася ідэальнай для вырашэння задачы Einstein @ home - гэта размеркаваны пошук гравітацыйных хваль. Дадзены праект патрабавальны да памяці, і калі яе недастаткова ці яна павольная, то разьлік юнітаў запавольваецца: замест 12-й гадзіне займае некалькі сутак. На прадастаўленым сэрвэры тэставанне прайшло без запінак: максімум быў 18-й гадзіне.
Дарэчы, у гэтым годзе атрымалі Бары Бэриш, Райнэр Вайсс і Бардэлі Торн «за вырашальны ўклад у дэтэктар LIGO і назіранне гравітацыйных хваль».
Больш падрабязна аб праекце Einstein @ home
Einstein @ Home - гэта адзін з праектаў на платформе BOINC, прызначанай для размеркаваных вылічэнняў, які можа запускацца практычна на любым з існуючых працэсараў, а энтузіясты запускаюць яе і зусім на чым прыйдзецца.
Сам па сабе праект займаецца апрацоўкай дадзеных з дэтэктара гравітацыйных хваляў LIGO і ў адрозненне SETI @ Home, c якога ў 1999 годзе пачаліся наогул ўсе размеркаваныя вылічэнні ў свеце, патрабуе вельмі шмат памяці - па паўтара гігабайта на паток. Гэта значыць на тэлефоне або на бытавым ноўтбуку гравітацыйныя хвалі не пашукаеш.
Платформа BOINC дазваляе аўтаматызаваць разлікі:
- задаваць максімальную нагрузку працэсара для заданняў BOINC і мяжа загружанасці працэсара іншымі задачамі;
- наладжваць, колькі патокаў працэсара выкарыстоўваць;
- задаваць час запуску заданняў;
- выбіраць, які аб'ём трафіку выкарыстоўваць;
- захоўваецца нават падтрымка злучэння па тэлефоннай лініі праз звычайны мадэм.
Для даследавання працэсара з вельмі вялікім лікам ядраў гэта ідэальны інструмент.
За тыдзень для Einstein @ home атрымалася цалкам пралічыць больш за 300 юнітаў. Для параўнання, на іншай машыне за 24 дня ледзь-ледзь атрымалася пралічыць чатыры, астатнія прапалі.
У 1999 годзе я ўбачыў артыкул у «Кампутэры» пра SETI @ Home. Зацікавіўся, паспрабаваў запусціць у сябе. Нічога не выйшла: не пацягнуў. Атрымалася далучыцца вясной 2001 года, пасля абзавядзення адным з першых Celeron дзясяткаў.
Фантастыкай ж я цікавіўся ці ледзь не з нараджэння, космасам і пошукамі прышэльцаў - з 1983 (здаецца) года, калі па першым канале паказалі фільм «Ангар-18». І пра SETI даведаўся прыкладна тады ж, з перадачы "Відавочнае-неверагоднае» з Капіцам. Там была і кароткая гісторыя праекта CETI, з якога ўсё пачалося, і тлумачэнне ўсіх зменных ўраўненні Дрэйка. Потым знайшоў і кнігу Шклоўскага, і матэрыялы канферэнцыі 1970 гады ў Бюракане, дзе прагучала фраза «сто мільярдаў даляраў на пошукі розуму - не такая ўжо і вялікая сума».
Але так лічылі ў 1970. А ў 1999 не было ні Ілона Маска, ні МКС. Толькі «Свет» наварочваў кругі вакол планеты і «Вояджэр» ляцелі да Плютону. А фінансаванне нават самых сур'ёзных касмічных праграм ва ўсім свеце імкнулася да нуля. А тут зусім несур'ёзная рэч - некалькі студэнтаў напісалі скрынсэйвер, які не проста так трубы або зорачкі малюе, а выкарыстоўвае ў якасці асновы для карцінкі дадзеныя з радыётэлескопа ў Арэсіба! З гэтага сур'ёзнага скрынсэйвера і пачаліся ўсе цяперашнія хмарныя тэхналогіі, блокчейн і іншая размеркаваная матэматыка. Нават выкарыстоўваць відэакарты для матэматычных разлікаў таксама ўпершыню пачалі на платформе BOINC.
Амаль адразу аказалася, што па агульнай (аб'яднанай) магутнасці слабенькія кампы энтузіястаў пераўзышлі самыя лепшыя з наяўных на той момант суперкампутараў. Навукоўцы зацікавіліся, праектаў размеркаваных вылічэнняў стала шмат, для кіравання імі была створана. З тых часоў мільёны машын паўдзельнічалі і ў пошуку базона Хігса (LHC @ Home), і ў лоўлі гравітацыйных хваль (Einstein @ Home), і нават дапамагалі ствараць трохмерную карту галактыкі (MilkyWay @ Home).
Але галоўным для мяне застаецца ўсё ж такі праект SETI @ Home. Самы несур'ёзны і самы безвыніковы, але самы першы праект, з якога ўсё пачалося. Зараз у праекта цяжкія часы - народ з магутнымі машынамі сыходзіць у майнинг криптовалют, тэлескоп у Арэсіба некалькі гадоў назад ледзь не закрылі (у амерыканцаў выдаткі на навуку ў бюджэце - таксама не асабліва папулярны артыкул), а 21 верасня радыётэлескоп і зусім быў выведзены са строю ураганам Марыя. Але праект па-ранейшаму застаецца на вядучых пазіцыях - цяпер, напрыклад, пралічваюцца дадзеныя пра вельмі цікавай сістэме, а платформа BOINC застаецца самым магутным суперкампутарам.
Тэсты Intel Optane SSD на запіс і чытанне
Для Intel Optane Аляксандр рабіў з дапамогай утыліты fio тэсты з глыбінёй 16 і 32 (для HDD праводзіліся толькі некаторыя тэсты, таму што яны доўжацца на парадак даўжэй, чым для SSD).
Тэст прайгравае сітуацыю поўнай загрузкі дыска з зададзенай даўжынёй чарзе, і вымярае ўсе параметры.
Усяго тэстаў было праведзена тры, вынікі занесены ў табліцы:
час выканання тэста, msec Read Write Read + Write iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 HDD - 1 850 557 4 577 666 - - - SSD 299 688 481 744 259 161 512 864 R: 378001, W: 474573 R: 431930, W: 498782
сярэдні час чакання самога дыска (clat), msec Read Write Read + Write iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 HDD - 496.75 614.54 - - - SSD 49.50 163.47 42.99 174.08 R: 62.38, W : 78.37 R: 146.62, W: 169.36
Там, дзе HDD не спраўляецца з задачай, ужо выдаючы затрымкі амаль у палову секунды для кожнага запыту, затрымка SSD застаецца на ўзроўні 0.2 секунды.
Далей я вырашыў проста ўзяць і скапіяваць 150-гігабайтны файл з кожнага прылады на кожнае іншае, і ён сам. І вось вынік (у хвілінах і секундах). Тут атрымаўся, хутчэй, тэст на ўсім сэрвэры, і больш за ўсё мяне здзівіла не час капіявання з SSD, а шпаркасць працы звычайных дыскаў у спакойнай абстаноўцы.
аб праведзеным тэставанні.
Аптымізацыя алгарытмаў ў галіне вылічальнай электрадынамікі
Дадзены кейс напісаны ў суаўтарстве з Вячаславам Кизименко, н.с НКЦ 1.6 НДЧ БДУІР, Мінск.
За мінулыя з моманту прэзентацыі месяцы з'явілася досыць вялікая колькасць аглядаў і прафесійных тэстаў, прысвечаных ацэнцы прадукцыйнасці Intel Optane SSD. Але заўсёды прыемней самому «патрымаць у руках» навінку, прымяніць яе для вырашэння сваёй канкрэтнай задачы. І гэтую магчымасць ласкава прадаставіла кампанія Selectel.
Досыць вялікая колькасць задач, звязаных з мадэляваннем розных фізічных працэсаў, зводзіцца да вырашэння сістэм лінейных алгебраічных раўнанняў (напрыклад,
аналіз плыні вязкай несжимаемой вадкасці ў аэрадынаміцы). У працэсе аптымізацыі выкарыстоўваюцца алгарытмаў мы дамагаемся істотнага скарачэння часу мадэлявання - за кошт распаралельвання гэтых алгарытмаў, выкарыстання шматпрацэсарных сістэм, або спецыяльных відэакарт падтрымліваюць тэхналогіі CUDA або OpenCL.
У працэсе вырашэння сістэм раўнанняў ўзнікае задача захоўвання на цвёрдым дыску матрыц вялікай памернасці. Тыя, хто займаецца мадэляваннем любых фізічных працэсаў, ведаюць пра тое, што прадукцыйнасць жорсткіх дыскаў звычайна становіцца адным з вузкіх месцаў.
Часцяком такая матрыца можа выкарыстоўвацца шматразова для далейшых вылічэнняў або аптымізацыі мадэляваных прылады. Кажучы простай мовай - пасля таго, як усе алгарытмы максімальна аптымізаваныя, вельмі крыўдна губляць час проста на захаванні дадзеных.
У аснове выкарыстоўваецца колькаснага алгарытму ляжыць, які прадугледжвае, што зыходны аб'ект (напрыклад, микрополосковая антэна) разбіваецца на мноства элементарных сегментаў.
Вымяралася сумарны час, неабходнае для запісу і чытанні блокаў матрыц розных памераў.
У рэальных задачах мы захоўваем на дыск матрыцы, якія змяшчаюць каэфіцыенты раўнанняў. Фактычна гэта масівы зменных тыпу double. Каб паскорыць працэс тэставання я генераваў такія масівы, запаўняў іх выпадковымі лікамі тыпу double. Пасля гэтага вымяралася сумарны час, якое трацілася на запіс і чытанне такога масіва дадзеных.
Такія вымярэнні залежнасці выйгрышу ў часе (пры захаванні дадзеных на Intel Optane у параўнанні з Intel SSD SC2BB48) ад памеру захоўваецца блока матрыц былі праведзены для звычайнага SSD, і для Intel Optane SSD.
Адпаведна, на малюнку ніжэй прыведзены графік, які паказвае у колькі разоў Intel Optane SSD выконваў дадзеную задачу хутчэй, чым SSD (гэта значыць вынік дзялення часу ў мілісекундах, выдаткаванага SSD, на час, затрачаны Intel Optane).
Тэставанне праводзілася на сэрвэры з працэсарам Intel E5-2630v4, Intel Optane DC P4800X (375 GB), Intel SSD SC2BB48 (480GB), 64Gb RAM.
З графіка на малюнку відаць, што пры памеры захоўваецца блока матрыц да 110 МБ Intel Optane SSD аказваецца практычна ў 2 разы хутчэй звычайнага SSD, дасягаючы ў некаторых кропках (2 МБ) паскарэння ў 3,25 разоў.
Атрыманыя вынікі сведчаць аб тым, што новы Intel Optane SSD зацікавіць не толькі спажыўцоў паслуг хостынгу, але і спецыялістаў, звязаных з апрацоўкай і захоўваннем вялікіх аб'ёмаў дадзеных, мадэляваннем, прагназаваннем розных працэсаў.
замест заключэння
Калі ў вас ёсць іншыя цікавыя ідэі наконт варыянтаў выкарыстання - сардэчна запрашаем на тэставанне - акцыя ўсё яшчэ працягваецца, і любы з вас можа прыняць удзел ( бясплатнае тэставанне SSD-дыскаў Intel Optane ).
Таксама ў праграме SelectelLab можна пратэставаць і іншыя навінкі.
