- Розподілений пошук гравітаційних хвиль
- Детальніше про проект Einstein @ home
- Тести Intel Optane SSD на запис і читання
- Оптимізація алгоритмів в області обчислювальної електродинаміки
- замість висновку
На початку липня ми почали безкоштовне тестування SSD-дисків Intel Optane і опублікували детальну статтю про їх можливості та переваги в нашому блозі .
Серед які взяли участь в тестуванні зустрічалися дуже цікаві проекти, в тому числі і пов'язані з наукою.
Нижче ми розглянемо приклади застосування дисків в області наукових розрахунків.
Розподілений пошук гравітаційних хвиль
Даний кейс написаний у співавторстві з Олександром Виноградовим, НПФ Соціум, Нижній Новгород.
Конфігурація сервера з Intel Optane SSD виявилася ідеальною для вирішення завдання Einstein @ home - це розподілений пошук гравітаційних хвиль. Даний проект вимогливий до пам'яті, і якщо її недостатньо або вона повільна, то розрахунок юнітів сповільнюється: замість 12 годин займає кілька діб. На наданому сервері тестування пройшло без запинок: максимум був 18 годин.
До речі, в цьому році отримали Баррі Беріш, Райнер Вайсс і Кіп Торн «за вирішальний внесок у детектор LIGO і спостереження гравітаційних хвиль».
Детальніше про проект Einstein @ home
Einstein @ Home - це один з проектів на платформі BOINC, призначеної для розподілених обчислень, який може запускатися практично на будь-якому з існуючих процесорів, а ентузіасти запускають її і зовсім на чому доведеться.
Сам по собі проект займається обробкою даних з детектора гравітаційних хвиль LIGO і на відміну SETI @ Home, c якого в 1999 році почалися взагалі все розподілені обчислення в світі, вимагає дуже багато пам'яті - по півтора гігабайти на потік. Тобто на телефоні або на побутовому ноутбуці гравітаційні хвилі не поіщешь.
Платформа BOINC дозволяє автоматизувати розрахунки:
- задавати максимальне навантаження процесора для завдань BOINC і межа завантаженості процесора іншими завданнями;
- налаштовувати, скільки потоків процесора використовувати;
- задавати час запуску завдань;
- вибирати, який обсяг трафіку використовувати;
- зберігається навіть підтримка з'єднання по телефонній лінії через звичайний модем.
Для дослідження процесора з дуже великим числом ядер це ідеальний інструмент.
За тиждень для Einstein @ home вдалося повністю прорахувати більше 300 юнітів. Для порівняння, на іншій машині за 24 дня ледве-ледве вдалося прорахувати чотири, решта зникли.
У 1999 році я побачив статтю в «Компьютерра» про SETI @ Home. Зацікавився, спробував запустити у себе. Нічого не вийшло: не потягнув. Вийшло приєднатися навесні 2001 року, після обзаведення одним з перших Celeron-ів.
Фантастикою ж я цікавився мало не з народження, космосом і пошуками прибульців - з 1983 (здається) року, коли по першому каналу показали фільм «Ангар-18». І про SETI дізнався приблизно тоді ж, з передачі «Очевидне-неймовірне» з Капицею. Там була і коротка історія проекту CETI, з якого все почалося, і пояснення всіх змінних рівняння Дрейка. Потім знайшов і книгу Шкловського, і матеріали конференції 1970 року в Бюракане, де прозвучала фраза «сто мільярдів доларів на пошуки розуму - не така вже й велика сума».
Але так вважали в 1970. А в 1999 не було ні Ілона Маска, ні МКС. Тільки «Мир» молов кола навколо планети і «Вояджери» летіли до Плутона. А фінансування навіть найсерйозніших космічних програм в усьому світі прагнуло до нуля. А тут зовсім несерйозна річ - кілька студентів написали скрінсейвер, який не просто так труби або зірочки малює, а використовує в якості основи для картинки дані з радіотелескопу в Аресібо! З цього серйозного скрінсейвера і почалися всі нинішні хмарні технології, блокчейн та інша розподілена математика. Навіть використовувати відеокарти для математичних розрахунків теж вперше почали на платформі BOINC.
Майже відразу виявилося, що із загальної (об'єднаної) потужності слабенькі комп'ютери ентузіастів перевершили найкращі з наявних на той момент суперкомп'ютерів. Вчені зацікавилися, проектів розподілених обчислень стало багато, для управління ними була створена. З тих пір мільйони машин взяли участь і в пошуку бозона Хіггса (LHC @ Home), і в лові гравітаційних хвиль (Einstein @ Home), і навіть допомагали створювати тривимірну карту галактики (MilkyWay @ Home).
Але головним для мене залишається все-таки проект SETI @ Home. Самий несерйозний і самий безрезультатний, але найперший проект, з якого все почалося. Зараз у проекту важкі часи - народ з потужними машинами йде в Майнінг криптовалюта, телескоп в Аресібо кілька років тому мало не закрили (у американців витрати на науку в бюджеті - теж не особливо популярна стаття), а 21 вересня радіотелескоп і зовсім був виведений з ладу ураганом Марія. Але проект, як і раніше залишається на лідируючих позиціях - зараз, наприклад, прораховуються дані про дуже цікаву системі, а платформа BOINC залишається найпотужнішим суперкомп'ютером.
Тести Intel Optane SSD на запис і читання
Для Intel Optane Олександр робив за допомогою утиліти fio тести з глибиною 16 і 32 (для HDD проводилися тільки деякі тести, тому що вони тривають на порядок довше, ніж для SSD).
Тест відтворює ситуацію повного завантаження диска із заданою довжиною черги, і вимірює всі параметри.
Всього тестів було проведено три, результати занесені в таблиці:
час виконання тесту, msec Read Write Read + Write iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 HDD посилання - 1 850 557 4 577 666 - - - SSD 299 688 481 744 259 161 512 864 R: 378001, W: 474 573 R: 431930, W: 498 782
середній час очікування самого диска (clat), msec Read Write Read + Write iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 iodepth = 16 iodepth = 32 HDD - 496.75 614.54 - - - SSD 49.50 163.47 42.99 174.08 R: 62.38, W : 78.37 R: 146.62, W: 169.36
Там, де HDD не справляється із завданням, вже видаючи затримки майже в половину секунди для кожного запиту, затримка SSD залишається на рівні 0.2 секунди.
Далі я вирішив просто взяти і скопіювати 150-гігабайтний файл з кожного пристрою на кожне інше, включаючи його самого. І ось результат (в хвилинах і секундах). Тут вийшов, скоріше, тест всього сервера, і найбільше мене здивувало не на часі копіювання з SSD, а швидкість роботи звичайних дисків в спокійній обстановці.
про проведеному тестуванні.
Оптимізація алгоритмів в області обчислювальної електродинаміки
Даний кейс написаний у співавторстві з В'ячеславом Кизименко, н.с НКЦ 1.6 НДЧ БДУІР, Мінськ.
За минулі з моменту презентації місяці з'явилося досить велика кількість оглядів і професійних тестів, присвячених оцінці продуктивності Intel Optane SSD. Але завжди приємніше самому «потримати в руках» новинку, застосувати її для вирішення своєї конкретної задачі. І цю можливість люб'язно надала компанія Selectel.
Досить велика кількість завдань, пов'язаних з моделюванням різних фізичних процесів, зводиться до вирішення систем лінійних алгебраїчних рівнянь (наприклад,
аналіз перебігу в'язкої нестисливої рідини в аеродинаміці). В процесі оптимізації використовуваних алгоритмів ми добиваємося істотного скорочення часу моделювання - за рахунок розпаралелювання цих алгоритмів, використання багатопроцесорних систем, або спеціальних відеокарт підтримують технології CUDA або OpenCL.
У процесі рішення систем рівнянь виникає завдання зберігання на жорсткому диску матриць великої розмірності. Ті, хто займається моделюванням будь-яких фізичних процесів, знають про те, що продуктивність жорстких дисків зазвичай стає одним з вузьких місць.
Найчастіше така матриця може використовуватися багаторазово для подальших обчислень або оптимізації моделируемого пристрою. Говорячи простою мовою - після того, як всі алгоритми максимально оптимізовані, дуже прикро втрачати час просто на збереженні даних.
В основі використовуваного чисельного алгоритму лежить, який передбачає, що вихідний об'єкт (наприклад, Микрополосковая антена) розбивається на безліч елементарних сегментів.
Вимірювалося сумарний час, необхідне для запису і читання блоків матриць різних розмірів.
В реальних задачах ми зберігаємо на диск матриці, що містять коефіцієнти рівнянь. Фактично це масиви змінних типу double. Щоб прискорити процес тестування я генерував такі масиви, заповнював їх випадковими числами типу double. Після цього вимірювалося сумарний час, який витрачався на запис і читання такого масиву даних.
Такі вимірювання залежності виграшу в часі (при збереженні даних на Intel Optane в порівнянні з Intel SSD SC2BB48) від розміру зберігається блоку матриць були проведені для звичайного SSD, і для Intel Optane SSD.
Відповідно, на малюнку нижче наведений графік, що показує у скільки разів Intel Optane SSD виконував це завдання швидше, ніж SSD (тобто результат ділення часу в мілісекундах, витраченого SSD, на час, витрачений Intel Optane).
Тестування проводилося на сервері з процесором Intel E5-2630v4, Intel Optane DC P4800X (375 GB), Intel SSD SC2BB48 (480GB), 64Gb RAM.
З графіка на малюнку видно, що при розмірі зберігається блоку матриць до 110 МБ Intel Optane SSD виявляється практично в 2 рази швидше, ніж звичайно SSD, досягаючи в деяких точках (2 МБ) прискорення в 3,25 раз.
Отримані результати говорять про те, що новий Intel Optane SSD зацікавить не тільки споживачів послуг хостингу, а й фахівців, пов'язаних з обробкою і зберіганням великих обсягів даних, моделюванням, прогнозуванням різноманітних процесів.
замість висновку
Якщо у вас є інші цікаві ідеї щодо варіантів використання - ласкаво просимо на тестування - акція все ще триває, і кожен з вас може взяти участь ( безкоштовне тестування SSD-дисків Intel Optane ).
Також в програмі SelectelLab можна протестувати і інші новинки.
