Август 2008

«.. особенно HPC была главным образом ограничивается крупными предприятиями, R&D фирм и академических учреждений в прошлом, теперь также широкая полоса среднего рынка компаний принятия HPC из-за наличия доступных и открытых решений, вытеснена дорогостоящие и проприетарные решения прошлого. Все эти факторы содействуют логической прогрессии: HPC зреет от высокой производительности до высокой производительности.»

Novell

Пользователи высокопроизводительных вычислений (HPC) уже давно пользуются наличие как коммерческих и с открытым исходным кодом программного обеспечения (OSS). Но они, как правило, проживают в отдельных мирах. Открытым исходным кодом была благоволят академических и правительственных исследовательских кругов в то время как коммерческие независимые поставщики программного обеспечения (ISV) HPC потребностей конкретных отраслей, таких, как авиакосмическая промышленность или энергетика. В этой статье рассматриваются, как стена между этими двумя мирами программного обеспечения рушится, как промышленность все чаще принимает более открытым исходным кодом инструменты.

HPC входит в мейнстрим

Вездесущность Linux для серверов HPC является очевидным пляж для тенденции в более широкого использования ПСОК в средах высокопроизводительных вычислений. Но многие более открытым исходным кодом инструменты стали обязательным условием в коммерческих лабораториях HPC, таких как MPICH2, реализация открытым исходным кодом интерфейс передачи сообщений (MPI) стандарт для распределенных памяти приложений, используемых в области параллельных вычислений. Стеки программного обеспечения от OpenFabrics Alliance предназначены для поддержки серверов и хранения кластеров и grid подключение с использованием InfiniBand и смягчает ткани.

В то же время предприятия все больше нуждаются в модели более крупных, более сложных проблем путем имитации, чтобы оставаться конкурентоспособными, в то время как стоимость HPC оборудования по-прежнему отвес, благодаря наличию товара многоядерных чипов. Результат: спрос на HPC взрывающиеся во всех отраслях промышленности.

И с этим изменением происходит массовый приток новых пользователей, которым не хватает информатики и программирования знаний, необходимых для параллельных вычислений. Например несколько инженеров и ученых искусны в низкоуровневых методов программирования MPI, необходимых для достижения максимальной производительности вычислений. Таким образом будущее приложений HPC не будет прерогативой ПСОК и не коммерческих приложений, а скорее грациозная интеграции обоих, по словам Нэнси Уилкинс-Diehr Сан-Диего центр суперкомпьютеров (ССДСИ).

Она должна знать. Уилкинс-Diehr помогает тысячам пользователей из бизнеса США, правительств и академических кругов воспользоваться ССДСИ в огромных HPC ресурсов каждый год. Как один из небольшого числа финансируемых национальной науки фонд NSF суперкомпьютерных центров Фонд обеспечивает высокопроизводительных вычислительных систем, инструментов и поддержки на безвозмездной основе для академических пользователей. «Мы видим много смешивания open source и коммерческого программного обеспечения через научно -инженерного сообщества»,-сказала она. «Много новых пользователей, приезжая к нам работали на ПК с использованием популярных коммерческих инструментов; другие предпочитают инструменты с открытым исходным кодом. Но общая проблема всех пользователей, что они бегут из вычислительного пара на их рабочих столах. Наша цель – позволить им использовать наши ресурсы HPC продолжая работать в их средах знакомые разработки, расширяя их коды достигают параллельных систем с использованием различных открытых источников и коммерческих инструментов.» [Примечание редактора: Цитата из беседы с автором и используется с разрешения.]

Программное обеспечение совместной работы HPC

С этой целью ССДСИ и многие другие исследовательские центры развернули Интерактивные суперкомпьютеров платформы Star-P. Star-P представляет собой пакет открытого коммерческого программного обеспечения, разработанный с нуля для легкой интеграции с широким спектром открытых математических библиотек, решателей, планировщики и другие инструменты, Излюбленные технических вычислений пользователей. Как видно на рисунке 1, звезда-P подходит для использования во многих различных отраслях промышленности и предоставляет интерфейс для больших наборов данных, параллельных библиотек и управления базового оборудования.

Рисунок 1: Архитектура Star-P

Хотя крайне сложные требования программирования параллельных систем за пределами возможностей средний ученый, инженер и аналитик, Star-P позволяет им прозрачно работать с параллельными кластеров высокопроизводительных вычислительных систем и серверов с помощью знакомых инструментов рабочего стола. Пользователи могут код модели и алгоритмы, с использованием либо популярных коммерческих технических вычислительных приложений или с открытым исходным кодом инструментов программирования. В любом случае пользователи смогут затем запускать свои приложения мгновенно и в интерактивном режиме на HPCs. Это устраняет необходимость восстановления программного кода для запуска на параллельных систем, которые обычно занимает месяцы для больших, большими объемами данных проблем.

Star-P — клиент/серверное программное обеспечение, которое соединяет Windows или Linux настольного клиента для сервера на базе Linux Star-P работает либо локально сетевых ресурсов HPC, или в случаях, как ССДСИ в лаборатории, удаленно через Интернет. Linux как Star-P серверной операционной системы является естественным, поскольку большинство современных HPC кластеры и многоядерных серверов основаны на Linux. Большая часть этой миграции с открытым исходным кодом HPC был обусловлен способностью сырьевых товаров, основанных на стандартах многоядерных процессоров от Intel и AMD обеспечивают высокую производительность при низких затратах. Кластер HPC Linux может обеспечить лучшую производительность, чем традиционная проприетарные суперкомпьютер на долю от стоимости. На основе Linux HPC предлагает непревзойденное сочетание масштабируемости, гибкости и постоянно растущей экосистеме HPC поставщикам оборудования и программного обеспечения для оказания поддержки.

На переднем конце Star-P предоставляет пользователю выбор собственных MATLAB или открытым исходным кодом Python среды разработки. При использовании MATLAB, Star-P предоставляет пользователям популярный язык очень высокого уровня (VHLL) с легким доступом для многих библиотек с открытым исходным и вспомогательные средства. И наоборот Python пользователи могут воспользоваться преимуществами коммерческих надстроек сторонних модулей для Star-р. Рабочий процесс между собственностью и открытым исходным кодом инструменты бесшовные.

Поддержка языка Python apropos с учетом Star-P цель сделать пользователей более продуктивной. Python-это объектно ориентированный, на высоком уровне языка программирования с простым, легко узнать синтаксис. Это необходимо не шаг компиляции и отладки Python-приложений быстро и легко. Таким образом программисты ценят увеличение производительности, которую он обеспечивает.

Ключевым преимуществом использования Python в HPC средах является широкий спектр модулей Python для технических вычислений. Например пользователи могут использовать любой из Python сотни функций в задаче параллельных вычислений. Они могут также воспользоваться Python специфических числовых библиотек и функций, в том числе NumPy и SciPy, программирования расширений Python, которые добавляют поддержку для больших, многомерных массивов и матриц. Эти, а также многие другие модули из Python открыть источник сообщества, можно выполнять как параллельные задачи для ускорения задач, которые могут быть выполнены независимо друг от друга. Star-P Python клиент работает так, что чувствует себя комфортно для пользователей NumPy, де-факто пакет Python для числовых и научных вычислений, как синтаксис для создания и эксплуатации на распределенных массивов в Star-P Python клиент напоминает NumPY. В самом деле пользователи могут запускать свой код на параллельной HPC с только пару тривиальных синтаксических изменений.

Такая интеграция open source и коммерческое программное обеспечение позволяет пользователям писать программы Python очень большой матрицы и массив объектов обработки на настольных ПК. Во время кодирования они могут воспользоваться Python внутренней интерактивности, а также любой удобной интегрированной среды разработки (IDE) для работы в Python, такие как Комодо, Блэкаддер или PyScripter. При обработке очень больших наборов данных, можно экспортировать их вычисление HPC, под управлением сервера Star-P по-прежнему контролировать вычисления от интерактивного сеанса, запущенного на рабочем столе компьютера.

Поддержка Python особенно полезна для обработки приложений в науки о жизни, оборонной и других отраслей промышленности, благодаря широкому разнообразию открытых модулей, доступных для них изображений.

Сочетание скорости программирования Python и простота в использовании в сочетании с возможности интерактивного параллелизации Star-P означает, что модули Python можно теперь автоматически распараллелить, приносит значительную производительность для пользователей.

OpenConnect

Python специфические библиотеки и модули являются лишь одним из многих видов инструментов с открытым исходным кодом, которые могут беспрепятственно взаимодействовать с Star-р. Десятки открытых библиотек, решателей и алгоритмы доступны для технических вычислений сообщества. Для облегчения интеграции, Star-P включает расширение программирования интерфейс (API), называемый OpenConnect, который позволяет пользователям с легкостью подключать открытым исходным кодом инструменты для повышения производительности приложений. Поскольку большинство из этих инструментов с открытым исходным кодом были написаны на низком уровне языках, как C или FORTRAN, пользователи могут подключить их в Star-P, работать на них с их предпочтительным инструментом настольного компьютера и выполнить код в задаче или данных параллельных режимах с небольшим усилием перепрограммирования. Эта простая интеграция также позволяет пользователям использовать некоторые численные библиотеки мощным открытым исходным кодом, которые ранее за их технологические достижения.

Например использование Star-P OpenConnect, могут подключить пользователи различных решателей из Sandia National Labs Trilinos библиотеки. Trilinos использует разработки приложений строительные блоки, называемые пакетами для вычислительных задач, таких как создание плотных матриц, диаграмм и векторов. В реальном мире, например ученые НАСА объединения Star-P с OSS, они разработали называемые оптические характеристики систем и анализа исследований (Оскар) для улучшения следующего поколения космических телескопов и других звездных графических приложений. Оскар: моделирование программное обеспечение для разработки и анализа больших систем на основе космических изображений. Программное обеспечение сыграл важную роль в решении проблемы с Лэсли оптические недостатки космического телескопа "Хаббл". Поскольку системы этого типа требуют большой, высокой точности оптического моделирования, НАСА запускает Оскар на open источник на основе Беовульфа параллельных кластеров для обработки огромных наборов данных и удовлетворения потребностей памяти.

Исследовательский проект позволяет ученым в звездной видение миссии НАСА для повышения производительности путем повторного использования существующих последовательных и параллельных Оскар код, без необходимости изучать сложные требования программирования ОСКАРА. Для облегчения параллельных вычислений, Оскар полностью написан на C с MPI обработки вычислений во многих узлах процессора. Star-P ученые могут повторно использовать и расширять функциональность существующего кода путем связывания его простой в использовании настольных инструментов, таких как Python или MATLAB. Star-P автоматически преобразует программы для запуска в интерактивном режиме на кластерах Беовульф.

Star-P также помощь в разработке новых ПСОК. Биомедицинские инженеры в университете Вирджинии школе инженерных и прикладных наук разработали новый инструмент визуализации, который надеется значительно улучшить медицинские ультразвуки, потенциально приводит к более точной и своевременной диагностики рака молочной железы и других угрожающих условий жизни. Использование Star-P, биомедицинской инженерии университета исследовательская группа создал алгоритм формирования луча открытым исходным кодом, называемый сметчик вблизи поля Time domain Optimized (тон), что значительно улучшает контрастность и разрешение ультразвуковых изображений.

Небольшая выборка других инструментов открытым исходным кодом, которые работают с Star-P включают:

  • ScaLAPACK, библиотека линейной алгебры для параллельных компьютеров
  • FFTW, подпрограмма библиотека C для вычисления быстрого преобразования Фурье
  • Мультифронтального массово параллельный решатель (СВИНКА), инструмент для решения систем линейных уравнений
  • Крутящий момент диспетчер ресурсов открытым исходным кодом, обеспечивая контроль над пакетных заданий и распределенных вычислительных узлов
  • Hdf5, набор баз данных инструментов для управления коллекций очень больших и сложных данных

Заключение

В HPC, смешение коммерческих и ПСОК может быть взаимовыгодным, укрепление сильных сторон и функциональность каждого из них. HPC быстро будет основной и больше не редких и экзотических ресурсов ограничены компьютерные науки лаборатории. Этот сдвиг приходит огромный приток новых пользователей, не знакомых с сложности параллельных вычислений. Простота использования предоставляемых коммерческое программное обеспечение в сочетании с обширной и богатым предложением открытым исходным кодом инструменты могут работать вместе, чтобы сделать более доступными HPC и пользователей более продуктивной.

Рекомендуемые ресурсы

Сообщество HPC

Linux HPC

Доля этой статьи:

Цитируете эту статью:

Оцените содержание: 
Нет голосов были поданы еще. Скажи свое слово!

Добавить новый комментарий

Обычный текст

  • Теги HTML не разрешены.
  • Адреса электронной почты и адреса страниц включите в ссылки автоматически.
  • Строки и параграфы переносятся автоматически.