Июнь 2016 скачать эту статью как PDF

Обзор

Серия лекций Тим предлагает программы управления инновационной технологии (TIM) в Карлтонском университете в Оттаве, Канада. Лекции служить форумом для содействия передаче знаний между университетских исследований по технологии компании руководителей и предпринимателей, а также научных исследований и развития персонала. Читателям предлагается делиться соответствующие идеи или обеспечить обратную связь на презентации или Тим серии лекций, включая рекомендации о будущих ораторов.

Вторая лекция Тим 2016 в Карлтонском университете состоялась 8 марта и был представлен Дэйв Томас, главный научный работник/CSO, первые производные FD Labs. Лекция сосредоточена на разрушительные аспекты «огромные стойких памяти», с точки зрения технологии сдвига, которую он представляет, то влияние, которое она оказывает на как разработчики пишут программы и соответствующие бизнес-возможности, которые она приносит.

Резюме

В этой лекции Томас подчеркнула масштабность наборов данных используется с «Большие данные» спрос легче, на основе запросов программы, которые выделяют как много доступной памяти, насколько это возможно для данных, вместо того, чтобы издержки чрезмерно сложных программ.

Он начал, описывая, как разработчиков за лет приходится сталкиваться или наименее отодвинуть, «стена памяти», лимите общую скорость компьютера введенные ограничения скорости памяти. И возможности могут возникнуть в стремлении преодолеть эту стену памяти, особенно при рассмотрении общей стоимости приложения, которое включает стоимость аппаратного и программного обеспечения, а также расходы управления. Текущие тенденции к снижению в стоимости оборудования означает, что инвестиции в оборудование эффективный способ снизить расходы.

Недавние скачки объема памяти, которую можно одеть, например, DIMM карты или резинки stick (например, 3,5 ТБ), способствовали усилению понятие, что иерархия хранения и памяти должны продолжать масштабировать. Но, NAND/SSS имеет свои проблемы, включая требуемые сложности программного обеспечения, которое работает на нем, медленная скорость по отношению к скорости быстрого чтения, потери данных на больших пишет, если есть сбой питания, сбой памяти NAND после многих записей, и уязвимости безопасности, связанной с необходимость больших постоянного хранения без шифрования.

Было объявлено в августе 2015, Intel микро 3D XPoint память 1000 раз быстрее, чем NAND, имеет 1000 раз больше выносливости чем NAND и 10 раз плотнее, чем обычной памяти (Intel, 2015). Однако с большей производительности памяти в технологии памяти, существует потребность в встроенные функции защиты данных для включения повышенную безопасность данных. Томас объяснил, что памяти Intel расширила безопасность данных с:

  • питания защиту от потери данных: сделал так что вы можете выключить власть и будет по-прежнему записывает полное; предотвращает потерю данных во время неожиданной системы потери мощности при записи данных (завершает все записи выполняется, даже при отключении питания)
  • излишки массива NAND: избыточного массива NAND Flash на SSD способствует надежности привода; обеспечивает защиту системы от отдельных сбоев умереть NAND
  • Шифрование: 328-битное AES шифрование при использовании с ATA диска паролем; обеспечивает дополнительный уровень безопасности

В ногу с достижениями в технологии памяти Ассоциация сетей индустрии хранения (SNIA) показали новую модель программирования для энергонезависимой памяти, модель программирования NVM. Эта новая модель использует преимущества памяти сопоставленных файлов напрямую связываться с постоянной памяти вместо использования традиционной модели, которая опирается на файловые системы и диски как промежуточные технологии. Это новое и гораздо проще, программирования модель и ее связанный стандарт представляют прорыв с точки зрения производительности и возможности для более интересных приложений, чем было возможно ранее.

Томас исследования с новой технологией памяти Intel SSD DC P3700 показали впечатляющие и обнадеживающие результаты против НТКК бенчмарк, который используется в финансовой индустрии.

Влияние на программное обеспечение

Достижения в аппаратных средств и новых моделей программирования имеют влияние на программное обеспечение и, в частности о целесообразности использования объектно ориентированных методов. Например автоматическое управление памятью (или «сборка мусора») не может справиться в условиях с действительно большими объемами данных. К сожалению, текущие языки и самые последние разработчиков, еще не могут приспособиться к этой новой связи.

Томас изложил (таблица 1) различия между традиционными подходами к оперативная обработка транзакций (OLTP) и новый подход OLTP с использованием Hstore и Estore высокой производительности SQL технологии баз данных, которые предлагают значительные преимущества путем указания полной нагрузки (например, коллекции классов транзакций) заранее (Стоунбрейкер и др., 2007). Этот новый подход рассматривается общее несоответствие между базами данных и аппаратного обеспечения, означает, что многие традиционные OLTP методы не подходят для использования с современным оборудованием.

Таблица 1. Обычные по сравнению с новым подходом к оперативная обработка транзакций (OLTP) (Стоунбрейкер и др., 2007)

Недостатки обычных OLTP

Преимущества новых OLTP

• Диск ориентированное хранение "/>"/> память

• И индексирования структуры (B деревья)

• Буферные пулы для уменьшения задержки

• Многопоточность, чтобы скрыть задержки

• Механизмы контроля на основе блокировки параллелизма

• Восстановления на основе журнала

• Аппаратный кэш не знают

• Хранилище столбцов

• Память на основе

• Разовые однопотоковый транзакции

• Нет ручки

• Репликация вместо журналов

• Анти кэширование для массивных данных

Коллекция ориентированное программирование

Далее Томас проследить эволюцию нашей концепции «программы» вверх сегодня и в будущем, когда коллекция ориентированное программирование станет заметным:

  • 1960-х и 70-е годы: Программы = данные структуры + процедуры
  • 1970-х и 80-е годы: Программы = база данных + SQL
  • 1980-е годы: Программы = логика + управление
  • 90-е годы: Программы = объекты + методы
  • 2012: Программы = функциональное программирование - данных структур + функции
  • 2017: Программы = коллекции + запросы

Стремление к коллекции ориентированного программирования определяется растущая сложность программного обеспечения и необходимость более простого подхода, особенно при работе с большими данными. Приложения становятся небольшие функции скриптов коллекций и запросов, что делает подход прост в использовании и доступным для большинства программистов, которые затем могут писать меньше, проще, и быстрее программ, проще поддерживать и запустить. Этот подход включает в себя:

  • Таблицы, словари и списки
  • Операции и функции для всех коллекций
  • Семантика простые значения (без указателей)
  • Атрибуты таблицы являются столбцами в хранилище столбцов и может иметь триллионы строк
  • Выберите обновление, Upsert, Delete для таблиц с функциями в любом положении; Неявное соединение, группе сделать проще, чем SQL
  • Каждый f(Map), f/ (Reduce), f\scan

В результате большая часть памяти посвящена данных, вместо того, чтобы программы, что приводит к высокой производительности с большими наборами данных; Однако оставшиеся вопрос состоит в том, чтобы улучшить нашу способность мыслить с точки зрения формулирования эффективных запросов. Дополнительные средства могут быть добавлены, чтобы сделать запросы еще проще, например: i) быстрее ETL (извлечение, преобразование и загрузка) без программирования, ii) Visual запрос упрощает создание запросов больших объемов данных, но обеспечивает полную мощность и iii) больших объемов данных электронной таблицы для нелинейного анализа. Кроме того исследование визуальных данных позволяет итеративной, в реальном времени визуализации и шаблон обнаружения в массивных наборов данных.

Томас завершил лекция с четырех ключевых вынос, суммирующие ближайшее будущее технологий и подходов к программированию:

  1. Думаю, больше и писать меньше кода.
  2. Программы в настоящее время состоят из коллекций и запросов.
  3. Используйте аппаратное обеспечение: это быстро и недорого.
  4. Простота сокращает время и стоимость разработки и часто улучшает производительность.

 


Ссылки

Intel. 2015 г. 3D XPoint обнародовал – следующий прорыв в технологии памяти. Intel. Доступ к 15 марта,
2016:http://www.intel.com/content/www/us/en/architecture-and-technology/3d-xp...

Стоунбрейкер, м., Мэдден, S., Абади, д, Harizopoulos, и. с., Hachem, н. & Хелланд, р. 2007. Конец архитектурной эпохи (это время для полной перезаписи). В работе тридцать третьей Международной конференции по очень больших баз данных (VLDB ' 07): 1150 – 1160.

 

 
Этот доклад был написан Крис Макфи.

Добавить новый комментарий

Обычный текст

  • Теги HTML не разрешены.
  • Адреса электронной почты и адреса страниц включите в ссылки автоматически.
  • Строки и параграфы переносятся автоматически.