February 2016 Download this article as a PDFAbstract

Проведение обзора литературы в новых областях ставит уникальные задачи. Литература в новом домене обычно широкие, раздробленной и растет быстро. Потому, что мало известно о новом домене, обзор литературы не может руководствоваться установленными классификациями знаний, в отличие от в существующем домене. Скорее это будет зависеть от доказательств того, что проблемы и расширяет существующие знания. В некотором смысле изучение нового домена означает поиск аномалий в доказательствах, которые нельзя объяснить тем, что уже известно. Эта статья обобщает уроки из проведения двух обзоров литературы в новых доменах в области кибербезопасности. Затем он представляет дизайн для использования инициативе лидера краудсорсинг для сбора доказательств и синтезировать в идеи в новом домене. Статья будет иметь отношение к тем, кто изучают новый домен, в частности студентов, исследователей и членов R&D проектов в промышленности.

Введение

Стандартный подход к изучению домена является проведение обзора литературы. Однако проведение обзора литературы в новом домене представляет уникальные задачи. В то время как в существующем домене, исследователи могут использовать установленные классификации знаний для их поиска и интерпретации литературы, это не дело для нового домена, который не имеет таких классификаций. В новом домене литературе обычно широкие, раздроблена и в то же время, быстро растет. Задача исследователя заключается смысл доказательств, когда он не подходит, существующие модели и классификаций. Встречая таких доказательств заставляет их расширить имеющиеся знания.

В этой статье сначала рассматриваются характеристики новых доменов и обобщаются уроки, извлеченные из проведения двух обзоров литературы в новых доменах. Он рассматривает цели и виды обзоров литературы и типичная структура обзора систематического повествовательной литературы. В-третьих он вводит краудсорсинг как техника для мобилизации людей для решения сложных задач и рассматриваются проблемы, с которыми crowdsourcing может решить. Статья затем представляет дизайн для краудсорсинга Создание обзоров литературы для сбора доказательств и синтезировать в идеи в новом домене. Статья закрывается с выявлением проблем и вопросов при использовании этого нового подхода.

Изучение новых доменов

Изучение нового домена, можно представить как аномалии в доказательства того, что нельзя объяснить то, что уже известно и затем построения моделей и классификаций, которые включают эти доказательства. Особая задача в изучении нового домена является то, что критерии для поиска домена совместно развивается с нашим пониманием домена. В начале обзора литературы есть несколько установленных критериев для того, что исследователи должны искать, то, что Лин и коллеги (2014), в их исследовании краудсорсинг Поиск могилы Чингиз-хана, называют «иголка в стоге сена проблемы, где появление иглы неизвестно».

Поиск неизвестных

Очень мало известно о том, что ключевые концепции в новом домене. Таким образом исследователи не должны ограничивать их поиска, критерии, что можно «ожидать» на основе имеющейся литературы. Как отметил Аттенберг, Ipeirotis и Прево (2011), Организации принимать решения на основании явных или неявных моделей мира. Хотя важно понять, где эти модели имеют ограничения и могут быть улучшены, это часто не ясно, когда эти модели ограничены. Другими словами мы часто не знаем, что мы не знаем.

От требований мы также знаем, что незнание домена часто имеет преимущества (Берри, 1995). Это позволяет требования аналитик для выявления неустановленными предположения, что эксперты домена пришли принять. Специалисты имеют знания домена (аспекты домена, они принимают как должное), в то время как невежественные «новичок» в домене придется думать о тех аспектах явно и оценить их из первых принципов (Мехротра & Берри, 2012). Мы рассматриваем этот аутсайдер перспективу как «преимущество новичка».

Аттенберг и коллеги (2011) также признают преимущества non эксперта в перспективе. Они обнаружили, что non эксперты могут легко найти дыры в моделях принятия решений, которые проходят «стандартные» тесты, используемые экспертами. Эти отверстия в модели решения Организации соответствуют ситуации, когда модель уверенно, но неправильно (это «неизвестные неизвестные»), не где модель является неопределенным («известные неизвестные»). Из этих наблюдений мы заключаем, что в новом домене, исследователи должны особенно искать области в существующих знаниях, которые якобы прочно утвердилась. Это где большая слепые пятна могут лежать.

Уроки из двух литературных обзоров в новых доменах

Автор имел возможность наблюдать двух групп, проводящих обзоры литературы в новых доменах в области кибербезопасности (см. подтверждение). Команды состояла из опытных исследователей и аспирантов и исследователей ранней карьеры. Все члены группы имели опыт написания традиционных литературных обзоров. Основные замечания были:

  1. Фрагментация и размер домена: Еще не было установленных классификаций знаний в новых областях и знания появились фрагментирован. Это наблюдение было более очевидным, в одном из обзоров, которых не было отправной точкой для начала поиска литературы.
  2. Меняющиеся критерии поиска: Вопросы диск Поиск доказательств и критерии поиска развиваться с пониманием домена. Конкурирующие толкования требуют корректировки критериев поиска.
  3. Выпуск обзора литературы: Цель обзора литературы — получить ощущение будущей эволюции домена и выявления пробелов и проблем. В то время как в некотором смысле, обзоры каждая литература стремится к достижению этих целей, обзор литературы в новом домене будет уделять больше внимания этим аспектам. Наше понимание нового домена начинается с пробелы и вызовы к существующей литературе.
  4. Заземлены в примерах: Обзор основан на примерах исследованы явления.
  5. Нетрадиционные источники литературы: Поскольку домен все еще развивается, другие источники, чем традиционные документы Конференции и журнала должны быть рассмотрены (например, Интернет-презентации и статьи новостей).
  6. Разнообразие: В этих двух случаях команда состояла из универсалы и специалистов. Универсалы в команде имеет широкий опыт в технологии и инновации, в то время как специалисты имели опыт в кибербезопасности. Однако никто из них не конкретный опыт в новых доменах.
  7. Модульность: Поиск и интерпретация литературы был поблочного на независимые части. Это замечание более применимо к одному из обзоров, где определение домена в поддоменах помогли фокус процесса обзора.
  8. Руководитель области и синтеза: Вопросы (определение круга проблем) и синтез ответов были изгнаны на одного человека (опытный исследователь), который взял ведущую роль в процессе обзора литературы.

В таблице 1 приводятся свидетельства для этих замечаний, которые автор запросил по электронной почте от членов команды. Члены команды были представлены с первоначальной версией 8 замечаний выше и попросил прокомментировать их. Котировки предоставляются, как они появились в сообщениях электронной почты, за исключением исправления очевидных орфографических или грамматических ошибок.

Таблица 1. Доказательства, собранные от авторов двух литературных обзоров в новых доменах

Наблюдение

Доказательства

1. Фрагментация и размер домена

«С [обзор 2] мы имели машинного обучения и его структур начать с. Таким образом эта классификация существует. Но особенно с новых меняющихся методов, были редкими и рассеяны».

«[Обзор 1] действительно не имеют начальную структуру на всех, и мы должны были искать вокруг для смысла повторного использования кода».

2. меняющиеся критерии поиска

«[Мы] использовать обследования документы, где это возможно начать разведку и захватить широкий контекст, который будет уточняться».

«[Мы] начали посмотрев последние документы (после 2010) на основе меняющихся наборов ключевых слов, как мы исследовали домен».

«Я пытаюсь показать эволюция поиска ключевых слов в три этапа. Я хотел бы рассмотреть первый процесс первоначальной проверки ключевых слов для поиска, второй этап был сверху вниз подход к поиску литературы, а третий этап снизу вверх подход к поиску.

3. выход обзор литературы

«В целом, цель статьи заключается в содействии понимание недавней литературы и чувство будущих направлений.»

«Конечно, пытаясь захватить тенденции, но и выявления пробелов, проблем и др.»

4. заземлены в примерах

«Обзор основывается на примерах исследованы явления. [Обзор 1] собирает примеры повторного использования кода, охватываемых средствами массовой информации».

«[Мы] извлекли фрагменты из документов, делая пунктов, что мы посчитали интерес как относящиеся к внимания вопросы от клиента, [финансирование обзор литературы]. [Он] помог загрунтовать обзора как мы продвинулись вперед в домене, [где] мы не были экспертами».

5. нетрадиционные источники литературы

«Для [обзор 1], мы должны были искать за пределами Академии Google для определения и учебники, включая YouTube видео.»

6. разнообразие

«Я согласен, что команда разнообразие имеет важное значение – особенно в романе домена. В этом случае я думаю, что можно утверждать, что у нас нет специалистов по команде. Я думаю, это зависит от абстракции. Я специалист потому, что у меня есть понимание кибербезопасности?»

7. модульность

«True для [обзор 2]; чуть менее верно для [обзор 1]. [2] в результате обзора пять модулей, написанных по конкретным темам (что, в некотором смысле, отражает общие классификации в рамках машинного обучения).»

«[Исследователь B] modularized/областью исследования в поддомене темы, которые я думал, включены основополагающие элементы машинного обучения (например, функция извлечения, кластеризация, наборы данных)».

8. лидер определения сферы охвата и синтез

«Думаю, в духе, это правда. Но, в некотором смысле, это был договор, что вопросы/направление. [Исследователь A], однако, несомненно сыграл ключевую роль в определении процесса, используемого для выполнения обзора литературы.»

«В обоих [обзор 1] и [обзор 2], руководитель проекта должен определить глубину поиска, а также уровень детализации в синтезе.»

«Я согласен; в конечном счете кто-то должен принять решение о сфере охвата.»

Цели и виды обзоров литературы

Литература Обзор стремится обобщить текущие знания по данной теме на основе ранее опубликованных исследований. Авторы литературы Обзор поиска литературы, получения источников информации и обобщение выводов этих источников в один документ (зеленый и др., 2006). Мы можем классифицировать литературных обзоров с точки зрения их целей и способов, в котором проводится обзор литературы. Baumeister и Лири (1997) определить пять возможных целей обзора литературы. Начиная с наиболее амбициозной цели, они являются: Разработка теории, теории оценки, обследовав состояние знаний по конкретной теме, выявление пробелов или проблемы и, в некоторых случаях, предоставляя исторический счет развития теории и исследования по конкретной теме.

Зеленый et al (2006) продифференцируйте три широкие категории обзоров литературы:

  1. Повествовательная литература обзоры обобщения выводов литературы, полученных из поиска баз данных, ручного поиска и авторитетных текстов. Они полезны при представлении широкой перспективы на тему. Однако они, как правило, менее систематический и всеобъемлющий характер, чем другие виды обзоров литературы и может быть искажена до одного исследователя перспективы. Редакционные статьи, комментарии и обзорные статьи являются все примеры описательной литературных обзоров.
  2. Качественная литература систематические обзоры основаны на детальный поиск литературы. Ими движет целенаправленный вопрос или цели. Систематическая литература обзор направлен на уменьшение количества смещения, которые могут возникнуть при извлечении данных из литературы путем установления систематических критериев отбора литературы для включения в обзор и несколько авторов в том числе в обзоре. Результаты обзора обычно компилируются в таблицах данных.
  3. Количественные систематических литературных обзоров синтезировать результаты обзор литературы в статистической форме. Обзор количественных литературы также называется мета анализ.

Также можно создать таксономию обзоров литературы, объединяя цели и виды обзоров литературы (СЦВК соавт, 2015). Другие авторы, такие, как Грант & Бут (2009) создали более подробной классификации литературных обзоров. Обзоры литературы, проводимые двумя командами выше можно лучше всего охарактеризовать как обзор систематического повествовательной литературы. Они более систематически, чем обзор описательной литературы, но не отвечают формальным требованиям качественной литературы систематического обзора. Этот тип обзор литературы — в центре внимания нашего документа.

Структура обзор систематического повествовательной литературы

Зеленый, Джонсон и Адамс (2006) описывает обзор (систематический) повествовательной литературы как «синтез лучших доказательств». Лучшие доказательства синтеза содержит следующие элементы:

  1. Фокус: Авторы должны указать цель или направленность обзора литературы.
  2. Актуальность: Авторы также должны сделать случай для актуальности обзора.
  3. Глоссарий: Обзор литературы должен определить любой необычной терминологии.
  4. Источники информации: Авторы обзора литературы должны по электронным базам данных поиск и ключевые слова, используемые для поиска документов.
  5. Условия поиска: Чтобы ограничить число документов, которые необходимо рассмотреть, авторы должны включить основные понятия домена под разведку в условия поиска.
  6. Критерии отбора: Обзор литературы должен описать на какие основания были включены или исключены. Такие критерии помогают избежать смещения в выборе документов.
  7. Синтез: Информация, полученная из литературы должны быть организованы в общие темы или потоки. Таблицы являются хорошим способом классификации собранных доказательств. Целью синтеза является выявление соглашений, разногласия и пробелы в литературе.
  8. Ограничения: Авторы должны выявлять слабые места обзора и областей для будущей работы.
  9. Заключение: Заключение должно относиться к цели и обобщить основные выводы обзора литературы и определить вклад знаний сделал.

Краудсорсинг

Краудсорсинг — это метод для привлечения группы людей (толпа) для решения сложных задач. В краудсорсинг, есть два типа пользователей: requesters и члены толпы (Бринхем соавт, 2015). Requesters являются люди или организации, которые определяют проблемы или задачи, и совокупные частичные решения производства толпы. Толпы члены являются люди, которые содействуют. Краудсорсинг — особый тип совместного творчества, практики, где разработчики и заинтересованные стороны сотрудничают для создания продукта или услуги (Pater, 2009). Однако в отличие от Патер (2009) мы не ограничиваем краудсорсинг к сценарию, где любой может присоединиться к толпе, но также включать случай, когда толпы члены отбираются на основе критериев участия, например, для их опыта и совместной истории.

Типы краудсорсинг

Краудсорсинг системы различаются с точки зрения стимулов requesters и сложность задач, количество времени, члены толпы тратят на задачи, уровень сотрудничества между членами толпы, толпы членов и с точки зрения ли работа в рамках «стандарт» работы или нет. Бринхем, Бернстайн и Адар, (2015) различие между тремя видами краудсорсинг: краудсорсинг, совместных краудсорсинг и пассивных краудсорсинга.

  1. В режиссер краудсорсинг один заявитель вербует членов толпы для достижения конкретной цели. В этом типе краудсорсинг члены толпы, как правило, действовать независимо. Хорошим примером режиссер краудсорсинг является Amazon Механический турок платформы, в которой работники платят за выполнение определенных задач для инициатора запроса. В режиссер краудсорсинг большие задачи часто подразделяется на так называемые microtasks.
  2. В совместных краудсорсинг толпа самостоятельно определяет их организации и работе. В этом типе краудсорсинг члены толпы, как правило, неразрывно мотивированы, чтобы принять участие, то есть, они разделяют в заинтересованности в выполнении совместной задачи как создание онлайн-энциклопедии как в случае Википедии или Идентификация компонентов на спутниковых изображений, таких как фигуры, которые могут указывать на расположение гробницы (Lin соавт, 2014).
  3. В пассивный краудсорсинг толпа дает полезный результат как часть их регулярного поведения. Вместо того, чтобы деятельность толпы, запрашивающая сторона просто собирает следы поведения толпы и рисования выводы из них. Пример пассивного краудсорсинг отслеживание сообщений на Twitter, чтобы предсказать политический исход (iHub исследований, 2013).

Интересный гибрид режиссер краудсорсинга и совместных краудсорсинг является лидер driven краудсорсинга. В этом типе краудсорсинг лидер ведет высокого уровня видение задачи и направляет других толпы членов (участников) внести конкретный вклад в эту задачу. Примером инициативе лидера краудсорсинг является система совместного письма под названием ансамбль (Ким соавт, 2014). Мы будем опираться на концепции инициативе лидера краудсорсинг в предлагаемой конструкции ниже.

Преимущества краудсорсинг

Краудсорсинг является полезным для целого ряда причин, включая:

  1. Время: Путем распределения задач по большой группе, crowdsourcing может сократить время, необходимое для выполнения задачи, учитывая четкое разделение задачи на подзадачи (коричневый и др., 2014).
  2. Критерии проверки: Не имея уже существующие ссылки на то, что представляет собой аномалию в новом домене, консенсус может использоваться в качестве механизма подготовки кадров для толпы (Lin соавт, 2014).
  3. Разнообразие: Толпа может обеспечить доступ к разнообразию перспектив (Андре соавт, 2014).
  4. Домен знания, необходимые: Когда надлежащим образом структурированные, сложные проблемы могут быть решены путем толпы с практически нет уже существующих знаний домена (Бринхем соавт, 2015).
  5. Масштаб: Когда задача распространяется среди членов толпы, гораздо большие задачи могут быть решены как крупномасштабные обследования наборов данных (Lin соавт, 2014).

Другая работа над краудсорсинг обзоры литературы

Применение краудсорсинг для изучения новых доменов широко еще не изучены. Большинство приложений находятся в медицинской области, например найти документы, в которых упоминаются некоторые заболевания или наркотики (хорошо соавт, 2015) или поиск для лечения (Elliot et al., 2014) и в сфере образования, например, изучение новых концепций (соавт Лютера, 2015). Хотя большинство ранних работ на краудсорсинг была сосредоточена на наборы данных в доменах, что большинство пользователей знакомы с, такие как изображения или советы, недавние исследования разработал методы, которые могут иметь дело с более сложных качественных наборов данных в незнакомых областях, таких как синтезировать текстовые данные, требует знания предметной (André соавт, 2014).

Поиск в Академии Google для комбинаций ключевых слов «краудсорсинг» и «обзор литературы», «новые домены» или «незнакомых домены», только нашли два примера краудсорсинг, используемых для проведения литературы обзор, как в медицинской области. Во-первых Браун и Эллисон (2014) описывают процесс оценки литературы, которая включает в себя разлагать исследования вопрос о заинтересованности в microtasks, которые могут быть распространены на членов толпы. Во-вторых Эллиот, Томас и Оуэнс (2014) описать текущие инициативы для скрининга crowdsourced цитирований (Embase, 2016).

Один урок от коричневого и Эллисон (2014), является не только необходимо гарантировать достоверность результатов проверки качества. Проверки качества также должны продемонстрировать компетентность членов толпы провести обзор литературы. Такая компетенция может быть продемонстрирована через «до полета» квалификационные испытания, которые вводят в качестве критерия записи, прежде чем разрешить работникам участвовать в толпе. Второй урок состоит, что важно принять решение о сфере охвата обзора литературы для обеспечения вывода обзор литературы включает только источники, относящиеся к вопросу.

Дизайн для краудсорсинга литературных обзоров

В этом разделе мы описываем дизайн инициативе лидера краудсорсинговая платформа, которая может использоваться для сбора доказательств и синтезировать в идеи в новом домене. Во-первых мы определяем принципы проектирования, которые руководство дизайн платформы. Затем мы представляем концептуальную модель для краудсорсинга литературных обзоров. Она включает структуру производства толпы и роли и обязанности членов толпы артефактов.

Принципы проектирования

Конструкция предлагаемой краудсорсинговая платформа опирается на уроки, извлеченные из двух вручную провели обзоры литературы в новых областях и о последних достижениях в краудсорсинга. Эти уроки ведут к семи принципов:

  1. Определение области и синтез: Положите лидера за решение, по которому вопросы должны рассматриваться (определение круга проблем) и обобщить ответы на новые идеи.
  2. Отрывов: раздел литературы Обзор задачи в сфокусированных microtasks, которая может быть выполнена без необходимости рассмотрения обзора литературы в целом.
  3. Разнообразие: краудсорсинг преимущества при использовании различных членов с различных точек зрения. Первоначально предполагается, что толпа члены не могут самостоятельно выбрать для участия. Модель, таким образом, соответствует Клуб экспертов модели совместного творчества (Pater, 2009).
  4. Леса: внедрять опыт в разработке инструментов для преумножения усилий работника.
  5. Дополнительные точки отсчета: Показать ответы от других участников.
  6. Консенсуса: создание консенсуса среди членов толпы через комментируя, голосование и пометки.
  7. Стимулы: основываться на дополнительных мотиваций лидеров (для получения обратной связи) и вкладчиков (признание за их опыт).

В таблице 2 приводятся известные использует в литературе краудсорсинг для каждого принципа дизайна.

Таблица 2. Известные использует принципы проектирования в литературе краудсорсинг

Принцип конструкции

Известное использование

Определение области и синтез

В системе ансамбля, лидеры решили, что участники должны написать путем создания записи приглашений и выберите Черновики из представленных проектов или написать свои собственные (Ким соавт, 2014).

Отрывов

В системе ансамбля, написание задачи распределяются между разными ролями: лидеры, модераторы и участники (Kim соавт, 2014).

Лин и коллеги (2014) разделить спутниковые снимки на плитки и попросил членов толпы для отдельных плиток.

Разнообразие

В системе ансамбля руководители сообщили, что они нашли перспективы других полезных для написания их рассказы (Ким соавт, 2014).

Строительные леса

Авторы писать черновики для сцен, в ответ на запросы, созданные лидерами. Когда авторы пишут проекта, они могут видеть все проекты от других участников для одной сцены. Эта видимость обеспечивает контекст для их задачи (Ким соавт, 2014).

Леса дает членам толпы нужную информацию, в нужном месте и в нужное время, чтобы помочь им достичь данного вида деятельности (Оуэнс, 2013).

Дополнительные точки отсчета

В другом исследовании, проведенном Ким и коллегами (2015) авторы просят создать вопросы о социальных медиа постов. Для каждой должности они показаны примерные вопросы, созданные другими донорами.

В Лин et al (2014), толпы члены показаны все теги, которые другие члены толпы географическое положение. Эта видимость позволяет толпы сравнивать свои собственные решения в отношении тех из других одноранговых участников.

Консенсуса

В André et al (2014), толпы членов последовательно классифицировать фрагменты текста. Когда толпа член предлагается классифицировать фрагмент, они видят, как другие фрагменты были разделены. Они затем могут решить поместить новый фрагмент в существующую категорию или создать новую.

В Ким et al (2014), консенсус путем голосования: лидеры и участники могут голосовать по проектам, созданные другими пользователями.

Стимулы

Руководители и сотрудники имеют дополнительные мотивы: лидеры хотят, чтобы получить обратную связь на их описательной части, в то время как сотрудники рассматривают их опыт как ценный вклад руководителей (Ким соавт, 2014).

Концептуальная модель

Дизайн платформы краудсорсинг, предлагаемых здесь опирается на предыдущие работы на написание совместных систем (Ким соавт, 2014) и на базе толпы кластеризации документов (André соавт, 2014). В инициативе лидера краудсорсинг подход совместного написания (Ким соавт, 2014), существует два типа участников: руководителей и участников. Лидеры ограничивают и указать характер взносов: ведущий автор обзора литературы задает область обзора литературы и направляет синтез. Другие члены толпы (вкладчиков) набираются для сосредоточиться на написание конкретных задач.

Как показано на рисунке 1, мы conceptualize обзор литературы как история или повествования. Каждый рассказ состоит из серии фрагментов, которые мы называем сцены (Ким соавт, 2014). Каждая сцена якорь вокруг цели написания (например, предоставление обзор обзор литературы, определение ключевых особенностей темы обзора, выявления примеров, иллюстрирующие тему или выявление пробелов в литературе). Цель каждой записи связан с запросом, который помогает сфокусировать работу вкладчиков. В проекты собраны ответы на запросы. Проекты могут быть прокомментировал и на голосование, а также категории. Это зависит от лидера, чтобы выбрать лучший проект для каждой сцены, с тем чтобы подготовить окончательный вариант описательной части.

Рисунок 1

Рисунок 1. Концептуализация обзор литературы как описательной части, компоненты обзора литературы (сцены и черновики) и действия, которые могут быть выполнены на каждом из компонентов (комментирование, голосование и категоризация)

Познавательная наука исследования по написанию определил, что процесс записи можно рассматривать как серия риторической проблемы (цветы & Хейс, 1981). Для каждого повествования существует верхнего уровня риторическая проблема (которая включает ограничения, писателей и цели, которые писатели создают для себя), который затем распадается на подзадач диска Создание повествования. Например если ведущий автор обзора литературы ввода на примерах, иллюстрирующих тема обзора, они могут попросить участников за конкретный вклад с запросом. Таким образом ведущий автор может поддерживать видение высокого уровня обзора литературы, предоставляя войска с достаточным контекстом общего потока обзора литературы и в направлении завершения конкретных задач.

В таблице 3 перечислены роли участников процесса обзора литературы crowdsourced и их обязанностей. Обратите внимание, что, хотя такие термины, как сцена, приглашение и проект по-прежнему общий, мы ожидаем определить каталоги сцен и приглашения для создания литературных обзоров после того, как первоначальный прототип предлагаемой платформы была разработана и могут быть подвергнуты систематическое Пользовательское тестирование. Например уже очевидным из опыта двух созданных вручную литературных обзоров, которые необходимо поддерживать различные типы проектов.

В одном случае запрос может попросить авторов для производства альтернатив лидера проекта. Например руководитель может попросить участников для определения линии программного обеспечения для вредоносных программ. В этом случае проекты являются строго альтернативные версии сцены. В другом случае запрос может попросить список экземпляров, которые вместе образуют ответ на вопрос. Например руководитель может попросить примеры атак повторного использования кода и вкладчиков классифицировать их (Андре соавт, 2014). Как собирать и классифицировать примеры, они производят таксономии атак повторного использования кода, которые могли бы послужить основой для дальнейшего изучения. В этом случае все или подмножество проектов должны быть включены в обзор.

Таблица 3. Процесс обзора роли и обязанности в литературе crowdsourced.

Роль

Описательные части

Сцены

Черновики

Руководитель

Создает описательные части

Создает сцены

Создает запросы в сценах

Определяет последовательность сцен в описательной части

Создает черновики

Синтезирует проекты в окончательный проект описательной части

Комментарии по проектам

Голосование по проектам

Классифицирует проекты

Участник

 

 

Создает черновики

Комментарии по проектам

Голосование по проектам

Классифицирует проекты

Заключение

В этой статье мы предложили дизайн платформы для краудсорсинга литературных обзоров в новых доменах. В частности наше внимание было на создание систематических описательной литературных обзоров. Выгоды, ожидаемые от краудсорсинг литературных обзоров включают:

  1. Сокращение времени требуется, чтобы завершить обзор
  2. Будучи в состоянии полагаться на эмерджентных проверки критериев, учитывая, что новый домен не хватает уже существующей ссылкой для что представляют собой аномалии, которые могут указывать на пробелы в имеющихся знаниях
  3. Используя разнообразие перспектив толпы членов
  4. Ограничение уровня домена знаний, необходимых для создания обзора литературы в новом домене

Проблемы для краудсорсинга литературных обзоров, которые мы предполагаем, включают:

  1. Как поощрять участие (какие виды стимулов необходимо)
  2. Как обеспечить качество обзоров производства (какие аспекты процесса краудсорсинг должен быть инструментированы)
  3. Как для дальнейшей поддержки синтеза этапа обзора (какую роль можно передовые методы, такие как визуализация и текстовые методы интеллектуального анализа данных)

Прототип платформы в настоящее время осуществляется командой разработчиков на ВЕНЕРЕ кибербезопасности корпорации. Систематическое пользователь тестирование платформы и в результате расширения платформы остается для будущей работы.

Выражение признательности

Эта работа была проведена для ВЕНЕРЫ кибербезопасности корпорации и получила поддержку от канадской безопасности учреждения (CSE) и Лаборатория аналитических наук (ЛАГ) в университете штата Северная Каролина. Я хотел бы поблагодарить авторов двух литературных обзоров, которые представили эмпирическую основу для предлагаемого процесса обзоров литературы краудсорсинг для новых доменов (в алфавитном порядке: Тони Bailetti, Дэн Craigen, Махмуд Гад и Ахмед Шах). Предлагаемая конструкция также пользу от обсуждения с командой на Венере возложена задача осуществлять краудсорсинговая платформа (в алфавитном порядке: Ибрагим Abualhaol, Али Абу Alhawa, Мохамед Амин, Крис Будиман и Раид "Искандер").

Доля этой статьи:

Цитируете эту статью:

Оцените содержание: 
1 голосов были поданы, с средняя оценка 5 звезд

Ключевые слова: совместное создание, краудсорсинг, краудсорсинговая платформа, кибербезопасности, обзор литературы, повествование, новые домены, систематическое

Добавить новый комментарий

Обычный текст

  • Теги HTML не разрешены.
  • Адреса электронной почты и адреса страниц включите в ссылки автоматически.
  • Строки и параграфы переносятся автоматически.