Психометрии Преимущества Soft-связанных алгоритмов скоринга в достижении Тестирование

Компьютеризированные тестирование быстро становится прагматичной в приеме, лицензирования и сертификации, образования размещения, а также руководство настройки. Этот метод тестирования предлагает множество практических преимуществ для испытуемых, например, часто доступны администрации мгновенная забил и отчетности, а также более серьезным испытанием надежности (Bennett, Steffen, Сингли,

Тем не менее, в компьютерной тестирования мы по-прежнему та же проблема, традиционно ассоциируется с бумагой и карандашом тестирования, то есть ограничения в использовании пункта форматов. Несмотря на тот факт, что множественного выбора (MC), которые являются наиболее часто используемых в компьютерной тестирования они по-прежнему несут в себе тот же "багаж" из критических замечаний, которые они получают в бумаги и карандаш основе ситуациях. Основная проблема с пунктами MC является их склонность к тест в основном на уровень знаний когнитивной области (Putnam, 1992). Кроме того, MC пунктов может быть достаточно чувствительны к гадать и testwiseness стратегии (города

В ответ на эту критику пунктов MC, многие конструкторы были испытания с использованием возможностей компьютеризированного тестирования для создания новых типов "гибридных" компьютер scorable пунктов MC которые ранее были недоступны в традиционной бумаги и карандаш обстановке. Многие открытые пункты ответ типа в настоящее время включены в компьютер, административные испытаний, поскольку сейчас они могут быть набрал автоматически с помощью компьютерных алгоритмов. Некоторые из лучших примеров этого являются "математическое выражение" предметов, используемых в Educational Testing Service для использования на экзамен Высшей Records (Беннет и др.., 1997), "компьютеризированная долгосрочной меню" элементов (Schuwirth, Ван де Vleuten , Стофферс,

Кроме того, положительные результаты отмечаются в компьютер забил эссе (Страница

Студенческие Оценка Отделение образования Альберты ответил на критику пунктов MC путем разработки ряда компьютерных scorable пункта форматов. Первый этап этого развития численных реагирования (NR) пункта формат, формат, который требует от испытуемого производить числовые ответ, и записать ответ в числовом поле, а не просто выбирать правильный ответ из списка вариантов. Эта информация затем отсканированы, и записанные значения компьютер набрал путем сопоставления стоимости зарегистрированных студентов на ключевые компьютера. Тот факт, что испытуемые должны напомнить, а не признать, правильный ответ резко сокращается из-за предубеждения testwiseness (города

Кроме того, шансы угадать правильный ответ практически нулевой, таким образом, эффективно уменьшая две основные проблемы, связанные с пунктами MC. В настоящее время этот формат используется для широкого спектра типов вопросов с расчетом последовательности и соответствующие пункты является наиболее распространенным. Одно важное замечание по данному разделу в формате является то, что даже сложные вопросы могут быть заданы, они могут быть только забил дихотомически на компьютере, тогда как в письменной форме ответ, часть знаков может быть передано человеку бомбардиров ..

Для оказания знаки частично NR пунктов с помощью компьютера возможно, новый тип элементов был разработан, чтобы многоступенчатым (multimark) вопросы, которые необходимо спросил и компьютерных забил. Эти элементы называются "связанные элементы". Есть на самом деле два типа связанных пунктов в настоящее время используется, хард-связаны между собой и мягкой связаны между собой.

Hard-Связанные Пункты

Hard-связанные элементы требуют студент ответить на два или три смежные вопросы на основе тех же стволовых клеток. Если студент не удалось ответить на предыдущий пункт, ответ на соответствующий жестко связаны пунктов, вероятно, будет неверным. Этот пункт типа обычно используется для тестирования концепций, где первый вопрос связан с основной концепцией и второй вопрос предполагает последовательное применение этой концепции. Оба изделия последовательно на основе той же информации, таким образом, если испытуемый должны были получить первый пункт неправильный, это очень вероятно, что он получит жесткий связанных пункта, а также неправильный. Это связано пунктов позволит нам задавать сложные вопросы последовательности. Тем не менее, вполне вероятно, что, если испытуемый получает первый вопрос жестко связан "пакет" (последовательность взаимосвязанных вопросов) неправильный, то он получит полный пакет неправильно.

Soft-связанных Пункты

Soft-связанных вопросы не требуют ответа испытуемого к предыдущему пункту правильно, чтобы получить свой ответ забил правильный для связанного элемента (ов). Компьютерный алгоритм используется для генерации правильный ключ к связанному товар (ов) на основе ответе на начальной (предыдущего) пункта испытуемого. Таким образом, даже если испытуемый отвечает на исходный вопрос неправильно, компьютер использует этот ответ для расчета надлежащих мер для мягкой связанных пункта. Если первоначальный вопрос ответил неправильно, но мягкие связанных пункта ответил правильно испытуемый используя его / ее неправильного ответа от первоначального вопроса, компьютер будет оценка мягких связанных пункта правильным.

С помощью этого метода испытуемых, не подвергались наказанию дважды за одно и первоначальный неправильный ответ, если мягкие связанных пункта ответил правильно помощью этого первоначального неисправного ответ. Это позволяет экзаменатору задать сложный последовательность связана пунктов в то же время забил каждого пункта относительно самостоятельно. Soft-связанных пунктов позволит нам проверить когнитивные процессы, мы заинтересованы в, независимо от ответов приводятся в предыдущие вопросы ..

Есть в настоящее время три вида softlinked развитых пунктов: 1) NR NR-ссылку, 2) MC-NR ссылке, и 3) MC-MC ссылку. Эти форматы были разработаны, опробованы и применяются в настоящее время в дипломных экзаменов в Альберте, Канада.

Преимущества Soft-связанных Пункты

Soft-связанных пунктов позволит оценщиков для оценки навыков и / или концепции, обычно оценивается в учителя забил формат, например, письменный ответ, в компьютерном формате забил. Этот компьютер забил снижает затраты и время при маркировке экспертизы. Например, забив на провинциальном основании письменного ответа на вопросы химии 30 января 1987 Диплом Рассмотрение приняли участие около восемнадцать учителей химии маркировки в течение трех дней, со стоимостью около $ 11000, нет аналогичных расходов на счет мягких связанных элементов. Кроме того, заменив субъективного человеческого забил более объективными компьютера забил повышает надежность тестовых оценок. Кроме того, индивидуальные и групповые диагностическая информация может быть получена из мягкой связанных элементов.

Например, студент, который не дает ответа на первый вопрос, правильно, но это ответ мягкой связанные вопрос правильно предполагает освоение определенных навыков, но не все. Эта информация не могла быть собрана из жесткого связанных элементов. Кроме того, группа диагностической информации могут выявить группу моделей навыков, помощь в переориентации обучения ..

Soft-связанных пунктов уменьшить количество времени, необходимого для доступа к ряду навыков и понятий, за счет сокращения времени, необходимого для чтения и ответов на каждый вопрос. Это происходит потому, что ряд вопросов, использует общую информацию, и поэтому испытуемого нужно только читать информацию, когда для набора взаимосвязанных элементов. Таким образом, тесты с участием связаны вопросы требуют меньше времени, чем традиционные тесты с использованием независимых элементов. Меньше времени по каждому пункту можно перевести в более пунктов на тест, дальнейшего повышения надежности теста.

В ответ на нападения на пункты MC время в основном ограничивается уровень знаний / одной задачи на основе вопросов (Putnam, 1992), мягкие связанных пунктов позволит измерения высших когнитивных уровней с многозадачной основе вопросов. Кроме того, мягкие связанных формат обеспечивает структуру для реагирования и поддерживает инструкции классе и оценки практики, при которой студенты показали, как решить проблемы и должны отвечать по решению проблем и краткосрочных отвечать на вопросы.

Несмотря на преимущества, которые связаны мягкой пунктов над своими жесткий - связана коллегами, то следует отметить, что мягкие связанные элементы сложнее дизайн, и плохо разработана серия может быть невозможно забить. Первый вопрос, не должна быть исключительно трудно, и не должна иметь исключительно широкий спектр ответов. Soft-связанных вопросы нельзя ответить, не используя значение из предыдущего вопроса, следовательно, увязывая вопросы с несколькими возможными ответами трудно, если не невозможно.

Это исследование было призвано сосредоточить внимание на достоверность различий на уровне элементов между твердым и мягким связанные элементы, используя пункт Всего точечных бирядных коэффициент корреляции (PBCC). Целью исследования было определить: 1) если имеются различия между твердым и мягким связанных элементов, 2) если существуют различия между двумя основными типами мягких связанных пунктов, MC-NR против NR-NR пунктов, а также 3) если мягкой связанные предметы были обнаружены значительно более надежный (как теории предсказали бы), этот эффект будет являться общими для испытаний с больших и малых размеров выборки? Этот последний вопрос поможет осветить возможных прагматических полезности мягкой связанных пунктов на уровне школы.

Метод

Источники данных

Данные, используемые для сравнения надежности различия между твердым и мягким связанных пунктов пришли из 23286 лиц, принимающих Альберта химии 30 Диплом Рассмотрение в январе 1996 года (N = 7380), июнь 1996 года (N = 8365) и января 1997 года (N = 7122) , а также два полевых испытаний (п = 222 и 197). Существовал в общей сложности 14 взаимосвязанных вопросов во всех этих тестов, используемых в сопоставлении.

Порядок

Участники были ознакомлены с численно-ответ тип элемента до начала испытания. Тем не менее, никаких предварительных объяснений в отношении ссылок, кроме как в самих этих вопросов (например, "Расчет ответ на этот вопрос, используя Ваш ответ на предыдущий вопрос."). Мягкие связанных забил алгоритм забил каждое из которых связано пункта либо как I) неправильный, 2) правильные считая этот вопрос жестко связаны, или, 3) правильно полагая вопрос softlinked. Таким образом, люди забили правильный под жесткий связанных сценарий будет также забил правильный под мягкой связанных сценария. Тем не менее, некоторые люди, как набрал неправильный под жесткий связанных сценарий будет забил правильный под мягкой связанных сценарий, если эти лица имели правильные процедуры, но работали с неправильным числа, они пришли в предыдущем вопросе.

По кодирования данных таким образом, те же тесты можно было бы забил и как жестко связаны между собой и мягкой связанных благоприятных более мощные повторно-мер дизайн и прямое сравнение типов элементов. Из 14 пунктов связано, 8 были типа NR ссылки на кассетах (MC-NR), и 6 типа NR ссылки на другой тип NR (NR-NR).

Результаты

Пункт анализ проводился по каждому из пяти тестов содержащих связанные элементы. Пункт Всего точка-два ряда коэффициентов корреляции (PBCCs) были получены для каждого связанного пункта, когда тест был забит под жесткий сценарий связан и снова, когда тест оценивается по шкале от мягкой связанных сценария. PBCCs было преобразовать с помощью Z-преобразования Фишера для ZPBCC до проведения дальнейших анализов были выполнены. Таблица 1 содержит описательные статистики ZPBCC для твердых и мягких связанных элементов.

Таблица 1 ZPBCC результаты для твердых и мягких связанных элементов.

Тем не менее, существенной разницы не было найдено между этими двумя типами, предполагая, что оба вида или смеси обоих могут быть использованы в будущем компьютерных забил испытаний. Описательная статистика ZPBCC за два мягких связанные типы элементов приводятся в таблице 2 ..

Таблица 2 ZPBCC результаты MC-NR и NR-NR типов мягких связанных элементов.

Таблица 3 Пункт результатов анализа 56 повестки дня, тест, который состоит из трех взаимосвязанных элементов (большой размер выборки с января 1996 года, N = 7380).

Тесты в настоящее время разрабатываются, которые содержат более мягкие связанных вопросов для будущего сравнения надежности. Кроме того, включение в меньшей полевые исследования показали, что надежность превосходства мягких связанных пунктов не было вызвано исключительно большой объем выборки, а эффект, вероятно, может быть обобщена на меньшие размеры, а также образец. Этот последний аспект оказывает прагматического использования мягкой связанных пунктов на очередной уровень классе реальная перспектива ..

Учитывая, что компьютерное тестирование, вероятно, будет это будущее, это позволит нам бороться с недостатками множественного выбора пунктов путем создания альтернативных компьютерных scorable пункта форматов. Soft-связанных пунктов позволит нам оценить высших когнитивных навыков, как правило, измеряется в письменной форме ответ, в компьютерных scorable формате. Softlinked пунктов также резко сократить расходы на традиционно забил эти пункты в отдельных специалистов, так как это дело теперь намного быстрее и эффективнее, набрал на компьютере. Таким, мягкий связанных пунктов поможет нам воспользоваться большим шагом на пути исправления для гадания, testwiseness и низкой вопросы когнитивного уровня, которые являются характерными недостатками множественного выбора предметов, а также сокращение расходов и ускорение процесса скоринга пунктов, которые ранее были возможны только в форме письменного ответа.

Концепция мягких связанных пунктов был использован отдельными бомбардиров течение десятилетий в руках, набрал письменный ответ пунктов. Теперь, современный компьютер делает счет мягкого связанных пункты без использования рук возможных уж, конечно, шаг в правильном направлении ..

Ссылки

Бежар, О. И. (1991). Методологии забил открытый архитектурный проблем проектирования. Журнал прикладной психологии, 76, 522-532.

Беннет, Р. Е., Steffen, М., Сингли, М. К.,

Брасуэлл, J. Е.,

Браун, Х. И., Беннет, Р. Е., Фрай, Д.,

Клаузер, B.E., Марголис, М. J., Клайман, С. Г.,

Сюй, T.,

Каплан, Р. М.,

Page, Е. Б.,

Putnam, Л. М. (1992). Характеристики вопросы тестов, проведенных основных учителей средней школе. Обучение инвалидов исследований и практики, 7 (3), 129-136.

Роджерс, Т. В.,

Schuwirth, LW T, Ван де Vleuten, CPM, Стофферс, HEJH,

Города, М. Х.,

Дональд Р. B. LOERKE Паркленд School Division

Михаил Николаевич JONES Ниписсинг университет Колледж Драйв 100, Box 5002 Норт Бэй; Онтарио 8L7 Канада P1B

PETER CHOW Ниписсинг университет Колледж Драйв 100, Box 5002 Норт Бэй Онтарио Канада P1B 8L7