Эффективные объект испытания дискриминации использования таксономии Блума

Введение

Данные, собранные и проанализированные оператора лицензирования отделения в США Комиссия по ядерному регулированию (СРН), пролил свет на дискриминационные эффективности проверки, изменения и новые элементы теста испытуемым тест производительности. Рассмотрение данных, собранных в течение пяти лет показывает, замечательный и последовательного различия в контрольных пункта проверки эффективности работы сотрудников (пункты банка), изменение элементов и новых предметов, используемых в рамках СРН Рассмотрение общих Fundamentals (GFE). Поскольку имеется недостаток эмпирических исследований в этой области, эти последние и основные выводы могут быть полезными для организаций и учреждений, которые используют объект испытания банков в развивающихся экзаменов и выступать в качестве полезной информации при разработке политики развития экзамен.

Хотя СРН не был первоначально установлен для оценки эффективности пункта дискриминации среди трех категорий тестовых заданий, данных по результатам обследования, а собраны и представлены с течением времени, начали давать четкие и отличительные картина о том, как каждая категория пункт функционировал . Это счастливое нахождения служил в качестве основы для продолжения сбора и анализа данных. В течение пяти лет подряд и более 28 отдельных экзаменов, картина различий в пункте дискриминации среди категорий элементов остается постоянно отличительные как будет показано и обсуждается в таблицах и обсуждение ниже.

Рассмотрение Описание

С 1989 года оператор лицензирования Отделения ядерного реактора Правила СРН ведении общих основных экзаменов (GFE). Эта экспертиза осуществляется два раза в год для кандидатов ищет оператора реактора (RO) или старший оператор реактора (SRO) лицензии на атомных электростанциях страны. В 1991 г. СРН начало успешного подхода к рассмотрению GFE развития на основе комплексного использования проверки, изменения и новые элементы, чтобы дать дискриминации, контент-действительный экзамен.

GFE два отдельно управляемых 100 пункт обследования конкретного в кипящую воду реакторов (BWR) и реакторы под давлением (PWR). Мера лицензии кандидатских экзаменов знания в трех областях: (1) реактора теории (2) растительных компонентов, и (3) термодинамики. Этот экзамен должен быть принят с минимальным счетом от 80 процентов до кандидатов в конкурсе могут принять завода конкретных письменных экзаменов и эксплуатационные испытания на их предприятиях.

Рассмотрение мер GFE фундаментальные знания, применимые ко всем реактора операторы и старших операторов реактора, например, тестовых заданий, которые измеряют кандидата знаний растительных компонентов включать вопросы, касающиеся клапанов, датчиков и детекторов, контроллеры и манипуляторы, насосы, двигатели, генераторы и т. д. в то время как Вопросы теории реактора включать вопросы по темам, охватывающих коэффициентов реактивности, СУЗ, нейтронов, продуктов деления ядов и других. В сущности, GFE оценивает кандидата базовых знаний для понимания элементов атомных электростанций и завода поведения, и в этой связи, представляет собой основы для последующего диспетчерской связанных решения проблем, поиска неисправностей и принятия решений.

Пункт формате GFE множественный выбор оказался удачным для целей забил и стандартизации на национальном, административные экзамен этого типа. Многочисленные выбор формата также доказала свою эффективность для проверки высших когнитивных процессов мышления. Осторожно, хорошо продуманные нескольких элементов тест выбор кандидатов требуется продумать ответы и альтернативы, где они должны взвесить и рассмотреть условия, поставленные в стволовых этого вопроса и дальше и ликвидировать дискриминацию среди отвлекающих правдоподобной, прежде чем выбрать правильный ответ. Психических процессов, связанных с достижением правильный ответ часто отвода кандидатов к анализу и синтезу информации в контексте решения проблем. Например следующим испытательного реактора теории пункт взят из прошлого экзамен PWR:

После поездки реактора, уровень мощности снижение первоначально стабилизируется на отрицательной один-третьей декаде в минуту, когда:

А. распад гамма начала отопительного добавив отрицательной реактивности

B. долгоживущих предшественников задержки нейтрона распад.

C. недолго задерживается прекурсоров нейтрона распад.

D. установлен источник нейтронов вклад в общий поток нейтронов становится существенным.

Ответ. C.

Экзамен развития

Каждый экзамен разработан в соответствии с утвержденными образца СРН плана и требований к испытаниям на спецификации. Образец плана заверяет, что экспертиза представляет и включает в себя баланс тестовых заданий, которые охватывают широкий спектр знаний и умений требует от оператора для выполнения задания. Эта работа основе тестирования подход гарантирует, что экспертиза является актуальной и действует до актуальных задач оператора, что позволяет уверенность, что операторы имеют фундаментальные знания, связанные с их работой.

В частности, для того, чтобы GFE для удовлетворения требований образец плана, каждый BWR и PWR экзамен должен состоять из 44 "компонент" тестовых заданий, 28 реактора "теории" тестовых заданий, а также 28 "термодинамики" тестовых заданий, каждое из этих трех широких категорий дополнительно разбиты на более мелкие подобласти для испытания пункт развития.

Каждый экзамен проходит тщательный процесс испытания пункт развития, обзоры, экспериментальной проверки и предварительного проверки фаз, где предметы уточнены и усовершенствованы. Наконец, до экзамена находится в ведении, каждый элемент подвергается СРН / экспертом вопрос (МСП), технические и психометрические целостности обзора. Все права на пересмотр процессов позволит уточнить и улучшить качество каждого испытания пункт в качестве действительного, надежной и справедливой измерения связанных с работой знаний. После осмотра осуществляется, утилиты участие имеют возможность высказать свои замечания по любому вопросу в ходе испытаний период комментарий postexamination.

Банк испытаний Использование в пункте развития

СРН был разработан успешный подход к рассмотрению развития через совместное использование проверенных, изменение и новые вопросы, давать дискриминационные содержания, действительный экзамен. С 1992 г. СРН принял 5040-10 распределения банковских пунктов-Modified-новых пунктов, соответственно. Такой подход был принят для поддержания достаточного дискриминации на экзамен. В сущности, одна половина тестовых заданий, появляясь на любых частности экзамена взяты из объект испытания банка по сравнению с ранее проверки тестовых заданий; на сегодняшний день Существуют 2291 пунктов в одобренной банком (1155 BWR и 1136 PWR), нос проверки банк тестов вносятся в соответствующие BWR и PWR Общие основы испытаний Пункт Каталоги поддерживается Институтом по эксплуатации атомных электростанций (INPO), которые распространяют каталоги своих членов коммунальные услуги. Остальные одна половина экзамен состоит из 40 пунктов и изменение 10 новых пунктов.

Изменение пункта взята из ранее ведении пункта в банке и определен как один, который имеет одну или несколько условий, изменилась в один стебель и который имеет один или более отвлекающего изменения. Поскольку все больше и больше деталей, которые разрабатываются аналогичные оценки знаний и умений, все больше сходства-различия, а не - ранее видел предметы; сходство эффект преодолевается с помощью профессиональных осмотрительность и внимание к деталям, что достаточно изменяет пункт стебли и отвлекающего (ы ), чтобы вызвать и заниматься несколько различных приложений высших когнитивных психических процессов и один пункт, который стимулирует дискриминации ..

Недавно разработанные элементы, например, не видел в каталоге или появились на предыдущие экзамены, также разработаны для обеспечения того, чтобы рассмотрение дискриминацию достаточно, чтобы определить тех кандидатов, которые либо неподготовленных или unknowledgeable в общей основы. Дискриминационных намерений новых пунктов похож на модифицированных элементов. Разница между изменение пункта и новый пункт в основном один степени. Изменение элемента, имеющие различные не видел раньше, но отношение сходства проверен пункта в то время как новый элемент не имеет такого прямого сходства с утвержденной пункта. Короче говоря, каждый экзамена имеет сочетание дискриминационных пунктов в поддержку целью изучения и целостности.

Разработка новых и модифицированных Пункты

Новые и измененные элементы разработаны и прошли оценку с использованием Таксономии Блума в качестве справочного материала ориентира, Совет Россия-НАТО использует этот таксономии для классификации уровней знания тестовых заданий. Таксономии Блума, схемы классификации, что позволяет классифицировать пунктов по уровню (глубина) психического мысли и производительность, необходимую для ответа на вопрос теста. Три уровня, как изменение в порядке возрастания заключаются в следующем:

Уровень 1. Фундаментальные знания a.k.a. простой памяти

Уровень 2. Понимание

Уровень 3. Аналитика / Синтез / Заявление

Согласно таксономии, три уровня знания могут быть определены:

* Основные тестирования знаний определяется как простой психический процесс, который проверяет отзыва или признания информационных битов конкретных референтов; примеры включают знание терминологии, определений, или конкретные факты.

* Понимание предполагает тестирование психического процесса понимания материала через относя его к своей части или любой другой материал, примеры включают перефразировать информации в разных слова, описывающие отношения или признания, показывая сходства и различия между частями или целыми, признавая, как системы взаимодействуют , в том числе последствия и последствия.

* Анализ, обобщение и тестирования приложений является более активным и конкретный результат тестирования, которая включает в себя несколько частей психического процесса сборки, сортировки, или интеграции частей (бит информации, и их отношения), так что в целом, и суммой его части могут быть использованы для: предсказать события или результаты, решить проблему, или что-то новое, то есть мысленно, используя знания и ее значение для решения проблемы или создать.

В иерархии, с ее фундаментальной основой, на каждом уровне знаний основывается на низком уровне, а совокупности охватывает этот уровень, поднявшись на третий и наиболее полный уровень - анализ, синтез, применение. Именно на уровне 3, самый действительный и эффективный уровень для тестирования, который охватывал бы и косвенно испытания на более низких уровнях знаний. Другими словами, проверка на уровне приложений или "использования" уровень знаний, де-факто, а также испытания понимания и знания основных уровнях, на которых уровень 3 был построен. Следовательно, он является более эффективным для тестирования на более высоких уровнях, чем на более низких уровнях.

Результаты

Данные, собранные с 1988 года начала программу испытаний GFE, включает в себя в общей сложности 43 экзаменов, которые испытала 4002 кандидатов (см. таблицу 1). Разница в неравной чисел между BWR и PWR происходит потому, что экзамен BWR, только, был использован в качестве экспериментального обследования в начала программы.

Последствия

Один из вопросов, которые могут возникнуть, в каком размере экзамен целостности потерял счет снижения пункта дискриминации, т.е. имеют более высокий уровень и менее дискриминационный эффективности с группой раскрыты элементы? Цель любой экспертизы к дискриминации по некоторым континуума знаний, кроме того, неотъемлемым компонентом действия какого-либо анализа связях, в его способности к различению, будь то среди людей, или на знаниях. В случае GFE, критерий ссылки испытаний, знания дискриминации намерениях Естественно, что дискриминация на знания будут также иметь тенденцию к дискриминации среди людей те, кто выстоял и тех, кто не - вид перегородки когнитивные способности. По сути дела, тех лиц, которые провалят экзамен не смогли выполнить 80 процентов сократить оценка решения минимальный уровень знаний.

Так раскрывается материалы доступны для всех, кто сдают экзамен, независимо от способностей, тем самым извлечение преимуществ из пунктов будет раскрыта, как правило, те, которые имеют меньше общего знания или способности поскольку можно предположить, что те, с высокой общей способности будут в меньшей степени полагаются на пункт раскрытия информации за их высокой оценки. Этот тест предубеждений, дает некоторое преимущество в меньшей степени способны тест продавец и может создать ложное срабатывание.

Если тест банков быть исключены из использования? Или учится тест банков бедных практике? Ответ на эти вопросы можно ответить, в один из двух способов:

Да, если тест состоит исключительно из банка. В этом случае, все, что, вероятно, испытываемый механическое признание ранее изученных или репетировали раскрыта пунктов. По сути, тест основном функции проверки памяти только.

Нет, если тест также включает в себя баланс изменен, другой или новых элементов. Разработка умеренно дискриминационных критерий ссылки обследование включает балансирующая статья использовать банковские с измененными и новые вопросы. Тест-takers, которые учатся банка имеют высокую предсказуемость, что определенный процент от тестовых заданий, снова, однако, изменение и новые вопросы, как группы, позволяет снизить предсказуемость экспертизы и "сила" тест-takers для подготовки и исследования материальное содержание помимо этого в банк тестов. Именно последняя динамику, которая позволяет обоснованность вывода будет сделано уверенно.

Включение прошлом известен пунктов тест может быть полезным, поскольку общий эффект обучения может быть результатом испытания подготовки мероприятий с раскрыта пунктов. Анализ концепций, принципов и фактические детали могут быть пересмотрены и усилены за счет изучения тестовых заданий. Пункты вместе с их ответы могут усилить и уточнить ранее неясным концепции, а также внедрение новых знаний посредством воздействия на эти вопросы. Короче говоря, улучшение возможно обучение может отчасти компенсировать потери в дискриминации. Кроме того, поскольку все испытания кандидаты имеют равные воздействия прошлом пунктов тестирования и равные возможности пользоваться благами, что воздействие, дискриминации потери родился в равной степени всем кандидатам сдачи экзамена. Таким образом, потери какого-либо испытания дискриминации равномерно ощущается всеми кандидатами и могут рассматриваться в качестве "мытья" или уравнивающий эффект ..

Последствия для рассмотрения политики развития

Данные показывают, что воздействие на банковские пункты повышает общую производительность оценка. Учитывая ограниченные данные о нескольких недель предварительного экзамена время обзорное исследование, она может быть к предварительному выводу, что размер банка увеличивается до уровня 900 пунктов за пределами, в интересах пункта воздействие уменьшается, что может быть объяснено ограничений памяти бремя.

Поскольку пункт воздействия может наступить дефолт производительности механического уровня признания, то разумно предположить, что той же экспозиции снижает дискриминанта действия этих пунктов и в некоторой степени смещения "истинного оценка" и, возможно, передать переоценивать способности в некоторых случаях. Хотя среднее пособие по пункту воздействие помощи на обучение оценить трудно, можно предположить, что это воздействие оказывает общее положительное обучения и воздействие, особенно когда используется тест takers, кто знаком с материалом, т.е. не слепое признание пункта и его ответ, но серьезный анализ того, почему ответ на пункт является правильной и неправильной стержней, являются неверными. Умышленное обучение в учебных программах, можно сделать этот значимый анализ произойти.

Резюме

СРН GFE по-прежнему является эффективным дискриминатора в поиске кандидатов, которые не освоили основы протестирован на экспертизу. 5040-10 сочетание и распределение банков, изменения и новый пункт, соответственно, служит для создания дискриминационных умеренно экспертизы. Потому что GFE является критерием ссылки экспертизы, высокой оценки, как правило, ожидать. За свою администрацию, GFE дал приблизительный средний балл 88 процентов, ожидаемых и разумные средняя оценка данного критерия характер экзамена. Тем не менее, экзамен, также принесло средний показатель отказа чуть выше пяти процентов, с учетом 4002 кандидатов, которые приняли GFE на сегодняшний день экзамена оказалось эффективным для выявления более 208 неудачи кандидата. Дискриминационной способности экзамен для выявления сбоев, которые либо плохо подготовлены или unknowledgeable связано с нынешним подходом к пункту развития, которая уравновешивает использования банковских, изменения и новые пункты ..

Ссылки

Хейл, Гордон и др. (декабрь 1980), "Действие пункта Раскрытие информации о производительности TOEFL," Доклад исследований № 8, Услуги в области образования тестирования, Принстон, Нью-Джерси.

Эта статья была подготовлена, в частности, какого-либо сотрудника ядерному регулированию Соединенных Штатов Комиссия по своему времени независимо от его прямых обязанностей. СРН имеет ни утвержденных или отклонено его техническое содержание.