англ. reliability of test) - в статистическом смысле - постоянство, устойчивость результатов, получаемых с его помощью. Н. т. определяется путем установления корреляций между результатами первого и повторного применения теста (коэффициент Н. т.) или - сопоставления данных, полученных при проведении теста, с результатами применения эквивалентного теста. См. Надежность измерения, Психодиагностика. (В. И. Лубовский.)
НАДЕЖНОСТЬ ТЕСТА
показатель точности и устойчивости результатов измерения с помощью теста при его многократном применении. Характеризует степень адекватности отражения тестом соответствующей генеральной совокупности заданий.
надежность теста
фундаментальная характеристика теста, которая показывает в какой степени стабильны результаты тестирования при неоднократном обследовании. Н.т. может определяться путем повторного тестирования (через строго определенный отрезок времени) и вычисления коэффициента корреляции между результатами первого и повторного тестирования. Н.т. может определяться и путем тестирования с помощью нескольких вариантов одного и того же теста, деления теста на две половины и т.д. Надежность результатов тестирования зависит не только от качества самого теста, но и от процедуры проведения тестирования (она должна быть абсолютно идентичной в первом и во втором случае), социально-психологической однородности выборки (н. т. будет различной для детей, мужчин, женщин, солдат первого года – службы, старослужащих солдат и т.д.). И может получиться, что будучи надежным для одной группы людей, тест окажется ненадежным для другой, результаты тестирования в последнем случае будут неверны. Таким образом, н.т., выражая степень неточности, возможность ошибки, возникающей неизбежно при любом тестировании, заставляет искать пути уменьшения этой ошибки, более конкретного, целеустремленного применения теста. Надежность лучших тестов составляет о,8,о,9.
НАДЕЖНОСТЬ ТЕСТА
один из критериев качества теста, относящийся к точности психологических измерений. Чем больше Н. т., тем относительно свободнее он от погрешностей измерения. При одном из подходов Н. т. рассматривается как устойчивость (стабильность) результатов при повторном тестировании. При другом подходе Н. т. – проявление степени эквивалентности двух одинаковых по форме и цели (параллельных) тестов. Определение Н. т. также связано с понятием внутренней состоятельности теста. Это выражается в расчленении теста на части с последующим сопоставлением результатов частей. Н. т. определяется также методами дисперсионного и факторного анализа. В конфликтологии в основном используются психологические тесты (тест К. Томаса, Т. Лири, модульный социотест и др.). Проблема Н. т. является частью более широкой проблемы – надежности методики. Надежность – это устойчивость методики к погрешностям измерения: конкретной ситуации тестирования, особенностям тестируемых, уровню подготовленности исследователя и т. п.
НАДЕЖНОСТЬ ТЕСТА
один из критериев качества теста, характеризующий постоянство, устойчивость результатов, полученных с его помощью. Чем больше Н. т., тем относительно свободнее он от погрешностей измерений. Поэтому Н. т. определяет степень точности, с которой он измеряет определенное свойство личности; это характеристика точности его как измерительного инструмента, его устойчивости к действию помех (как внешних, так и внутренних). Эмпирическое определение Н. т. является обязательным условием допуска для использования его в практической деятельности, напр, в целях профессионального отбора. Для определения Н. т. используют следующие методы. 1. Метод повторного тестирования (метод тест - ретест). Для оценки надежности тест предъявляется дважды одной и той же группе испытуемых через какое-то время. Длительность временного промежутка определяется содержанием характера или задач теста. Мерой Н. т. служит коэффициент корреляции результатов, полученных при первичном и вторичном применении теста. 2. Метод тестирования параллельной, или эквивалентной, формой теста. При применении метода испытуемых разбирают на две равночисленные группы. Затем первой группе предъявляют основную форму, второй группе - эквивалентную форму. Через некоторое время формы меняют между группами испытуемых и снова проводят испытания. После этого для всей выборки испытуемых вычисляются результаты для каждой из форм, для которых затем определяется коэффициент корреляции, по величине которого и судят о Н. т. 3. Метод расчленения теста на части (напр., четные и нечетные) с последующим сопоставлением результатов частей. Достоинством этого метода по сравнению с предыдущими является большая точность, поскольку он предполагает проведение лишь однократного тестирования.
*Надежность и валидность теста - это характеристики соответствия исследования формальным критериям, определяющим качество и пригодность к применению на практике.
Что такое надежность
В ходе проверки надежности теста проводится оценка постоянства полученных результатов при повторном проведении испытания. Расхождения данных должны отсутствовать или же быть незначительными. В противном случае невозможно относиться к результатам теста с доверием.
Надежность теста - это критерий, который свидетельствует о Существенными считаются следующие свойства тестов:
- воспроизводимость результатов, полученных по итогам исследования;
- степень точности или соответствующих приборов;
- устойчивость результатов на протяжении определенного периода времени.
В трактовке надежности можно выделить следующие основные составляющие:
- надежность измерительного инструмента (а именно грамотности и объективности тестового задания), которая может быть оценена путем расчета соответствующего коэффициента;
- стабильность изучаемого признака на протяжении длительного периода времени, а также предсказуемость и плавность его колебаний;
- объективность результата (то есть его независимость от личных предпочтений исследователя).
Факторы надежности
На степень надежности может повлиять целый ряд негативных факторов, наиболее существенными из которых являются следующие:
- несовершенство методики (неверная или неточная инструкция, нечеткая формулировка заданий);
- временная нестабильность или постоянные колебания значений показателя, который подвергается исследованию;
- несоответствие обстановки, в которой проводятся первоначальные и повторные исследования;
- меняющееся поведение исследователя, а также нестабильность состояния испытуемого;
- субъективный подход при оценке результатов теста.
Способы оценки надежности теста
При определении надежности теста могут быть использованы следующие методики.
Метод повторного тестирования является одним из самых распространенных. Он позволяет установить степень корреляции между результатами исследований, а также временем, в которое они были проведены. Данная методика отличается простотой и эффективностью. Тем не менее у испытуемых, как правило, повторные исследования вызывают раздражение и негативные реакции.
- конструктивная валидность теста - это критерий, применяемый при оценке теста, имеющего иерархическую структуру (используется в процессе исследования сложных психологических явлений);
- валидность по критерию подразумевает сопоставление результатов тестирования с уровнем развития у испытуемого той или иной психологической характеристики;
- валидность по содержанию определяет соответствие методики изучаемому явлению, а также круг параметров, которые она охватывает;
- прогностическая валидность - это который позволяет оценить перспективное развитие параметра.
Типы критериев валидности
Валидность теста - это один из показателей, который позволяет оценить адекватность и пригодность методики для изучения того или иного явления. Можно выделить четыре основных критерия, которые могут повлиять на нее:
- критерий исполнителя (речь идет о квалификации и опыте исследователя);
- субъективные критерии (отношение испытуемого к тому или иному явлению, что отражается на конечном результате теста);
- физиологические критерии (состояние здоровья, усталость и прочие характеристики, которые могут оказать существенное влияние на конечный результат тестирования);
- критерий случайностей (имеет место в определении вероятности наступления того или иного события).
Критерий валидности представляет собой независимый источник данных о том или ином явлении (психологическом свойстве), исследование которого проводится посредством тестирования. До тех пор, пока не будет проведена проверка полученных результатов на соответствие критерию, о валидности судить нельзя.
Основные требования к критериям
Внешние критерии, которые влияют на показатель валидности теста, должны отвечать следующим основным требованиям:
- соответствие именно той сфере, в которой проводится исследование, релевантность, а также смысловая связь с диагностической моделью;
- отсутствие каких-либо помех или резких разрывов в выборке (суть состоит в том, что все участники эксперимента должны соответствовать заранее установленным параметрам и находиться в схожих условиях);
- исследуемый параметр должен быть надежным, постоянным и не подвергаться резким перепадам.
Способы установления валидности
Проверка валидности тестов может осуществляться несколькими способами.
Оценка очевидной валидности подразумевает проверку соответствия теста его предназначению.
Оценка конструктивной валидности проводится в том случае, когда для изучения определенного сложного показателя проводится ряд экспериментов. Она включает в себя:
- конвергентную валидизацию - проверку взаимосвязи оценок, полученных с использованием различных комплексных методик;
- дивергентную валидизацию, которая состоит в том, чтобы методика не подразумевала оценки посторонних показателей, не касающихся основного исследования.
Оценка прогностической валидности подразумевает установление возможности предвидения перспективного колебания изучаемого показателя.
Выводы
Валидность и надежность тестов - это взаимодополняемые показатели, которые дают наиболее полную оценку справедливости и значимости результатов исследований. Зачастую они определяются одновременно.
Надежность показывает, насколько результатам теста можно доверять. Имеется в виду их постоянство при каждом повторном проведении аналогичного испытания с одними и теми же участниками. Низкая степень надежности может говорить о намеренном искажении или безответственном подходе.
Понятие валидности теста связано с качественной стороной эксперимента. Речь идет о том, соответствует ли выбранный инструмент оценке того или иного психологического явления. Здесь могут быть применены как качественные показатели (теоретическая оценка), так и количественные (расчет соответствующих коэффициентов).
Надежность теста один из критериев качества теста, относящийся к точности психологических измерений. Чем больше Надежность теста, тем относительно свободнее он от погрешностей измерения. Надежность теста рассматривается при одном подходе: как устойчивость (стабильность) результатов при повторном тестировании; при другом, как проявление степени эквивалентности двух одинаковых по форме и цели (параллельных) тестов.
Надежность теста
Надежность теста - фундаментальная характеристика теста, которая показывает в какой степени стабильны результаты тестирования при неоднократном обследовании. Надежность теста может определяться путем повторного тестирования (через строго определенный отрезок времени) и вычисления коэффициента корреляции между результатами первого и повторного тестирования. Надежность теста может определяться и путем тестирования с помощью нескольких вариантов одного и того же теста, деления теста на две половины и т.д. Надежность результатов тестирования зависит не только от качества самого теста, но и от процедуры проведения тестирования (она должна быть абсолютно идентичной в первом и во втором случае), социально-психологической однородности выборки (н. т. будет различной для детей, мужчин, женщин, солдат первого года – службы, старослужащих солдат и т.д.). И может получиться, что будучи надежным для одной группы людей, тест окажется ненадежным для другой, результаты тестирования в последнем случае будут неверны. Таким образом, н.т., выражая степень неточности, возможность ошибки, возникающей неизбежно при любом тестировании, заставляет искать пути уменьшения этой ошибки, более конкретного, целеустремленного применения теста. Надежность лучших тестов составляет 0,8 - 0,9.
Надежность эксперимента
устойчивость результатов эксперимента при его проведении второй, третий, четвертый и т.д. раз.
Добиться объективности психологического теста можно при выполнении следующих условий:
1) единообразие процедуры проведения теста для получения сравнимых с нормой (см. ниже) результатов;
2) единообразие оценки выполнения теста;
3) определение нормы выполнения теста для сопоставления с ними показателей, полученных в результате обработки данных тестирования (см. здесь "третий этап стандартизации").
Эти три условия называют этапами стандартизации психологического теста.
Этапы стандартизации
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
1) условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
3) Наличие стандартного стимульного материала. Например, достоверность полученных результатов существенно зависит от того, предлагаются ли респонденту изготовленные самодельные карты Г.Роршаха или стандартные - с определенной цветовой гаммой и цветовыми оттенками.
4) Временные ограничения выполнения данного теста. Например, для выполнения теста Равена взрослому респонденту дается 20 минут.
5) Стандартный бланк для выполнения данного теста. Использование стандартного бланка облегчает процедуру обработки.
6) Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
7) Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка "правильного ответа" и др.
8) Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации. Например, если респондент уже выполнял тест Равена, то, скорее всего, не стоит предлагать ему его во второй раз.
Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста (например, в тестах интеллекта), пола и т.д. (см. ниже).
Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.
Нормы разрабатываются для различных возрастов, профессий, полов и др. Вот некоторые из существующих видов норм:
Школьные нормы - разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны.
Профессиональные нормы устанавливаются на основе тестов для разных профессиональных групп (например, механиков разного профиля, машинисток и др.).
Локальные нормы устанавливаются и применяются для узких категорий людей, отличающихся наличием общего- признака - возраста, пола, географического района, социо-экономического статуса и др. Например, для теста Векслера на интеллект нормы ограничены возрастными рамками.
Национальные нормы разрабатываются для представителей данной народности, нации, страны в целом. Необходимость таких норм определяется конкретной культурой, моральными требованиями и традициями каждой нации.
Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.
Для начала определим круг разработанности данной проблемы и кратко перечислим ученых.
Ученые, которые занимались проблемой надежности и валидности методик в психодиагностике: А. Анастази и др.
Определение
Надежность методики представляет собой стабильность результатов при многократном обследовании.
Валидность методики – это достоверность измерения определенного психического свойство, которое подвержено измерению.
Надежность теста
Рассмотрим несколько видов надежности психодиагностических тестов.
- Надежность по внутренней согласованности. Измененная часть теста измеряет такую переменную, которую не измеряют неизмененные части теста.
- Ретестовая надежность. Повторное тестирование испытуемых с последующей корреляцией результатов начального и окончательного обследования.
- Надежность параллельны форм теста. Создание эквивалента опросника и его предъявлений тем же испытуемым для последующей корреляции результатов.
- Надежность частей теста можно определить, разделив опросник на части; затем провести корреляцию полученных результатов.
Рисунок 1. «Показатели надежности теста»
При выявлении надежности теста следует проводить методику через значительные временные интервалы. Также рекомендуется проводить тест на выборки не менее 200 испытуемых.
Валидность теста
Рассмотрим некоторые виды валидности тестов в психодиагностике.
- Очевидная валидность. Представления испытуемого о тесте.
- Конкурентная валидность. Корреляция с подобными тестами.
- Прогностическая валидность. Корреляция начальных и более поздних результатов теста.
- Инкрементная валидность.
- Дифференциальная валидность.
- Содержательная валидность. Отражение заданий тестов аспектов определенной изучаемой области.
- Эмпирическая валидность. Корреляция результатов данной методики с результатами подобных методик у одних и тех же испытуемых.
- Критериальная валидность. Связь полученных результатов и внешних критериев.
- Конструктная валидность.
Одним из важных отличий психометрических тестов является то, что они стандартизированы , а это позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах. Стандартизация теста наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых.
При этом вводится понятие нормы , или нормативных показателей . Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объём и репрезентативность.
В некоторых случаях приходится формировать несколько групп стандартизации или стратифицировать группу стандартизации относительно таких параметров, как возраст, пол, социальный статус. Устанавливать нормы не всегда обязательно. При использовании психологических тестов в научном исследовании нормы не столь важны и достаточно сырых показателей теста. Нормы для каждой группы должны быть представлены в средних величинах и показателе стандартного отклонения.
Рисунок 2. «Структура валидности»
Надежность теста
- Относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых; независимость методики от действия случайных факторов.
Показатели надежности методик зависят от многих причин. Основные из них:
Нестабильность самого диагностируемого свойства
Небрежно составленная инструкция
Задания по своему характеру слишком разнородны
Нечетко сформулированы указания по предъявлению методики испытуемым
Иные несовершенства психодиагностической методики
Меняющаяся ситуация обследования (разное время дня, разная освещенность помещения, наличие или отсутствие посторонних шумов и т.п.)
Различия в манере поведения психодиагноста
Колебания в функциональном состоянии испытуемого
Личностные изменения самих испытуемых (особенно характерно для школьных возрастов, когда даже за месяц у испытуемых может произойти значительный рывок в развитии)
Изменение отношения к психодиагностике со стороны испытуемых
Элементы субъективности в способах оценки и интерпретации результатов (человеческий фактор; особенно актуально для проективных методик)
Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста. Следует учесть, что в реальной жизни методика используется в разных условиях, поэтому для повышения надежности ее необходимо очень тщательно и подробно излагать условия проведения в руководстве.
Повторное применение надежной методики должно давать сходные оценки. Как пишет известный теоретик психодиагностики А. Анастази (1982), вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу 80. Должны совпадать как сами результаты, так и порядковое место (ранг) испытуемого в группе. При повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными в пределах одной группы.
Надежность лучше определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п. Для каждой такой выборки приводятся свои коэффициенты надежности. Приводимый показатель надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяется к выборке, отличающейся от той, на которой проверялась ее надежность, то эта процедура должна быть проведена заново.
Для вычисления показателей надежности обычно применяют коэффициенты корреляции. Надежность тем выше, чем больше полученный коэффициент корреляции приближается к единице.
К.М. Гуревич предлагает определять надежность по трем показателям:
Показатель, характеризующий измерительный инструмент (коэффициентом надежности)
Показатель, характеризующий стабильность измеряемого свойства (коэффициентом стабильности)
Показатель оценки влияния личности экспериментатора (коэффициентом константности)
Следует учитывать, что в погоне за надежностью методики можно потерять ее валидность. Под влиянием разных обстоятельств психические свойства человека могут довольно резко меняться. Психодиагностика практически не имеет дела с неизменяемыми на протяжении жизни качествами (т.е. врожденными). Для методик, диагностирующих психическое состояние, само понятие "надежность" практически неуместно.