что такое валидность теста в психологии
Что такое валидность теста в психологии
Высокая надежность теста это необходимое, но недостаточное условие получения высококачественного теста. Тест еще должен быть валидным. Валидность – это важнейшая характеристика теста, без указания которой, его нельзя считать измерительным инструментом.
Анализируя сложную ситуацию с валидностью педагогических тестов, Е.Михайлычев 16 отмечает, что педагогу, заинтересовавшемуся валидностью, трудно будет разобраться в том, что же это такое.
Ниже мы приведем несколько определений валидности теста.
Приведенные определения в целом перекликаются и являются практически равноценными. Мы несколько уточним определение, сделав акцент на цель тестирования. Тестирование как измерительная процедура, дает информацию, на основе которой в дальнейшем должно быть принято то или иное управленческое решение. Обоснованность этих решений, зачастую сильно влияющих на судьбу испытуемых, определяется надежностью и валидностью теста.
ВАЛИДНОСТЬ – это характеристика теста, отражающая его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений.
После создания теста начинается процесс его валидизации. Приведем определение:
По нашему мнению ВАЛИДИЗАЦИЯ – это не столько сбор доказательств валидности теста, сколько процесс выполнения действий, повышающих его валидность. Вследствие этого будет расти и доказательная база валидности теста.
Рис.3.9.1. Виды валидности.
КОНСТРУКТНАЯ ВАЛИДНОСТЬ (концептуальная валидность) определяется в случаях, когда представление об измеряемом свойстве существует в форме абстрактного образа, модели. Для объяснения определенных качеств личности создается концептуальная модель, которая с помощью тестов подтверждается или опровергается.
КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ (эмпирическая валидность) предполагает наличие внешнего критерия, корреляция с которым определяет валидность теста.
Имеется два вида критериальной валидности – текущая и прогностическая.
Текущая критериальная валидность (concurrent validity) характеризует способность теста измерять некоторые качества личности. Валидность теста подтверждается корреляцией с некоторым внешним критерием, существующим в данное время. Допустим, тест показал для некоторого испытуемого отличные знания по предмету, а школьные отметки, выставленные учителем – неудовлетворительные. Если мы в качестве внешнего, независимого и достоверного критерия выберем школьные отметки, то критериальная валидность теста – низкая, даже если он имеет высокую надежность.
Прогностическая критериальная валидность (predictive validity) характеризует способность теста предсказывать будущие качества, формирующихся в результате воздействия внешних обстоятельств или целенаправленной собственной деятельности. Этот тип валидности характеризует корреляцию результатов тестирования с внешним критерием, который появится в будущем.
СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ (content validity) характеризует тест по степени его соответствия предметной области.
Содержательная валидность необязятельно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективность дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.
Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляется спецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.
Согласно П.Клайну содержательная валидность определяется следующим образом:
1) указать категорию лиц, для которой предназначен тест;
2) составить список знаний, умений, навыков, подлежащих тестированию;
3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;
4) на основе списка составить перечень заданий;
5) выполнить внешнюю экспертизу полученных заданий;
6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.
Проблема валидизации педагогического теста является, видимо, самой сложной в процедуре создания высококачественного измерительного инструмента.
Валидность (психология)
Вали́дность (англ. validity ) — мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики.
Как в экспериментальной психологии, так и в статистике валидное измерение — такое измерение, которое измеряет то, что оно должно измерять. То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать реальности, его результаты можно обобщить без ограничений.
Когда говорят о степени валидности, рассматривается то, насколько результаты исследования соответствуют поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).
Содержание
Способы установления валидности теста
Существуют четыре основных способа установления валидности теста.
I. Оценка очевидной валидности.
Очевидная валидность – валидность, при которой оценивается общее соответствие теста его назначению.
II. Оценка содержательной валидности.
Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты.
III. Оценка конструктной валидности.
Этот способ проверки заключается в проведении продуманных экспериментов. Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи тестовых оценок с другими показателями. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями. Подход второй — «дивергентная валидизация» (англ.). Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.
IV. Оценка прогностической валидности.
Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.
Валидность теста
Валидность теста (от англ. valid – пригодный) – критерий качества теста, используемый при выяснении степени достоверности измерения того психического свойства, качества, явления, которое хотят измерить с помощью данного теста.
Различают несколько видов валидность теста:
Валидность лучших тестов, выраженная коэффициентами корреляции (линейными, ранговыми и др.) составляет 0,3-0,8. К сожалению, есть случаи, когда тесты применяются без проверки их на в. В результате оказывается, что они бесполезны или даже вредны. Валидность теста – это показатель степени его эффективности. Она, естественно, меняется в зависимости от контингента людей, которые подвергаются тестированию, и характера их будущей деятельности. Один и тот же тест может быть высоковалидным для одной ситуации, бесполезным для другой и вредным для третьей.
Валидность теста конструктная
критерий качества теста, используемый при измерении какого-либо сложного психического феномена, имеющего иерархическую структуру, измерить который из-за этого одним актом тестирования невозможно. Так, психодиагностика интеллекта невозможна без предварительного определения понятия «интеллект», его структуры. Степень соответсвия нашего предварительного понимания и определения интеллекта реальной возможности конкретного теста, степень соответствия структуры интеллеткта структуре теста и есть в.т.к. Она нацелена на определение точности измерения сложных, устойчивых типов поведения, качеств личности, психических явлений.
Валидность теста по критерию
критерий качества теста, с помощью которого можно судить об интересующем нас аспекте психики индивида в настоящем и будущем. Для его определения необходимо сопоставить результаты тестирования с уровнем развития измеряемого признака, качества личности на практике. Например, для теста на технические способности основным критерием их определения будет выступать техническая деятельность конкретных специалистов, оценка их технических способностей с помощью экспертов, хорошо знающих испытуемых на протяжении достаточно продолжительного времени в интересующем нас аспекте. Оценка должна даваться по шкале порядковой, интервальной или отношений. В лучших тестах в. по критерию, измеренная коэффициентом корреляции, составляет от 0,3 до 0,8. Применение теста оправдано, если валидность по критерию оставляет 0,2-0,25.
Валидность теста по содержанию
критерий качества теста, используемый при вывяснении соответствия его области измеряемых психических явлений. В.т.к. показывает, насколько полно тест охватывает исследуемое множество измеряемых параметров. Если, например, нужно проверить с помощью теста математическую подготовку абитуриента вуза, то в предлагаемый тест должны быть включены математические задания, для решения которых необходимы знания по всем разделам математики, изучаемым в средней школе. Таким образом, степень соответствия структуры данного теста структуре программы математических дисциплин, изучаемых в школе, и является валидностью данного теста по содержанию. Естественно, что для обследования лиц, окончивших вузы, предназначаются тесты с иной вялидностью по содержанию.
Валидность теста прогностическая
критерий качества теста, используемый при предсказании характера развития измеряемого параметра в будущем. Одним из самых существенных недостатков подобных тестов является то, что они не учитывают неравномерность развития измеряемого параметра у различных людей в будущем. Данный вид валидности является особо ценным с практической точки зрения.
Валидность эксперимента
критерий качества эксперимента, степень его точности, в зависимости от которой выводы, полученные в его ходе могут быть распространены на всю генеральную совокупность. В.э. позволяет определить насколько всеобщими могут быть выводы, полученные путем исследования ограниченной по времени и обьему выборки. Различают внутреннюю и внешнюю валидность эксперимента.
Валидность эксперимента внешняя
критерий качества эксперимента, в зависимости от которого выводы об определенной тенденции, закономерности развития конкретных психических явлений, личностей, видов деятельности и т.д. могут быть распространены на другие явления и т.д. в данной или иной сфере. Языком математики это можно сформулировать так: насколько закономерности данного подмножества характерны для всего множества. Для определения границ применения экспериментальных выводов и необходимо определять в.э.в.
Валидность эксперимента внутренняя
критерий качества эксперимента, используемый при выяснении степени достоверности выявленной в результате эксперимента тенденции, закономерности, характерной для данной единицы множества или для всего подмножества элементов генеральной совокупности. Допустим, исследуя степень влияния освещенности на эффективность производственной деятельности ткачих, психологи обнаружили статистическую зависимость их эффективности работы от частоты смены освещения. Что является основным фактором повышения эффективности деятельности: смена освещения, внимание экспериментаторов, особое поведение руководителей в период эксперимента или другие факторы? В данном случае психологи пришли к выводу: появление молодых мужчин-исследователй в цехе, где работали женщины, и послужило причиной повышения производительности их труда. Но ведь могла быть и принята гипотеза о росте производительности ткацкого труда в зависимости от смены освещенности. В.э.в. показывает в какой степени независимая переменная (производительность труда) связана с зависимой (освещенность). Строго научное проведение психологического эксперимента предполагает определение его валидности.
Валидность в психологии. Что это, определение, виды, примеры
Валидностью в психологии называется соответствием используемой методики тому психическому явлению, которое изучается. Иными словами, это характеристика эффективности методики. Любой психологический тест должен сначала пройти экспертизу валидности и надежности.
Что такое валидность в психологии
Валидность – важная характеристика психологических тестов и методик. Она должна проверяться экспериментаторами наравне с надежностью методики. Критерий валидности чаще всего используется в психодиагностике. В нем раскрывается проблема соответствия полученных в ходе исследования данных «идеальным». То есть тем, которые не искажены какими-либо внутренними или внешними факторами.
В психологии ярко выражена проблема субъективности. Какими бы точными, по мнению экспериментатора, не были полученные данные – они искажены. Для проверки уровня достоверности полученного знания используется критерий валидности. Валидность не используется в точных науках: физике, химии, математике.
Это уникальный критерий психологии, позволяющий сгладить трудности получения объективных знаний. Первой причиной появления этого инструмента служит проблема точного определения изучаемой характеристики или свойства. Так, исследуя тревожность, невозможно однозначно установить диагностируемое явление. Тревожность – это и страх, и беспокойство, и волнение.
Второй причиной является субъективность исследуемого параметра психодиагностической методикой. Разработчик вкладывает в формулировки собственное значение и смысл, но это не значит, что испытуемый думает по такому же шаблону. Интерпретации одних и тех же вопросов или утверждений могут сильно отличаться.
В точных науках нет проблемы определения исследуемого объекта. Трудность составляют способы изучения. Например, ученый-физик, исследующий параметры железного шара, точно видит и осязает его. Он поставил себе цель: изучить радиус шара. Параметр объективен и находится с помощью измерения и формул.
Что такое валидность методики
Методика, в отличие от метода – это набор определенных действий специалиста, направленных на соответствующий результат. Метод исследования может включать в себя несколько методик. Например, метод анкетирования по классификации Б. Г. Ананьева может осуществляться с помощью разных тест-опросников.
Валидность в психологии — это соответствие целостности психодиагностической методики и отдельных её частей исследуемой психической характеристике.
ПДМ может включать несколько шкал. Например, тест-опросник, определяющий уровень невротизации-психопатизации, состоит из следующих шкал: психопатизация, невротизация и шкала «лжи». Третья измерительная шкала используется для проверки искренности испытуемого. Самая распространенная причина лжи – мотивация одобрения. Этот фактор сильно искажает статистические и индивидуальные данные.
Валидная ПДМ – это методика, диагностирующая только заданный экспериментатором узкий спектр характеристик. Она пользуется большим доверием специалистов и применяется в научных исследованиях. Чем выше коэффициент валидности, тем достовернее полученные в ходе эксперимента данные.
Что такое валидность теста
Психологический тест – разновидность психодиагностических методик. Тест пользуется наибольшей популярностью среди экспериментаторов из-за простоты применения. В комплектацию исследователя входит стимульный материал, бланки ответов и инструкции.
Тест-опросники могут исследовать такие психические характеристики испытуемого, как стрессоустойчивость, интеллект, мотивация и толерантность. Вопросы формулируются с учетом специфики целевых выборок и цели исследования.
Они могут быть закрытыми – испытуемому предлагается выбрать одно из утверждений; открытыми – испытуемый должен сам ответить на вопрос или прокомментировать утверждение; косвенными – являющимися общеизвестными фактами или мнением; прямыми – которые непосредственно оппонируют мнению индивида.
Валидность теста обеспечивает достоверность полученных с его помощью данных о психических явлениях. Без экспериментально доказанной высокой валидности тест нельзя считать эффективным. Если выполнение отдельного задания или самого теста фиксирует измеряемое психическое явление, то валидность принимает высокие значение.
Это значит, что тест валиден и надежен, так как исключены воздействия на испытуемого. Валидность теста можно подтвердить, не обладая глубочайшими познаниями в психологии.
Например, студенты 1 курса могут проверить тест с помощью испытуемых. Экспертам предлагается оценить понятность формулировок вопросов или утверждений, исходя из личного жизненного опыта. На основе полученных данных можно говорить о валидности опросника.
Психометрические свойства методик психодиагностики
Психометрической основой любой методики являются шкалы. Понятие «шкала» трактуется в широком и узком значении: в первом случае шкала – это конкретная методика, во втором случае – это измерительная шкала, фиксирующая исследуемые признаки. Каждому элементу методики соответствует определенный балл или индекс, который формирует выраженность того или иного психического явления.
Измерительные шкалы разделяют на:
Шкала наименований самая распространенная в исследовательских психодиагностических методиках.
Эта шкала используется, например, в тест-опросниках. Отрицание или утверждение испытуемого сравнивается с ответами в ключе. Также номинативная шкала может предполагать выбор одного или нескольких признаков из предложенных.
Порядковая шкала используется в тесте цветового выбора. Испытуемому предлагается выбрать один из квадратов на белом фоне, после чего выбранная фигура откладывается в сторону, и процедура повторяется. Результат: расставленные по степени привлекательности для испытуемого цвета. Каждой фигуре присваивается свой порядковый номер.
Интервальные шкалы часто используются при стандартизации первичных тестовых показателей.
Используется, например, при определении порогов чувствительности анализаторов. Часто применяется в психофизике.
После определения используемой шкалы для формирования теста, нужно определить коэффициент психометрических свойств методики.
К ним относятся:
Репрезентативность – это свойство, которое распространяется на выборку испытуемых. Оно может характеризовать как популяцию, так и генеральную совокупность. Репрезентативность имеет два параметра: качественный и количественный. Качественный параметр характеризует выбор испытуемых и способы построения выборки.
Количественный параметр – это объем выборки, выраженный в числах.
В психологических исследованиях это свойство определяет, насколько возможно обобщение результатов. Например, изучаются отношения мужчин и женщин. Если взять испытуемых разного возраста (школьников, студентов, взрослых, пенсионеров), то репрезентативность такой выборки будет низкой.
Однако, если испытуемые будут примерно одного возраста и сферы деятельности (только школьники, студенты, взрослые, пенсионеры обоих полов), то репрезентативность будет высокой. В психодиагностике репрезентативность используется для того, чтобы обозначить возможность применения методики на всю генеральную совокупность.
Стандартность – это упрощение методики, приведение частей ПДМ и процедуры применения к единым нормам. ПДМ должны быть универсальны и применимы разными специалистами в различных ситуациях. При отклонении структуры ПДМ от стандартов, её результаты будет невозможно сравнить с результатами других исследований. Нестандартизованные методики используются в основном для научных исследований.
С их помощью изучаются новые психические явления. Но такой методикой нельзя пользоваться в психодиагностических целях. Ещё один важный параметр ПДМ – надежность. Она характеризует точность, устойчивость и стабильность результатов, полученных с помощью конкретной методики.
Высокая надежность методики исключает действие посторонних факторов и существенно приближает эксперимент к «чистому». Критерий надежности и валидности – это разные понятия. Причем надежность трактуется шире, чем валидность: надежность > валидность.
Например, в выходной день человек получает возможность провести время либо на рыбалке, либо на охоте. Если он решает идти на охоту, но берёт с собой удочку, то его выбор не будет валиден. Однако, если человек пошел на охоту с ружьем, и оно дало осечку, значит, выбранный метод ненадежен.
Какие значения может принимать валидность, примеры
Виды валидности
Существует много видов валидности.
Валидность в психологии делится на несколько видов.
Перечень:
Угрожающие факторы
Валидность в психологии – это свойство качественной методики, но могут возникнуть факторы, искажающие теоретически правильно построенную ПДМ. Побочные факторы сильнее проявляются в работе с плохо организованными стимулами или новыми, неясными ранее для испытуемого задачами.
Трудность составляет изучение неуравновешенных и неуверенных в себе индивидов. Главными угрозами высокой валидности являются особые характеристики тестируемого и ситуационные явления.
Достоверность результатов снижают:
Если диагностика не предполагает обязательного нахождения специалиста в помещении, то его присутствие может исказить результаты исследования. Комментарии и интерпретация тестовых задания тоже снижают достоверность полученных данных.
Испытуемый, заинтересованный в намеренных погрешностях тестирования или представлении себя в выгодном свете перед руководством, искажает результаты диагностики. Не меньшую опасность представляет психофизиологическое состояние тестируемого. Например, индивид сильно голоден, утомлен или страдает от мигрени.
Посторонний шум, голос, возможность обсуждать тестовые задания с другими испытуемыми, снижают точность результатов. Это относится к ошибкам условий и процедуры диагностики.
Специфика и задачи психологического эксперимента
Эксперимент направлен на доказательство или опровержение гипотезы, всегда проводится в особых экспериментальных условиях, искусственно созданных исследователем. Специфика психологического эксперимента заключается в некоторой его субъективности. Психология сталкивается с проблемами субъективности в теории и на практике.
Все знания, полученные в ходе психологических исследований, в той или иной мере субъективны, искажены сознанием испытуемого и экспериментатора. Поэтому получить полностью достоверные знания – это крайне сложная задача. Эксперимент должен соответствовать цели, задачам, исключать внешние воздействия и искажения результатов исследователем.
Задача психологического эксперимента – сделать доступными для наблюдения исследуемые психологические явления, свойства, состояния испытуемого. Для этого используется построение условий, в которых окажется тестируемый. Эти условия должны раскрывать исследуемое психическое свойство и исключать проявление других.
Психологический эксперимент отличается зависимостью от условий и уровня развития исследуемых явлений, требует строгого контроля, постоянства процесса, изоляции ненужных аспектов психики от изучаемых.
Высокая валидность применяемой методики позволяет снизить погрешность полученных результатов. Это важный фактор в психологических исследованиях, поскольку недостоверные результаты не несут никакой практической пользы.
Видео о валидности в психологии
Психологические методики — валидность: