Abstract

ON VALIDITY OF EXPERIMENTAL RESEARCHES

L. Orekhov Dr. Hab., professor

E. Karavaeva, Ph. D.

The Kazakh academy of sports and tourism, the National scientificpractical center of physical culture, Almaty

Key words: validity, foundation, effect of testing, background, statistical regress, epistemology.

The problem of the methodology of science, in particular, validity, i.e.

validity of conclusions by the results of experimental researches is discussed in the article. the sequence of the analysis of the factors influencing the internal and external validity of the experiments is shown on concrete examples.

О ВАЛИДНОСТИ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ

Ключевые слова: валидность, обоснованность, эффект тестирования, фон, статистическая регрессия, эпистемология.

Судя по научным публикациям исследователей ближнего зарубежья (стран СНГ), авторы работ по педагогике, психологии, физической культуре и спорту не уделяют внимания такому понятию (или не знают его), как валидность эксперимента. Однако в работах авторов дальнего зарубежья этой проблеме уделяют большое внимание, так как игнорирование валидности и отсутствие анализа всех факторов, которые могут оказать влияние на результаты экспериментальных исследований, может привести к неверным или необоснованным выводам [2, 3, 5 и др.].

Этой проблеме большое внимание уделял известный американский ученый Дональд Т. Кэмпбелл, работавший в Северо-Западном, Гарвардском, Йельском, Оксфордском и ряде других ведущих университетов. Он считается крупнейшим специалистом по методологии науки, эпистемологии и применению экспериментальных методов в педагогических, психологических и социальных исследованиях [5, 11, 12 и др.].

На основании анализа научных публикаций с использованием экспериментальных методов Д. Кэмпбелл делает заключение, что в большинстве работ авторы не анализируют факторов, влияющих на итоговые результаты, поэтому делают необоснованные выводы или проводят эксперименты таким образом, что нельзя делать однозначное заключение. "Если экология нашей науки такова, что в ней неправильные ответы встречаются чаще, чем правильные (а, по-видимому, так оно и есть), то мы можем ожидать, что большинство экспериментов окажется неутешительными" [5, с. 37-38].

Согласно работам автора в экспериментальных исследованиях следует тщательно анализировать все факторы, которые могут оказать влияние на результаты эксперимента (большее или меньшее в зависимости от специфики исследований и конкретного плана, используемого в эксперименте).

Различают внутреннюю и внешнюю валидность эксперимента. Внутренняя валидность является свидетельством того, что именно экспериментальное воздействие, а не какой-то другой фактор вызвало изменения, которые были зарегистрированы исследователем. Например, если экспериментатор проверяет эффективность нового метода обучения математике и после эксперимента зафиксировал высокие результаты в экспериментальной группе, то он обычно делает заключение об эффективности нового метода, не подвергая анализу все факторы, сопровождающие эксперимент, и может сделать неверные выводы. В числе таких факторов, влияющих на внутреннюю валидность, наибольшее значение имеют следующие переменные:

- фон, т. е. влияние на результаты эксперимента различных событий, которые происходят между исходным и итоговым тестированиями;

- естественное развитие - изменения испытуемых, которые происходят с течением времени, например взросление, усталость, наступление голода и др.;

- эффект тестирования - влияние привыкания к выполнению заданий при повторном тестировании;

- инструментальные погрешности - нарушения в работе прибора при изменении напряжения источников питания или изменения в состоянии наблюдателей или оценщиков;

- статистическая регрессия возникает при отборе испытуемых по крайним показателям, так как обычно низкие исходные показатели вызывают рост достижений, а высокие исходные - снижение показателей при конечном тестировании;

- отбор испытуемых влияет на результаты при использовании неэквивалентных групп, когда в экспериментальные и контрольные группы берут целиком классы в школе или группы в вузе;

- отсев испытуемых в ходе эксперимента приводит к ошибкам при неравномерном выбывании из сравниваемых групп;

- взаимодействие факторов отбора с естественным развитием и другими факторами, которые могут быть приняты за эффект экспериментальной переменной; в других работах Д. Кэмпбелл добавляет еще шесть факторов.

Внешняя валидность относится к возможности обобщения вывода, т.е. отвечает на вопрос: на какие популяции, ситуации, другие независимые переменные, параметры воздействия и переменные измерения могут быть распространены результаты эксперимента. Например, может ли новая методика обучения плаванию 10-летних школьников быть использована при обучении студентов?

На внешнюю валидность оказывают влияние следующие факторы:

- реактивный эффект, или эффект взаимодействия тестирования, т. е. возможное уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием предварительного тестирования; так как результаты испытуемых, прошедших предварительное тестирование, будут нерепрезентативны по отношению к тем, кто не подвергался предварительному тестированию, т. е. тем, из которых состоит генеральная совокупность;

- эффекты взаимодействия фактора отбора и экспериментального воздействия фактора отбора и экспериментального воздействия;

- условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, которая не позволяет распространить полученные данные о влиянии экспериментальной переменной на лиц, подвергающихся такому же воздействию в неэкспериментальных условиях;

- взаимная интерференция экспериментальных воздействий, нередко возникающая при использовании нескольких воздействий на испытуемых, так как влияние более ранних воздействий, как правило, не исчезает.

В работе, переведенной на русский язык [5], Д. Кэмпбелл рассматривает 16 экспериментальных планов, которые применяются в педагогических, психологических и социальных исследованиях. На конкретных примерах он показывает, как экспериментатор должен делать анализ факторов, влияющих на валидность (обоснованность) выводов по результатам экспериментальных исследований. Все экспериментальные планы автор делит на 3 группы. В первую группу входят три "доэкспериментальных плана", которые имеют множество недостатков. В первом плане (№ 1) группа подвергается экспериментальному воздействию и изменения, возникшие после эксперимента, рассматриваются как результат экспериментального воздействия. Автор пишет, что "... в таких исследованиях полностью отсутствует контроль, так что они почти не представляют научной ценности. ...Основным для научных результатов ... является процесс сравнения регистрации различий или контрастов. ...В настоящее время считается неэтичным представление такого типа исследования единичного случая, т.е. с одной-единственной, раз наблюдаемой группой, в качестве диссертации по педагогике" [5, с. 49].

Второй план (№ 2) представляет обследование одной группы до эксперимента и итоговое обследование. Этот план считается лучше, чем первый, но Д. Кэмпбелл приводит его в качестве "дурного примера" для объяснения влияния посторонних факторов, которые могут поставить под сомнение внутреннюю валидность эксперимента. Наиболее важным фактором, который может повлиять на результаты итогового обследования, является фон, т. е. различные события, произошедшие в период проведения эксперимента, например экзамены, соревнования и другие крупные события. Проведение исходного и итогового тестирования в разное время суток также может оказать влияние на результаты. Другой фактор -  это естественное развитие организма, оказывающее влияние при длительном проведении эксперимента. Например, младших школьников тестируют через полгода или год. В этом случае результаты эксперимента могут быть объяснены не влиянием нового метода обучения, а естественным развитием.

Погрешность в выводах может быть вызвана эффектом тестирования, так как обычно при повторном тестировании испытуемые показывают более высокие достижения, например при использовании личностных тестов. Инструментальные погрешности возникают обычно при использовании наблюдателей или экспертов, у которых происходят изменения их состояния в период между исходным и итоговым обследованиями.

Большое влияние на результаты эксперимента оказывает статистическая регрессия, особенно в том случае, когда после исходного тестирования группа была отобрана по крайним показателям. Д. Кэмпбелл рекомендует в этом случае рассчитывать коэффициент корреляции между показателями исходного и итогового обследований. Отсутствие достоверной корреляции в этом случае свидетельствует о существенном влиянии статистической регрессии на результаты эксперимента, а не о влиянии экспериментального фактора, поэтому делать выводы об эффективности экспериментального метода в этом случае нельзя.

В третьем, доэкспериментальном, плане (№ 3сравнивают результаты обследования группы, в которой применяли экспериментальное воздействие, с результатами испытуемых, не получавших такого воздействия. Например, сравнивают отношение к занятиям спортом лиц, которые смотрели спортивную передачу, с теми, кто ее не смотрел, или сравнивают качество проведения занятий по физическому воспитанию преподавателей, прошедших обучение на курсах повышения квалификации, с теми, кто такого обучения не прошел. Если результаты исходного и конечного обследований различны, то оно может быть обусловлено нерандомизированным отбором в группы. Группы могли отличаться и при отсутствии экспериментального воздействия. Попарное уравнивание не дает желаемых результатов (по мнению Д. Кэмпбелла). План № 3 не считается достаточно эффективным.

К "истинным экспериментальным планам" автор относит 3 варианта (№ 4, 5 и 6):

- план (№ 4) с предварительным и итоговым тестированием испытуемых экспериментальной и контрольной групп и тестированием испытуемых экспериментальной и контрольной групп, уравненных рандомизированным отбором (независимым, случайным из генеральной совокупности);

- план (№ 5) Соломона для четырех групп;

- план (№ 6) с применением контрольной группы и тестированием только после экспериментального воздействия.

В плане № 4 создают 2 эквивалентные группы путем независимого случайного отбора. Перед экспериментом обе группы обследуют, потом экспериментальную группу подвергают экспериментальному воздействию, используя новый метод обучения или тренировки, а в контрольной группе занимаются по традиционной методике. После эксперимента испытуемых обеих групп тестируют и по различию в приросте достижений в группах определяют эффективность нового метода. Д. Кэмпбелл считает, что в этом плане можно осуществлять почти полный контроль за всеми конкурентными гипотезами. В детской психологии главной проблемой является естественное развитие. Влияние фона, т. е. различных событий в период проведения эксперимента, исследователь может контролировать. В этом плане предполагается одновременное проведение исследований в обеих группах, что вызывает необходимость иметь двух экспериментаторов.

Это может оказать влияние на результаты эксперимента. Но в целом этот план считается одним из лучших и поэтому получил наибольшее распространение.

В плане Соломона (№ 5) создают 4 эквивалентные группы (методом рандомизации), в которых 2 группы контрольные и 2 - экспериментальные. В одной экспериментальной и одной контрольной группах предварительного обследования не делают, а в других экспериментальной и контрольной группах исследования проводят с предварительным и итоговым тестированием, как это делают в плане № 4. Такое проведение эксперимента исключает эффект тестирования и его взаимодействия с экспериментальным воздействием, так как в двух группах предварительного обследования не делают. По мнению Д. Кэмпбелла, этот план очень эффективен, но требует большего количества испытуемых и более сложного статистического анализа (дисперсионного).

В плане № 6 используют контрольную и экспериментальную группы и тестирование только после экспериментального воздействия. Он применяется в тех случаях, когда исходное тестирование провести невозможно. Этот план очень редко применяют в педагогических и психологических исследованиях. Д. Кэмпбелл отмечает, что он не рекомендуется большинством авторов по методам исследования в педагогике. Причиной этого является непонимание принципиального отличия от плана №3, а также недоверия к рандомизации как средству уравнивания групп. Обычно еще до проведения педагогических исследований можно воспользоваться дополнительной информацией об уровне достижений испытуемых и использовать ее для формирования блоков, факторных уровней или как сопутствующие переменные.

Обработку материалов исследования нужно проводить путем расчета t-критерия, определяя достоверность различия между средними группами.

Более сложными являются факторные планы, в которых обычно используют два фактора, имеющих каждый по 2 или более уровней. Например, планируют проверку эффективности влияния на здоровье двух факторов - объема и интенсивности физических нагрузок. В беге - это километраж за неделю: 3, 6, 9, 12, 15 км. Второй фактор - интенсивность физической нагрузки по ЧСС: 120, 130, 140, 150, 160, 170 уд/мин. Такой план позволяет найти оптимальное соотношение объема и интенсивности физических нагрузок, используя в качестве критерия эффективности уровень аэробной производительности.

В педагогическом процессе важно контролировать много различных факторов - методы обучения или тренировки, объем учебного материала, частоту занятий, интервалы отдыха и др. Поэтому факторные планы предпочтительнее однофакторных экспериментов, в которых последовательно проверяется эффективность только одного учебного или тренировочного режима. По мнению М. Дж. Кендалла и А. Стьюарт - авторитетных математиков дальнего зарубежья, "... без одновременного варьирования нескольких факторов нет надежды количественно определить взаимодействие между причинными факторами. Такой подход не только не дает нам возможности узнать связи между причинными факторами, но и может привести к неправильным выводам" [4, с. 175].

Результаты двухфакторных экспериментов обрабатывают, используя двухфакторный дисперсионный анализ и метод множественных сравнений или построение доверительных интервалов [2]. Влияние различных факторов на валидность исследований следует проверять в приведенной выше последовательности. Только в этом случае автор может быть уверенным, что выводы, сделанные по результатам экспериментальных исследований, являются валидными, т. е. обоснованными. Если автор не приводит сведений о способе формирования экспериментальных групп, не анализирует факторов, влияющих на валидность эксперимента, то нет никакой уверенности в достоверности выводов. По мнению Д. Кэмпбелла, "... перечень угроз внутренней и внешней валидности, валидности статистического вывода и конструктной валидности, а также выявление взаимосвязей между этими видами валидности делают очевидным несовершенство экспериментирования. Экспериментальные планы нуждаются в улучшении, могут и должны быть улучшены, чтобы способствовать установлению каузальной зависимости. Но мы заблуждались бы, если бы считали, что один эксперимент или даже целая исследовательская программа, рассчитанная на несколько лет, могли бы дать окончательный ответ на основные вопросы, связанные с надежным установлением каузальной связи, обозначением её составляющих и определением возможности обобщения вывода" [5, с. 45].

Проблема валидности экспериментальных исследований обсуждается в учебный пособиях, изданных недавно в Казахстане [8, 9 и др.]. Примеры использования двухфакторных экспериментов с применением двухфакторного дисперсионного анализа имеются в авторефератах диссертаций казахстанских исследователей [1, 6, 7, 10 и др.].

Считаем, что обсуждение этих проблем следует продолжить, учитывая низкий уровень существующих учебников и учебных пособий по статистическим и экспериментальным методам в педагогике, психологии и физической культуре.

Литература

1. Асмолова Л.А. Управление физическим воспитанием студентов на основе современных информационных технологий: Автореф. канд. дис. Алматы, 2002. - 29 с.

2. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 496 с.

3. Закс Л. Статистическое оценивание. - М.: Статистика: 1976. - 480 с.

4. Кендал М.Дж., Стьюарт А. Множественный статистический анализ и временные ряды. - М.: Наука, 1976. - с. 175.

5. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. - М.: Прогресс, 1980. - 392 с.

6. Лебедева В.И. Совершенствование подготовки студентов факультета физической культуры к работе со взрослым населением: Автореф. канд. дис. Aлматы, 1997. - 23 с.

7. Орехов Л.И. Пути совершенствования физической подготовки спортсменов в горных условиях: Автореф. докт. дис. - Минск, 1994. - 41с.

8. Орехов Л.И. Эксперимент как метод исследования в физической культуре: Метод. пос. - Алматы: КазИФК, 1996. - 66 с.

9. Орехов Л.И., Караваева Е.Л., Асмолова Л.А. Управление, контроль, измерение, статистические и экспериментальные методы в педагогике, психологии и физической культуре: Учеб. пос. - Алматы: КазАСТ, 2002. - 169 с.

10. Сорокин В.И. Взаимосвязь физической и технической подготовки в совершенствовании мастерства лыжников-прыгунов: Автореф. канд. дис. Aлматы, 1995. - 24 с.

11. Campbell D.T. Factors relevant to the validity of experiments in social settings. Psychol. Bull, 1957, 54, 297-312.

12. Campbell D.T. Metodological suggestions from a comparative psychology of knowidge processes. Jncuiry, 1959, 2, 152-182.