<<
>>

6.6. ПЛАНЫ ЭКСПЕРИМЕНТОВ

КЛАССИФИКАЦИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ДИЗАЙНОВ
Итак, цель причинных исследований — выявить результат (выраженный значениями зависимых переменных) тестового воздействия (выраженного значениями независимых перемен ных), очистив его от влияния помех (выраженных значениями внешних переменных).
Для достижения этой цели могут при меняться различные планы экспериментов.
Рассмотрим пять типов таких планов. Первые четыре ори ентированы, прежде всего, на исключение влияния тех или иных внешних переменных на результат замера. Планы пятого типа применяются, когда само тестовое воздействие описыва ется не одной, а несколькими независимыми переменными, и основная проблема — подобрать наилучшее сочетание их зна чений.
При использовании предэкспериментальных планов иссле дователь имеет возможность набирать объекты, по отношению к которым производятся запланированные действия, и прокон тролировать момент, когда то или иное действие проводится по отношению к тому или иному объекту. Предэксперименталь- ными они называются потому, что набор объектов тестирова ния осуществляется по выбору исследователя, а не путем слу чайного отбора. Поэтому все эти планы не защищают от смещения отбора.
Перечислим эти планы.
Одномоментные планы (One-Shot Study) Это планы типа:
X Оі
Отбор объектов тестирования исследователь делает произ вольно. Поэтому результат измерения может объясняться не только воздействием X, но и неконтролируемыми внешними переменными. Соответственно, исследования по этому плану можно считать скорее поисковыми, нежели причин ными.
Претест-посттест планы с одной группой Вот «формула» этих планов:
01 X 02 Эффект воздействия Л1 выражается формулой: (0г-0;). Од нако, поскольку контрольная группа при таком плане отсутст вует, валидность остается под вопросом из-за возможного влияния большого числа неконтролируемых помех.
Планы статических групп (Static Group) Эти планы выражаются «формулой»: Экспериментальная группа (EG): X Оі Контрольная группа (CG): Ог Эффект тестового воздействия X выражается формулой:
(0/-02). Недостаток плана — чувствительность к смещению отбора (SB). Действительно, при его использовании невозмож-но проверить, существенны ли различия между эксперимен тальной и контрольной группами.
Истинно-экспериментальные планы
При использовании истинно-экспериментальных планов исследователь тоже имеет возможность набирать объекты, в отношении которых производятся запланированные действия, и контролировать момент, когда осуществляется то или иное действие по отношению к тому или иному объекту. Но отбор объектов тестирования осуществлятся им с использованием случайного отбора — рандомизации.
Рандомизация (Randomization) — это отбор и распределение объектов тестирования по группам с использованием случай-ных чисел, в результате чего значения внешних переменных в группах становятся равными или близкими.
Эффект рандомизации сказывается лишь при достаточно большом числе отбираемых объектов тестирования. Чтобы убе диться в том, что объекты «перемешались» в достаточной степе ни, обычно сравнивают между собой средние значения внешних переменных в отобранных путем рандомизации группах.
Рассмотрим варианты истинно-экспериментальных планов.
Посттест планы с контрольной группой (Posttest Only Control Group Design)
«Формула» этих планов такова:
Экспериментальная группа (EG): R X 0}
Контрольная группа (CG): R 02
Эффект воздействия Л1 определяется разностью (0}-02).
Такой план снимает проблему главного и интерактивного тест-эффекта, поскольку при его использовании отсутствует первый замер.
В то же время, план не снимает проблем, связанных с двумя другими помехами: смещением отбора (SB) и смертностью (МО). Первое, так как тут негласно предпола гается, что перед отбором мы хорошо перемешали объекты, и потому до тестового воздействия различия между группами отсутствовали. Проверить же это не представляется возмож ным. Второе, так как неизвестно, похожи ли между собой представители экспериментальной и контрольной групп, вы бывшие в ходе эксперимента.
Несмотря на эти недостатки, данная разновидность планов наиболее популярна в маркетинге благодаря простоте органи зации и относительной дешевизне. Погрешности же стараются преодолеть путем аккуратной разработки процедур отбора.
Претест-посттест планы с контрольной группой (Pretest- Posttest Control group Design)
«Формула» этих планов такова.
Экспериментальная группа (EG): R О/ X 02
Контрольная группа (CG): R 03 04
Эффект воздействия Zвыражается формулой: (02-0j)-(04 -Oj). Данный план, в отличие от предыдущих, позволяет контроли ровать все виды помех, кроме одного — интерактивного тест- эффекта (IT), то есть эффекта подготовленности к восприятию воздействия X, благодаря предварительному замеру О;.
Покажем на примере этого плана, как принято обосновы вать утверждения такого рода.
Обозначим эффект воздействия X через ТЕ. Запишем, что разность (О2 -О;) складывается из эффекта воздействия плюс всех возможных помех, кроме смещения отбора (SB), которое отсутствует, благодаря случайному отбору объектов тестирова ния R:
(02-О 0 = ТЕ +Н+М + МТ + IT + / + SR + МО
Напомним смысл этих помех:
история (Я) — когда что-то происходит за время экспе римента;
созревание (М) — не зависящее от эксперимента совер шенствование объектов тестирования;
главный тест-эффект (МТ) — когда первый замер смещает результаты второго;
интерактивный тест-эффект (IT) — когда человек, кото рому задавали вопросы, по-другому воспринимает само воздействие;
инструментальная погрешность (I) — когда меняется ан кета, интервьюеры;
статистическая регрессия (SR) — когда смещаются к цент ру крайние оценки;
смертность (МО) — выбывание объектов тестирования между замерами.
Вторая разность:
(04-03) = Н+М + MT + I + SR + MO
отличается от первой отсутствием только эффекта воздейст вия (ТЕ) и интерактивного тест-эффекта (IT). Вычитая второе равенство из первого, получим:
(О2 -00 - (04 -03) = ТЕ + IT.
Какой же вывод следует из нашего рассмотрения истинно- экспериментальных планов? Каждый из них, даже послед ний — наиболее сложный и дорогой из всех рассмотренных нами, не лишен недостатков.
Квазиэкспериментальные дизайны
Эти планы используются, когда мы не можем не только случайным образом отбирать объекты тестирования, но и кон тролировать, какие именно объекты тестирования подвергаются тестовому воздействию. Организационно они обычно проще и дешевле истинно-экспериментальных.
План временных серий (Time Series Design)
Формула этого плана может иметь такой вид: Оі 02 03 04 05 X 06 07 08 09 Ою
По такой схеме осуществляется, например, замер эффектив-ности уже не «лабораторной», а широкой рекламной кампании. Формируется исследовательская панель, у представителей ко торой периодически замеряется объем покупки определенного товара. Одновременно вдет рекламная кампания этого товара. Усредненная по всем членам панели динамика объема его покупок и позволяет судить об эффективности рекламной кампании, несмотря на то, что узнать, когда именно каждый из участников панели встретит рекламу товара и встретит ли он ее вообще, не представляется возможным. Основной недоста ток такого плана исследований — чувствительность к истории. Ведь не исключено, что этот товар просто начинает нравиться все большему и большему числу покупателей и рекламная кампания тут не при чем.
План множественных временных серий (Multiple Time Series Design)
Этот план компенсирует влияние истории и выражается, например, формулой:
О, 02 03 04 05 X 06 07 08 Од О10 On 012 Ов 014 015 016 0,7 0,8 0,9 О20
Продолжая пример с оценкой эффективности рекламной кампании, такой план, в отличие от предыдущего, означает, что рекламная кампания в некоторых городах проводится, а в некоторых — нет. Другой вариант — адресная реклама через кабельные телевизионные сети, о которой говорилось выше.
Конечно, квазиэкспериментальные планы не лишены недостат-ков. Но, во-первых, нередко это единственное, что можно сделать, а, во-вторых, возможность ошибок еще не означает их наличия.
Экспериментальные планы, основанные на принципе выравнивания
Выравнивание (Matching) — это иной, нежели рандомиза ция, метод элиминирования внешних переменных. Он состо ит в разделении совокупности объектов тестирования на классы со схожими значениями внешних переменных и в после дующем отборе в каждую группу требуемого числа объектов нужного типа. Соответственно, применим он лишь тогда, когда известно не только, какие внешние переменные важны, но и какие значения они принимают на каждом объекте тестирования.
У этого метода два недостатка. Во-первых, по всем парамет рам выровнять невозможно. Во-вторых, если выравнивание произвели не по тем переменным, по которым нужно, вся работа становится бесполезной.
Приведем лишь два типа планов данного типа.
Рандомизированный блочный план (Randomized Block Design)
Этот план позволяет контролировать только одну внешнюю переменную, причем ее значение на каждом объекте тестиро вания должно быть априори известно. Объекты тестирования разбиваются на группы в соответствии со значением внешней переменной. В каждой группе делается случайный отбор под групп, каждой из которых назначается один из вариантов тестового воздействия. В результате появляется возможность сравнить между собой эффективность разных вариантов тес тового воздействия при каждом из значений внешней пере менной.
Приведем пример из области тестирования телевизионной рекламы. Оценивалась влияние трех вариантов рекламы: се рьезной (А), забавной (В) и смешной (С) — на степень при верженности покупателей магазину. Респонденты были раз биты на четыре группы: не пользующиеся магазином (1), мало пользующиеся магазином (2), средне пользующиеся магази ном (3) и много пользующиеся магазином (4). В каждой из этих групп было случайным образом отобрано по три подгруп пы респондентов. Первой подгруппе была показана реклама (А), второй — реклама (В), третьей — реклама (С). В итоге выяснилось, что самая эффективная — реклама (В) — забав ная.
Латинский квадрат (Latin Square Design)
Этот план применяется для того, чтобы контролировать две внешние переменные. Диапазон изменения каждой из этих переменных разбивается на одинаковое число поддиапазонов.
После этого респондентам, которые характеризуются каждым сочетанием внешних переменных, назначается один и только один вариант экспериментального воздействия (одно значение независимой переменной).
Продолжая пример с тремя вариантами рекламы, предполо жим, что нужно контролировать уже не одну, а две внешние переменные. Например, разобьем респондентов не только по приверженности магазину, но и по возрасту (на три возрастные категории).
Составим таблицу назначения экспериментальных воздей-ствий (см. табл. 16). Из респондентов, соответствующих каж дой клетке таблицы, отбирается по одинаковому числу, и им демонстрируется указанный в клетке вариант рекламы. (С теми, кто покупает в магазине много, эксперименты не про водятся, чтобы поддиапазонов было 3, а не 4).
Табл. 16.
Использование плана латинского квадрата для тестирования телевизионной рекламы Пользуются магазином: Варианты рекламы в возрастных группах Молодые Среднего возраста Пожилые Много . - - Средне В А С Мало С В А Не пользуются А С В
Как видно из этой таблицы, назначение значений незави симых переменных в латинском квадрате строится по принципу расчета определителя матрицы: каждый вариант рекламы де монстрируется в клетках, которые берутся при расчете одного из берущихся со знаком «плюс» слагаемых определителя. При этом обеспечивается в точности однократное назначение воз действия каждого типа в каждой строке и в каждом столбце таблицы.
Латинский квадрат не лишен недостатков.
не всегда можно выделить одинаковое число уровней по каждой внешней переменной.
можно контролировать только две внешние переменные.
невозможно изучать эффект взаимодействия между внешними переменными.
Планы, направленные на подбор наилучшего сочетания независимых переменных
В планах четырех предыдущих типов акцент делался на очистке результатов измерения от влияния внешних перемен ных. Планы же последнего из рассматриваемых нами типов ориентированы, прежде всего, на подбор наилучшего варианта тестового воздействия, когда каждый из вариантов характери зуется определенным сочетанием значений не одной, а двух или более независимых переменных.
Если есть основания думать, что взаимовлияние этих за-висимых переменных отсутствует, можно с успехом приме нять описанный выше латинский квадрат, используя его строки и столбцы для перебора значений не внешних, как в рассмотренном нами примере, а независимых переменных и перебирая три значения внешней переменной. Однако, неред-ко приходится иметь дело с неаддитивностью эффектов от отдельных независимых переменных, то есть с ситуацией, когда эффект от совместного изменения этих переменных не равен сумме эффектов от изменения каждой из них. Напри мер, если мы хотим подобрать наилучший для определенной группы людей напиток, то надо учитывать, что человек может в целом предпочитать холодные напитки горячим, но горячий кофе предпочитать всем остальным напиткам.
Для учета таких эффектов применяются полные и частичные факторные планы.
а. Полный факторный план (Factorial Design) При использовании полного факторного плана на оси каж-дой независимой переменной намечается несколько значений. Для каждого из всевозможных сочетаний значений, намечен ных на осях всех независимых переменных, случайным образом отбираются объекты тестирования, которые и подвергаются данному варианту тестового воздействия. Например, с помо щью такого плана тестировалось девять вариантов рекламного ролика для магазина. Каждый вариант отличался своим харак тером (серьезный, забавный или смешной) и нес определенную информационную нагрузку (высокую, среднюю или низкую). Оказалось, что если реклама несет мало информации о магази не, то лучше, чтобы она была смешной, а если много инфор мации, то серьезной.
Как видно из примера, эксперименты по полному фактор ному плану позволяют маркетинговым менеджерам действо вать достаточно тонко, подбирая варианты, наиболее эффек тивные для каждого сочетания внешних переменных. Для обработки данных таких экспериментов обычно используется метод дисперсионного анализа (Бююль, Цефель, 2002).
Ь. Частичный факторный план (Fractional Factorial Design)
Если независимых переменных несколько, то применение полного факторного плана становится малореальным из-за большого числа возможных сочетаний их значений. В таких случаях применяют частичные факторные планы, позволяю щие тестировать уже не все возможные, а только интересую щие исследователей сочетания значений независимых пере-менных.
ДОСТОИНСТВА И НЕДОСТАТКИ ПРИЧИННЫХ ИССЛЕДОВАНИЙ ПО СРАВНЕНИЮ С ОПИСАТЕЛЬНЫМИ
К числу преимуществ причинных дизайнов следует отнести то, что они позволяют:
разбить респондентов на группы и назначить каждой из групп значения независимых переменных;
отследить временную последовательность воздействия и замера;
контролировать помехи.
Недостатками же причинных дизайнов являются:
значительные временные затраты (особенно, если надо выявить результаты длительных воздействий, например, реальной рекламной кампании);
дороговизна;
сложность организации.
<< | >>
Источник: Галицкий Е.Б.. Методы маркетинговых исследований. 2004 {original}

Еще по теме 6.6. ПЛАНЫ ЭКСПЕРИМЕНТОВ:

  1. Планы действий
  2. 2.4. Социологический эксперимент
  3. 4.3. Социологический эксперимент
  4. § 4. Эксперимент
  5. 6.9., Эксперимент
  6. 7. ЭКСПЕРИМЕНТ КАК МЕТОД ПЕДАГОГИЧЕСКОЙ ПСИХОЛОГИИ
  7. Эксперимент Монте-Карло
  8. 6.4. ВНУТРЕННЯЯ И ВНЕШНЯЯ ВАЛИДНОСТЬ ЭКСПЕРИМЕНТОВ
  9. 3.2. Эксперимент по методу Монте-Карло
  10. Индустриальная социология. Хоторнский эксперимент
  11. ПЕРВЫЕ ЭКСПЕРИМЕНТЫ С БЕСПРОЦЕНТНЫМИ ДЕНЬГАМИ
  12. Планы военно-политических блоков в Европе.
  13. Социальный эксперимент в структуре технологий управления
  14. ПЛАНЫ РАЗВИТИЯ
  15. Индивидуальные планы
  16. Стратегия и планы.
  17. ЭКСПЕРИМЕНТ
  18. Эксперимент