7.2. Сущность социологической экспертизы и последовательность ее проведения
Социологическая экспертиза представляет собой один из методов экспертных оценок, когда для получения итоговой информации используются мнения - оценки экспертов, чаще всего специалистов по исследуемому вопросу.
В данном случае в качестве экспертов может выступать
группа работников предприятия, цеха, отдела, какой-либо социальной группы персонала, называемые респондентами.
Им предлагается высказать свое мнение на интересующий руководство вопрос или проблему. В отличие от анкетного опроса для социологической экспертизы разрабатываются не объемные анкеты с многочисленными вопросами, а документ в одну страницу, в котором задан только один вопрос (т.е. названа тема, проблем), а также предлагаются несколько возможных или альтернативных вариантов решения этого вопроса. Такой документ называется лист экспертизы. Ответ респондента-эксперта состоит в том, что он выставляет каждому из предложенных вариантов количественные оценки в баллах, высказывая тем самым свое мнение о значимости, предпочтении того или иного варианта решения. После обработки всех заполненных листов экспертизы, получается ранжированный ряд оценок, отражающих коллективное мнение данной группы экспертов по исследуемому вопросу.Таким образом, процедура подготовки и проведения социо-логической экспертизы состоит из нескольких последовательных этапов, а именно:
Выбор проблемы или задачи для исследования.
Подготовка к проведению экспертизы (формулировка вопроса, набор вариантов ответов, разработка формы листа экспертизы, размножения согласованной формы листов в необходимом количестве).
Подбор группы экспертов (обычно в количестве 1525 чел.).
Проведение экспертизы.
Статистическая обработка оценок.
Получение выводов и рекомендаций.
Пример листа экспертизы для одного из конкретных исследований показан в Приложении 2. В нем могут быть выделены четыре информационные части:
обращение к респонденту с формулировкой вопроса;
указание о порядке выставления балльных оценок по вариантам ответов;
предметная часть с вариантами ответов по строкам. Удобно предлагать в этой части 6 вариантов ответов и, соответственно, использовать 6-ти балльную шкалу оценок;
краткие сведения о личности эксперта.
В предметной части листа экспертизы ответы расположены в виде таблицы следующей формы:
Таблица 7.1. № п/п Наименование ответов Оценка в баллах Каждый респондент-эксперт в соответствии с указанием о
порядке заполнения листа проставляет оценки в баллах по строкам последовательно от высшей оценки (6 баллов) к низшей (1 балл) на основании личных предпочтений значимости предложенных вариантов.
Очень важным и необходимым условием правильно разработанного листа экспертизы является однозначность понимания
смысла, содержательной формулировки каждого из предлагаемых ответов на поставленный вопрос. Только в этом случае количественные оценки будут сопоставимы и смогут объективно отражать качественную сторону исследуемого явления.
Заполненные листы экспертизы собираются ответственным социологом (выбранным студентами из состава экспертной группы), проверяются на полноту и правильность заполнения, после чего листам экспертизы присваиваются порядковые номера.
Далее составляется «Матрица предварительной обработки оценок экспертизы», имеющая следующую структуру:Таблица 7.2. і І Оценки по номе-рам экспертов ІБ СРБ Ранг влияния 1 2 3 ш Кі Номера ответов 1 2 3 ач п
В матрице предварительной обработки по столбцам расположены номера экспертов, т.е. листов экспертизы (1-й эксперт; 1 - 1,
ш) по строкам - номера ответов (]-Й Ответ, j = I, п). В строке К; проставляются весовые коэффициенты компетенции, присвоенные каждому эксперту. Баллы суммируются в каждой строке, после чего выставляется средний балл (СРБ) по формуле:
СРБ,=С{,^ач/т
где Эу - элемент матрицы, т.е. фактическая оценка в баллах, подставленная в листах экспертизы им экспертом по ]-му ответу;
т - общее количество используемых листов экспертизы, ед.; п - общее количество ответов, предложенных в предметной
Графа «Ранг влияния» формы 2 заполняется следующим образом. Высший по абсолютной величине средний балл соответствует первому рангу влияния, то есть предпочтения ответов - 1. Следующий ниже по абсолютной величине средний балл - второму рангу - 2, затем третий - 3 и т.д. Одинаковым средним значениям присваиваются одинаковые ранги.
Полученный ранжированный ряд предпочтений интерпретируется на смысловом уровне. По нему делаются предварительные выводы (экспресс-анализ экспертизы), после чего переходят к окончательной обработке.
Можно ограничиться экспресс-анализом экспертизы и выводами, полученными на его основе. Но при проведении экспертизы по достаточно серьезным вопросам, в особенности по решениям, связанным с последующим расходованием ресурсов и капиталовложений, проводится дополнительная статистическая обработка ис-ходных данных. Ее цель — повысить достоверность и обоснованность получаемых результатов. Это достигается за счет введения в полный алгоритм обработки следующих операций:
учета коэффициента компетентности экспертов;
статистического выравнивания (очистки) рядов оценок по каждому ответу;
определения коэффициентов согласия экспертов по ответам и в целом по экспертизе.
Расчеты проводятся последовательно по нижеприведенным операциям и формулам.
(1)»
1. Определение коэффициентов компетентности экспертов и средневзвешенных по этим коэффициентам значений оценок для каждого ответа:
<4/-IV I*-
где С^ - средний приведенный балл по_)-му ответу;
Ьч - приведенная оценка в баллах 1-го эксперта по ^му ответу;
К, - весовые коэффициента компетентности для всех ответов 1-го эксперта.
Эти коэффициенты устанавливаются по определенной методике соглашением специальной комиссии на основании сведений о должности, образовании, стаже работы, других компетенций данного эксперта.Рекомендуется устанавливать в пределах 1,0 < К, < 3,0, не
более.
Ь^а^К, (3)
Здесь, как и ранее, ац - фактические оценки в баллах 1-го эксперта по ]-му ответу.
Если различия в компетентности экспертов неизвестны или трудноустановимы, то для всех экспертов приходится принимать одинаковые коэффициенты = 1,0. При этом формула (1) оказыва-ется равной формуле (2), т.е. С^ = Сц, т.к.
а0=Ьу и ?К,=т
Принятые коэффициенты заносятся в строку К, формы 2.
(2),
2. Расчет среднего квадратического отклонения по каждому ряду ответов (БКО)):
ЖО,-<г, -Jl
(4),
l/(m-l)*?(a0-C2JJ2
3. Определение верхней и нижней границ доверительного интервала рассеяния оценок. При этом используется «правило двух сигм», согласно которому по теории вероятности в интервале, ограниченном пределами
CJ=±2trJ (5),
будет находиться до 95,4% всех возможных оценок экспертов. Тогда верхний предел допустимой оценки [tWj] и нижний допустимый предел [ЬГШП|) определяются по формулам:
-IV
Ьщшj=Cil- 2<7,
Получение статистически выравненных рядов по каждому ответу.
Процедура выравнивания состоит в том, что все фактические оценки, выходящие за пределы значений
,<аЦ< Ьтт I (?)>
должны быть вычеркнуты из первоначального ряда. При том необходимо учитывать одно замечание.
В социологической экспертизе речь идет об изменении не физических величин, а о количественной оценке качественных явлений. Выставленные баллы представляют собой интеллектуальные оценки предпочтения экспертов, к ним нельзя походить чисто формально, математически, вычеркивая, например, экспертов, оценки которых отклоняются от установленного предела на несколько сотых долей единицы. Поэтому здесь целесообразно устанавливать некоторый порог чувствительности к выравниванию. Например, договориться, что оценки будут вычеркнуты только для тех экспертов, у которых они отклоняются от допустимых пределов не менее, чем на 0,3-0,5 ед. при меньшем отклонении фактические оценки не вычеркиваются, а включаются в окончательные расчеты средних величин, чтобы учесть мнение большего числа экспертов.
Процедура выравнивания ряда приводит к изменению числа учитываемых в ряду оценок (величина т) . Поэтому во вновь полученном ряду необходимо снова произвести расчет статистических характеристик С^, С СГ(, Ь1Пах^ Так поступают до тех пор, пока
не получат удовлетворяющих неравенству (7) рядов, которые не требуют дальнейшей очистки (с учетом принятого порога чувствительности!). Полученные оценки считаются окончательными и по ним вычисляют итоговые средние баллы, а также соответствующие им ранги влияния.
Определение коэффициентов согласия экспертов по каждому ответу (параметр К^ = | $КО / (7 (8)
где БКС^ и С} - среднее квадратическое отклонение и среднее арифметическое значение для каждого ]-го ответа, рассчитанных по окончательным оценкам после выравнивания рядов.
Расчет коэффициентов согласия группового по результатам всей экспертизы (параметр КБв):
= **,)/][>, (9).
/и
где - число оценок по 3-му ответу в каждом из выравненных статистических рядов экспертизы;
п - общее число ответов, включенных в предметную часть одного листа экспертизы.
Нормальный КБв должен находиться в пределах 0,5<К8С<1,0.
7. Составление «Сводной матрицы окончательной обработки оценок экспертизы».
После выполнения всех необходимых расчетов цифровые данные представляются в виде матрицы — таблицы, имеющей структуру, показанную в табл.7.3. (Для сокращения по ширине заголовки таблицы приведенной формы обозначены в виде буквенных идентификаторов с последующей их расшифровкой).
Таблица 7.3 Предвари ПНО тельная Окончательная оценка оценка СБФ РВП СБП 5КО СБО РВО КС 1 2 3 п К5С =
Сокращения в таблице означают:
ПНО — первоначальный номер ответа, т.е. тот порядковый номер, который присвоен вариантам ответов в листах экспертизы;
СБФ - средний балл фактический (С^);
РВП - ранг влияния предварительный. Показатели заполняются по данным формы 2;
СБП - средний балл приведенный (Сг^;
8КО - среднее квадратическое отклонение по окончательно выравненным рядам;
Ьпих - верхний допустимый предел оценок;
Ьщт- нижний допустимый предел оценок; СБО - средний балл окончательный (С^; РВО - ранг влияния окончательный;
КСО - коэффициент согласия окончательный по ответам - коэффициент согласия групповой по экспертизе.
Сводная матрица позволяет сравнить предварительные и окончательные оценки, установить изменились ли ранги влияния в результате выравнивания рядов, оценить степень согласия экспертов.
Полная статистическая обработка оценок экспертизы дает возможность сделать достаточно обоснованные выводы о предпочтениях по тому или иному вопросу в коллективе. В результате уста-навливается, так называемый рейтинг каждого ответа. А в качестве ответов могут выступать предлагаемые мероприятия, размер инвестиций, качества руководителей, фамилии отдельных людей и т.д. Область эффективного использования этого инструмента достаточно широка.
После получения данных в табл.7.3., на ее основе составляется итоговый документ, который называется «Итоговая таблица результатов экспертизы». В нем уже на содержательном уровне представляется ранжированный ряд ответов, расположенных в порядке убывания значимости каждого ответа, т.е. от 1-го ранга влияния и, последовательно, до максимальной (низшей по смысловому значению) величины. Содержательные ответы дополняются соответствующей величиной окончательного среднего балла и коэффициентами согласия.
Еще по теме 7.2. Сущность социологической экспертизы и последовательность ее проведения:
- 9.6. Проведение экспертизы
- 1.3.2. Привлечение эксперта для проведения экспертизы
- РАСХОДЫ НА ПРОВЕДЕНИЕ ЭКСПЕРТИЗЫ, ОБСЛЕДОВАНИЙ, ВЫДАЧУ ЗАКЛЮЧЕНИЙ, КОТОРЫЕ ОБЯЗАТЕЛЬНЫ ДЛЯ ПОЛУЧЕНИЯ ЛИЦЕНЗИИ НА КОНКРЕТНЫЙ ВИД ДЕЯТЕЛЬНОСТИ
- 19. Назначение экспертизы. Виды экспертиз
- Организация, подготовка и проведение эмпирического социологического исследования
- Глава 3. Организация, подготовка и проведение эмпирического социологического исследования
- 6.1. Сущность, формы проведения налогового контроля
- 26. СУЩНОСТЬ, ВИДЫ И МЕТОДЫ ПРОВЕДЕНИЯ ДЕНЕЖНЫХ РЕФОРМ
- 26. СУЩНОСТЬ, ВИДЫ И МЕТОДЫ ПРОВЕДЕНИЯ ДЕНЕЖНЫХ РЕФОРМ
- 53. СУЩНОСТЬ ГОСУДАРСТВЕННОГО ФИНАНСОВОГО КОНТРОЛЯ ЗА ИСПОЛНЕНИЕМ БЮДЖЕТА НА РАЗЛИЧНЫХ ЭТАПАХ ЕГО ПРОВЕДЕНИЯ
- 2.3. Экспертизы
- ГЛАВА 9. МЕТОДИКА СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ9.1. Виды социологического исследования