7.2. Сущность социологической экспертизы и последовательность ее проведения

Социологическая экспертиза представляет собой один из методов экспертных оценок, когда для получения итоговой информации используются мнения - оценки экспертов, чаще всего специалистов по исследуемому вопросу.

В данном случае в качестве экспертов может выступать

группа работников предприятия, цеха, отдела, какой-либо социальной группы персонала, называемые респондентами.

Таким образом, процедура подготовки и проведения социо-логической экспертизы состоит из нескольких последовательных этапов, а именно:

Выбор проблемы или задачи для исследования.

Подготовка к проведению экспертизы (формулировка вопроса, набор вариантов ответов, разработка формы листа экспертизы, размножения согласованной формы листов в необходимом количестве).

Подбор группы экспертов (обычно в количестве 1525 чел.).

Проведение экспертизы.

Статистическая обработка оценок.

Получение выводов и рекомендаций.

Пример листа экспертизы для одного из конкретных исследований показан в Приложении 2. В нем могут быть выделены четыре информационные части:

обращение к респонденту с формулировкой вопроса;

указание о порядке выставления балльных оценок по вариантам ответов;

предметная часть с вариантами ответов по строкам. Удобно предлагать в этой части 6 вариантов ответов и, соответственно, использовать 6-ти балльную шкалу оценок;

краткие сведения о личности эксперта.

В предметной части листа экспертизы ответы расположены в виде таблицы следующей формы:

Таблица 7.1. № п/п Наименование ответов Оценка в баллах Каждый респондент-эксперт в соответствии с указанием о

порядке заполнения листа проставляет оценки в баллах по строкам последовательно от высшей оценки (6 баллов) к низшей (1 балл) на основании личных предпочтений значимости предложенных вариантов.

Очень важным и необходимым условием правильно разработанного листа экспертизы является однозначность понимания

смысла, содержательной формулировки каждого из предлагаемых ответов на поставленный вопрос. Только в этом случае количественные оценки будут сопоставимы и смогут объективно отражать качественную сторону исследуемого явления.

Заполненные листы экспертизы собираются ответственным социологом (выбранным студентами из состава экспертной группы), проверяются на полноту и правильность заполнения, после чего листам экспертизы присваиваются порядковые номера.

Таблица 7.2. і І Оценки по номе-рам экспертов ІБ СРБ Ранг влияния 1 2 3 ш Кі Номера ответов 1 2 3 ач п

В матрице предварительной обработки по столбцам расположены номера экспертов, т.е. листов экспертизы (1-й эксперт; 1 - 1,

ш) по строкам - номера ответов (]-Й Ответ, j = I, п). В строке К; проставляются весовые коэффициенты компетенции, присвоенные каждому эксперту. Баллы суммируются в каждой строке, после чего выставляется средний балл (СРБ) по формуле:

СРБ,=С{,^ач/т

где Эу - элемент матрицы, т.е. фактическая оценка в баллах, подставленная в листах экспертизы им экспертом по ]-му ответу;

т - общее количество используемых листов экспертизы, ед.; п - общее количество ответов, предложенных в предметной

Графа «Ранг влияния» формы 2 заполняется следующим образом. Высший по абсолютной величине средний балл соответствует первому рангу влияния, то есть предпочтения ответов - 1. Следующий ниже по абсолютной величине средний балл - второму рангу - 2, затем третий - 3 и т.д. Одинаковым средним значениям присваиваются одинаковые ранги.

Полученный ранжированный ряд предпочтений интерпретируется на смысловом уровне. По нему делаются предварительные выводы (экспресс-анализ экспертизы), после чего переходят к окончательной обработке.

Можно ограничиться экспресс-анализом экспертизы и выводами, полученными на его основе. Но при проведении экспертизы по достаточно серьезным вопросам, в особенности по решениям, связанным с последующим расходованием ресурсов и капиталовложений, проводится дополнительная статистическая обработка ис-ходных данных. Ее цель — повысить достоверность и обоснованность получаемых результатов. Это достигается за счет введения в полный алгоритм обработки следующих операций:

учета коэффициента компетентности экспертов;

статистического выравнивания (очистки) рядов оценок по каждому ответу;

определения коэффициентов согласия экспертов по ответам и в целом по экспертизе.

Расчеты проводятся последовательно по нижеприведенным операциям и формулам.

(1)»

1. Определение коэффициентов компетентности экспертов и средневзвешенных по этим коэффициентам значений оценок для каждого ответа:

<4/-IV I*-

где С^ - средний приведенный балл по_)-му ответу;

Ьч - приведенная оценка в баллах 1-го эксперта по ^му ответу;

К, - весовые коэффициента компетентности для всех ответов 1-го эксперта.

Рекомендуется устанавливать в пределах 1,0 < К, < 3,0, не

более.

Ь^а^К, (3)

Здесь, как и ранее, ац - фактические оценки в баллах 1-го эксперта по ]-му ответу.

Если различия в компетентности экспертов неизвестны или трудноустановимы, то для всех экспертов приходится принимать одинаковые коэффициенты = 1,0. При этом формула (1) оказыва-ется равной формуле (2), т.е. С^ = Сц, т.к.

а0=Ьу и ?К,=т

Принятые коэффициенты заносятся в строку К, формы 2.

(2),

2. Расчет среднего квадратического отклонения по каждому ряду ответов (БКО)):

ЖО,-<г, -Jl

(4),

l/(m-l)*?(a0-C2JJ2

3. Определение верхней и нижней границ доверительного интервала рассеяния оценок. При этом используется «правило двух сигм», согласно которому по теории вероятности в интервале, ограниченном пределами

CJ=±2trJ (5),

будет находиться до 95,4% всех возможных оценок экспертов. Тогда верхний предел допустимой оценки [tWj] и нижний допустимый предел [ЬГШП|) определяются по формулам:

-IV

Ьщшj=Cil- 2<7,

Получение статистически выравненных рядов по каждому ответу.

Процедура выравнивания состоит в том, что все фактические оценки, выходящие за пределы значений

,<аЦ< Ьтт I (?)>

должны быть вычеркнуты из первоначального ряда. При том необходимо учитывать одно замечание.

В социологической экспертизе речь идет об изменении не физических величин, а о количественной оценке качественных явлений. Выставленные баллы представляют собой интеллектуальные оценки предпочтения экспертов, к ним нельзя походить чисто формально, математически, вычеркивая, например, экспертов, оценки которых отклоняются от установленного предела на несколько сотых долей единицы. Поэтому здесь целесообразно устанавливать некоторый порог чувствительности к выравниванию. Например, договориться, что оценки будут вычеркнуты только для тех экспертов, у которых они отклоняются от допустимых пределов не менее, чем на 0,3-0,5 ед. при меньшем отклонении фактические оценки не вычеркиваются, а включаются в окончательные расчеты средних величин, чтобы учесть мнение большего числа экспертов.

Процедура выравнивания ряда приводит к изменению числа учитываемых в ряду оценок (величина т) . Поэтому во вновь полученном ряду необходимо снова произвести расчет статистических характеристик С^, С СГ(, Ь1Пах^ Так поступают до тех пор, пока

не получат удовлетворяющих неравенству (7) рядов, которые не требуют дальнейшей очистки (с учетом принятого порога чувствительности!). Полученные оценки считаются окончательными и по ним вычисляют итоговые средние баллы, а также соответствующие им ранги влияния.

Определение коэффициентов согласия экспертов по каждому ответу (параметр К^ = | $КО / (7 (8)

где БКС^ и С} - среднее квадратическое отклонение и среднее арифметическое значение для каждого ]-го ответа, рассчитанных по окончательным оценкам после выравнивания рядов.

Расчет коэффициентов согласия группового по результатам всей экспертизы (параметр КБв):

= **,)/][>, (9).

/и

где - число оценок по 3-му ответу в каждом из выравненных статистических рядов экспертизы;

п - общее число ответов, включенных в предметную часть одного листа экспертизы.

Нормальный КБв должен находиться в пределах 0,5<К8С<1,0.

7. Составление «Сводной матрицы окончательной обработки оценок экспертизы».

После выполнения всех необходимых расчетов цифровые данные представляются в виде матрицы — таблицы, имеющей структуру, показанную в табл.7.3. (Для сокращения по ширине заголовки таблицы приведенной формы обозначены в виде буквенных идентификаторов с последующей их расшифровкой).

Таблица 7.3 Предвари ПНО тельная Окончательная оценка оценка СБФ РВП СБП 5КО СБО РВО КС 1 2 3 п К5С =

Сокращения в таблице означают:

ПНО — первоначальный номер ответа, т.е. тот порядковый номер, который присвоен вариантам ответов в листах экспертизы;

СБФ - средний балл фактический (С^);

РВП - ранг влияния предварительный. Показатели заполняются по данным формы 2;

СБП - средний балл приведенный (Сг^;

8КО - среднее квадратическое отклонение по окончательно выравненным рядам;

Ьпих - верхний допустимый предел оценок;

Ьщт- нижний допустимый предел оценок; СБО - средний балл окончательный (С^; РВО - ранг влияния окончательный;

КСО - коэффициент согласия окончательный по ответам - коэффициент согласия групповой по экспертизе.

Сводная матрица позволяет сравнить предварительные и окончательные оценки, установить изменились ли ранги влияния в результате выравнивания рядов, оценить степень согласия экспертов.

Полная статистическая обработка оценок экспертизы дает возможность сделать достаточно обоснованные выводы о предпочтениях по тому или иному вопросу в коллективе. В результате уста-навливается, так называемый рейтинг каждого ответа. А в качестве ответов могут выступать предлагаемые мероприятия, размер инвестиций, качества руководителей, фамилии отдельных людей и т.д. Область эффективного использования этого инструмента достаточно широка.

После получения данных в табл.7.3., на ее основе составляется итоговый документ, который называется «Итоговая таблица результатов экспертизы». В нем уже на содержательном уровне представляется ранжированный ряд ответов, расположенных в порядке убывания значимости каждого ответа, т.е. от 1-го ранга влияния и, последовательно, до максимальной (низшей по смысловому значению) величины. Содержательные ответы дополняются соответствующей величиной окончательного среднего балла и коэффициентами согласия.