<<
>>

Экспертные методы Область применения экспертных методов

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в следующих случаях:

• в условиях отсутствия достаточно представительной и достоверной статистики ха­рактеристики объекта (например, лазеры, голографические запоминающие уст­ройства, рациональное использование водных ресурсов на предприятиях);

• в условиях большой неопределенности среды функционирования объекта (на­пример, прогнозов человеко-машинной системы в Космосе или учет взаимовлия­ния областей науки и техники);

• при средне- и долгосрочном прогнозировании объектов новых отраслей промыш­ленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электрони­ка, атомное машиностроение);

• в условиях дефицита времени или экстремальных ситуациях.

Экспертная оценка необходима, когда нет надлежащей теоретической основы раз­вития объекта. Степень достоверности экспертизы устанавливается по абсолютной часто­те, с которой оценка эксперта в конечном итоге подтверждается последующими собы­тиями.

Существует две категории экспертов — это узкие специалисты и специалисты широкого профиля, обеспечивающие формулирование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди оп­ределенной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмот­реть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов, хотя и недостаточно узко информированных, но обладающих способностью к дерзанию и воображению.

«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализованном способах определения эксперта значи­тельное место занимают профессиональный опыт и развитая на его основе интуиция.

Условия необходимости и достаточности отнесения специалиста к категории экспертов вводятся следующим образом.

Важно установить не абсолютную степень надежности экспертной оценки, а сте­пень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогнозной оценки и надежностью класса тех гипотез, которы­ми оперирует эксперт. В общем, нужно определить, что такое эксперт. Перечислим неко­торые требования, которым должен удовлетворять эксперт: 1) оценки эксперта должны быть стабильны во времени и транзитивны; 2) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать неко­торым опытом успешных прогнозов в данной области знаний.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измере­ний как систематические, ошибки второго вида — как случайные. Эксперт, склонный к ошибкам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со скла­дом ума экспертов. Для коррекции систематических ошибок можно применять попра­вочные коэффициенты или же использовать специально разработанные тренировочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при вынесении экспертных суждений, можно добавить к рас­смотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и система­тическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной ну­лю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экс­пертов являются специальные тренировочные игры.

Организация форм работы эксперта может быть программированной или непро- граммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме).

Программирование формы работы эксперта предполагает: построение граф- модели объекта на базе ретроспективного анализа; определение структуры таблиц экс­пертных оценок (ТЭО) или программы интервью на базе граф-модели объекта и целей экспертизы; определение типа и формы вопросов в ТЭО или в интервью; определение типа шкалы для вопросов в ТЭО; учет психологических особенностей экспертизы при определении последовательности вопросов в ТЭО; учет верифицирующих вопросов; раз­работка логических приемов для последующего синтеза прогнозных оценок в комплекс­ных прогнозах объекта.

Организация стимуляции работы эксперта состоит в разработке: эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета и авторства, а также неразгла­шения всех научно-технических идей, выдвигаемых им в процессе экспертизы; форм мо­ральной, профессиональной и материальной заинтересованности эксперта в экспертных оценках; организационных форм работы эксперта (включение в план работы и т. п.).

Исходя из полученной в результате анализа модели объекта прогнозирования, оп­ределяются научные и технические направления, по которым необходимо привлечь экс­перта, выделяются группы экспертов но принадлежности вопроса к области фундамен­тальных, прикладных наук или к стыковым научным направлениям.

При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специа­листов по данной проблеме.

Затем обращаются одновременно к каждому из десяти на­званных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из по­лученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассы­лаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не добавит новых фамилий к списку экспертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспер­тов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.

Пусть по некоторому обсуждаемому вопросу имеется 100 специалистов. В связи с трудностями организационного характера мы можем сформировать группу экспертов до 50 человек. Для простоты расчета будем считать экспертом такого специалиста, стаж ра­боты которого по данной проблеме не менее 10 лет. Тогда исходная задача формулирует­ся так: необходимо определить 50-процентную выборку из 100 специалистов с числом экспертов со стажем не менее 10 лет с вероятностью, равной 0,9545.

Предположим, доля специалистов со стажем 10 лет и выше из некоторых априорно заданных гипотез равна 0,6 и меньше 10 лет — соответственно 0,4. Ошибка репрезента­тивности может быть вычислена в соответствии с теоремой Бернулли по следующей формуле:

Мя = Ч—, * 11 п

где £ — доверительный коэффициент; г — доля элементов выборки с наличием заданного признака (в нашем примере г = 0,6); £ — доля элементов с отсутствием заданного призна­ка (£ = 0,4).

При заданной вероятности Р = 0,9545 коэффициент £ = 2. Тогда

= 06-ОД = я V 50

Таким образом, в данном коллективе специалистов доля экспертов со стажем не менее 10 лет составит 0,6 ± 0,148 или будет находиться в пределах от 45,2 до 74,8%.

В практике прогнозирования стремятся к минимально возможному числу экспер­тов в группе. Уменьшение числа экспертов ниже определенного предела равносильно уменьшению репрезентативности. В такой ситуации возникает задача определения чис­ленности экспертной группы при задаваемых значениях уменьшения точности выборки. Пусть задано уменьшение выборки на 10% в предыдущем примере, что составляет 0,0148 от рассчитанной ошибки репрезентативности. Тогда полученная ошибка составит Д£ = ±(0,148 + 0,0148) = ±0,1618. Численность выборки вычисляется по следующей формуле:

пг = —— = —^ = 36 экспертов.

л

і2 ^ = 4 • 0,6 • 0,4 А2 = 0,0265

Таким образом, в группе из 100 специалистов находится 36 экспертов со стажем свыше 10 лет с вероятностью Р = 0,9545.

Определение специфики процедур для методов класса ПЭО {персональных экс­пертных оценок) осуществляется на основе анализа требований к экспертам и их оцен­кам, вытекающим из сущности методов:

• аналитические записки предъявляют требования структуризации эксперименти- руемой проблемы, экспликации и ранжирования целей, анализа альтернативных путей достижения цели, оценки затрат на каждую альтернативу и рекомендаций по наиболее эффективным способам решения проблем;

• парные сравнения, нормирование и ранжирование требуют однородности оцени­ваемых признаков, наличия логически обоснованных критериев и эталонов, нали­чия однозначно определенных процедур оперирования с критериями, эталонами и признаками;

• интервью предъявляют специфические требования как к эксперту, так и к интер­вьюеру;

• морфологическая структуризация требует четкого определения функциональных характеристик объекта или проблемы, которые необходимо улучшить, классифи­кации научных принципов, на основе которых возможно улучшение характери­стики; анализа всевозможных комбинаций этих принципов и отсева заведомо аб­сурдных; оценки комбинаций по степени осуществимости и затрат на их реализа­цию; сравнения комбинаций по комплексному критерию «затраты — эффектив­ность — время».

Рассмотрим основные процедуры класса методов ПЭО.

Ранжирование. Исходные ранги преобразуются сначала так, что ранг I стано­вится п-рангом и т. д., а ранг п становится рангом I. По этим преобразованным рангам вычисляются суммы:

^ = Е*;.

1=1

где RJ — сумма преобразованных рангов по всем экспертам для j-го фактора; Щ — преоб­разованный ранг, присвоенный г-м экспертом j-му фактору; т — число экспертов; п — число факторов.

Далее вычисляются веса факторов:

Ж = К3/Е*; •

/ ] -1

где Ш/ — средний вес фактора / по всем экспертам; п — число факторов.

Нормирование. Исходные оценки, приписанные экспертами каждому фактору, выписываются с двумя значащими цифрами и преобразуются следующим образом:

Ер* '

1-1

где Ш/ — вес, вычисленный для /-го фактора на основании данных эксперта г; р/ — оцен­ка, данная г-м экспертом /-му фактору;

ш I ш п

Ж =Еж ЕЕж•

^ / ^ *-1

Попарное сравнение. Определяются числа выборов фактора по всей матрице и вес /-го фактора для г-го эксперта:

'п1( п-1)

Ж = (■

1 ->41

Средний вес /-го фактора по всем экспертам Ш/ подсчитывается так же, как при нормировании.

Последовательное сравнение. Все подсчеты выполняются точно так же, как и при нормировании.

После получения Ш/ и Ш/ проводится статистический анализ полученных данных. Он заключается в том, что определяется степень согласованности мнений всей группы экспертов по относительной важности рассматриваемых факторов. Мерой согласованно­сти является так называемый коэффициент конкордации.

Коэффициент конкордации подсчитывается следующим образом. Пусть резуль­таты опроса экспертов представлены матрицей рангов для т экспертов и п факторов.

ш

Подсчитываются суммы для каждого фактора Е р* = Бг и среднее значение этих сумм по

*=1

п

всем факторам S = (Е Sг) / п. Далее вычисляется сумма квадратов отклонений:

]- г

пш

в = Е(Ер* - *)2.

] =г г=1

Коэффициент конкордации К равен

125

К =-

т (п - п)

Коэффициент конкордации меняется в пределах от 0 до 1, что достигается введе­нием нормирующего множителя 12/[(п3 - п) х га2], причем значение Кк = 1 получается в случае полного совпадения мнений экспертов.

Если имеют место «связанные» (неразрешенные) ранги, то коэффициент конкор­дации Кк задается соотношением

^^ = х

Ш 1112т23 - п) - т^Т

1

где Т = 12 -{ ')' ^ ~ число одинаковых рангов в г-ранжировании. Например, если г-й эксперт записал ранги

2 1 4 4 4 4 8 8 8 10,

то для него

Тг = — (43 - 4 + 33 - 3) « 7. 12

Суммы Тг подсчитываются для всех тех экспертов, у которых оказались «связан­ные» ранги.

Коэффициенты конкордации можно подсчитать для оценки степени согласован­ности мнений экспертов не только по каждому методу, но и между методами; кроме того, можно оценить степень согласованности мнений эксперта при использовании несколь­ких методов одновременно.

<< | >>
Источник: Лисичкин В.А., Лисичкина М.В.. СТРАТЕГИЧЕСКИЙ МЕНЕДЖМЕНТ: — М.: Изд. центр ЕАОИ. — 329 с.. 2007

Еще по теме Экспертные методы Область применения экспертных методов:

  1. Метод экспертных оценок
  2. Метод экспертных оценок
  3. Экспертно-аналитический метод
  4. Метод экспертных оценок
  5. МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК
  6. 7.2. Судебно-психологическая аутопсия как метод экспертного распознавания суицида
  7. 46. РАСЧЕТ И ОПРЕДЕЛЕНИЕ ФАКТОРОВ РИСКА.ФАКТОРНЫЙ АНАЛИЗ. ЭКСПЕРТНЫЙ МЕТОД
  8. 6.1.3. Экспертные системы
  9. 4.5. Выявление экспертных оценок
  10. 2.4. ЭКСПЕРТНЫЕ ОЦЕНКИ В МАРКЕТИНГОВОЙ ИНФОРМАЦИИ
  11. 5.5. Интеграция экспертных оценок
  12. 35. Коллективные экспертные оценки
  13. Экспертное заключение
  14. 4.3.1. Структура и назначение экспертных систем
  15. Экспертный и процессуальный подходы квнутрифирменному обучению
  16. Экспертное консультирование