2.3. Экспертные методы оценки риска
2.3. Экспертные методы оценки риска
Общая схема экспертных опросов включает следующие основные этапы:
1) подбор экспертов и формирование экспертных групп;
2) формирование вопросов и составление анкет;
3) работу с экспертами;
4) формирование правил определения суммарных оценок на основе оценок отдельных экспертов;
5) анализ и обработку экспертных оценок.
На первом этапе исходя из целей экспертного опроса решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.
Оценки численности группы экспертов производятся на основе следующих соображений.
Численность группы не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того, на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.
При увеличении группы экспертов, хотя и устраняются эти недостатки, но зато появляется опасность возникновения новых. Так, при очень большом количестве экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицированных специалистов, что в свою очередь может привести к уменьшению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработкой результатов опроса. Следует отметить, что при нахождении оценок экспертным путем, помимо погрешности, вносимой недостатком информации об исследуемом объекте и недостаточной компетентностью экспертов, возможна и погрешность совсем другого рода, обусловленная заинтересованностью экспертов в результатах экспертизы, что обязательно скажется на их достоверности. Наличие такого рода погрешностей может значительно искажать оценки.
Устранение указанных недостатков достигается использованием соответствующих методов и в первую очередь посредством правильной организации экспертной процедуры, начиная от подбора экспертов до обработки их мнений.
Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечивающая эффективность работы на каждом из этапов и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной, давно известной экспертизы, применяемой в различных сферах человеческой деятельности.
При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса, т.е. необходимо установить, имеется ли тенденция у отдельных экспертов необъективно оценивать рассматриваемые события. Для этого желательно выявить потенциальные возможные цели экспертов, противоречащие целям получения объективных результатов.
Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые оценки в желательном для себя либо для других лиц направлении.
Основными методами экспертных оценок являются следующие:
1) методы коллективной работы экспертной группы;
2) методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы предполагают формирование общего мнения в ходе совместного обсуждения последствий предпринимательской деятельности. Иногда эти методы называют методами прямого получения коллективного мнения. Они включают методы «мозговой атаки», сценариев, деловых игр, совещаний и «суда».
Методы получения индивидуального мнения членов экспертной группы основаны на предварительном сборе информации от экспертов, опрашиваемых независимо друг от друга, с последующей отработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью, Дельфи.
Средством сбора информации от экспертов является опросный лист – анкета, которая должна удовлетворять ряду таких требований, как простота и однозначность понимания текста, краткость изложения, полнота изложения, иллюстративность, однотипность.
Опрос экспертов осуществляется в соответствии с выбранным методом экспертных оценок. Среди методов экспертных оценок как научного инструмента трудноформализуемых задач анализа предпринимательского риска наиболее приемлем метод Дельфи, или метод дельфийского оракула. Этот метод представляет итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.
Процедура метода включает несколько последовательных этапов (туров) опроса. На первом этапе ведется индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляется и обобщается аргументация в пользу различных суждений. На втором этапе вся информация сообщается экспертам, и их просят пересмотреть оценки и в случае своего несогласия с коллективным суждением объяснить его причины. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и на этом следует прекращать процедуру опроса.
Достоинством метода Дельфи является использование обратной связи в ходе опроса, что значительно повышает объективность и надежность экспертных оценок степени риска. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.
Обработка результатов полученной экспертной информации определяется методом ее получения и типом представления (качественная, количественная). При обработке экспертной информации ставятся задачи оценки: коллективного мнения экспертной группы; согласованности мнений экспертов; компетентности экспертов. При решении первой задачи, если есть необходимый информационный потенциал, используются методы математической статистики, основанные на осреднении данных. Если информационный потенциал недостаточен, обработка результатов базируется на методах качественного анализа.
При наличии информационного потенциала коллективное мнение экспертной группы может быть выражено в формах:
1) количественных оценок в физических единицах измерения или в виде отношения;
2) балльных оценок;
3) попарных сравнений;
4) группировок (сортировки);
5) ранжирования.
Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:
1) независимость формирования экспертами собственного мнения об оцениваемых событиях;
2) удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);
3) логическое соответствие вопросов структуре объекта опроса;
4) приемлемые затраты времени на ответы по вопросам анкеты, удобное время получения вопросов и выдачи ответов;
5) сохранение анонимности ответов для членов экспертной группы;
6) предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы.
В зависимости от характера исследуемого объекта, от степени его формализации и возможности привлечения необходимых экспертов порядок работы с ними может быть различным, но в основном он состоит из 3 следующих стадий.
На первой стадии эксперты привлекаются в индивидуальном порядке для того, чтобы уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.
На второй стадии экспертам направляются анкеты с пояснительным письмом, в котором описываются цель работы, структура и порядок построения таблиц с примерами.
Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса – последующее самостоятельное заполнение анкет при соблюдении правил анкетирования.
Третья стадия работы с экспертами осуществляется после получения результатов опроса в процессе обработки и анализа полученных результатов.
На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию, которая требуется для уточнения данных и их окончательного анализа.
Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.
Существует несколько способов использования группы экспертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с помощью определенных приемов эти оценки объединяются в одну обобщенную (согласованную).
Например, если речь идет о вероятности наступления рискового события (р) и i-й эксперт указывает для этой вероятности число рi, то простейший способ получения обобщенной оценки состоит в вычислении средней вероятности:
где m – число экспертов, участвующих в экспертизе.
В методе Дельфи в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов.
Можно рассчитать и средневзвешенное значение вероятности, если попытаться учесть вес (компетентность) самого эксперта, который определяется на основе предыдущей деятельности (количество верных ответов к общему количеству), либо на основе других методов – самооценка экспертом своих знаний в области заданных вопросов, квалификация, должность, ученое звание и т.д.:
где h – вес, приписываемый i-му эксперту.
Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса. В общем случае значения веса, приписываемого i-му эксперту, интерпретируются как вероятность задания им достоверной оценки. В этом случае 0 < h < 1.
В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, известная нам экспертиза определения индекса БЕРИ для оценки страхового риска использует шкалу от 0 до 100 баллов. Вместе с тем принципиальной разницы в шкалах измерения нет, выбор той или иной из них во многом определяется вкусом исследователя, производящего экспертный опрос. Принятая шкала измерения может в некоторой степени повлиять на выбор методов анализа и обработки мнений экспертов.
При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты – варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.
Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степень возможного их влияния на уровень потерь) или вариантов снижения риска – в порядке их предпочтительности и т.п.
Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распространенными из них являются ранжирование, непосредственная оценка, последовательное сравнение, парное сравнение.
Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности экспертных оценок.
Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.
Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок. Коэффициент конкордации (W) определяется из выражения:
где: q2?– фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами;
q2max – дисперсия суммарных (упорядоченных) оценок в случае, когда мнения экспертов полностью совпадают.
Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 согласованность мнений экспертов полная.
Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения. Можно принять W = 0,5. Считается, что при W большем, чем 0,5, действия экспертов в большей степени согласованны, чем не согласованы.
Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выявлены 5 видов риска, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.
В общем случае коэффициент конкордации определяется из выражения:
где а – оценка, присваиваемая i-му объекту j-м экспертом;
m – количество оцениваемых объектов;
n – количество экспертов.
Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.
Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и используются в процессе подготовки и реализации управленческих решений.
Если полученные оценки нельзя считать достоверными, следует повторить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.
Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2n (m + l).
Данный текст является ознакомительным фрагментом.