8.2. Метод экспертного оценивания

8.2. Метод экспертного оценивания

Метод экспертного оценивания относится к инструментарию количественной оценки качества альтернатив в условиях слабоформализуемой проблемной ситуации.

Сущность метода экспертных оценок заключается в логико-интуитивном анализе внутренней и внешней среды организации, разработке альтернатив и количественной оценке их качества. Обобщенное мнение экспертов служит основанием для осуществления выбора.

Комплексное использование интуитивного и логического мышления, а также формальной обработки количественно выраженных суждений экспертов позволяют получить показатели качества альтернатив при решении слабоформализуемых задач выбора. Эксперты при этом выступают в роли «измерительных приборов», позволяющих определить их относительную погрешность (по разбросу суждений) и оценки, интерпретация которых дает требуемый результат.

Экспертные суждения – это содержательные высказывания (определяющие состав, структуру, функциональность исследуемой системы, сущностей и их атрибутов), количественная или качественная оценка какой-либо сущности (т. е. определение количественных и качественных атрибутов и их значений).

Типовые задачи, решаемые методом экспертного оценивания, следующие:

? определение состава возможных событий в какой-либо системе в конкретном интервале времени;

? установление вероятностей событий и временных интервалов в множестве событий;

? структурирование проблемного поля организации и определение приоритетности решения проблем;

? дифференциация целей управления до задач и определение приоритетности их решения;

? генерирование альтернатив; фильтрация множества альтернатив и оценка их предпочтительности.

Этапы экспертизы. Процесс экспертизы в общем случае условно может быть разбит на следующие этапы, последовательность и содержание которых могут варьироваться в зависимости от реальных условий и ограничений:

1) определение задач экспертизы;

2) формирование аналитической группы;

3) отбор экспертов и формирование эксперт-группы;

4) организация и проведение опроса;

5) анализ и обработка эксперт-информации;

6) интерпретация полученных результатов и представление их в форме, пригодной для осуществления выбора ЛПР.

Первые три этапа относятся к подготовке экспертизы. При подготовке экспертизы важно сформулировать ее задачи, т. е., основываясь на информации о проблемной ситуации, определить, какие проблемы требуется решить и какой ожидается результат. На основе сформулированных задач формируется аналитическая группа, в задачи которой входит:

? разработка методов опроса;

? отбор экспертов и формирование эксперт-группы;

? проведение опроса экспертов;

? анализ результатов опроса и их интерпретация.

Аналитическая группа, в зависимости от сложности и специфики проблемной ситуации, может быть сформирована на первом этапе. В этом случае помимо перечисленных задач на нее возлагается также определение задач экспертизы.

В случаях особенной сложности проблемной ситуации, неопределенности среды и большого масштаба требуемых изменений, что характерно при решении стратегических проблем, может потребоваться привлечение к организации процесса экспертизы внешних консультантов по управлению.

Субъекты и объекты экспертизы. Модель «черного ящика» процесса экспертной оценки представлена на рис. 8.3. На входе процесса экспертного оценивания в случае, когда принимается стратегическое решение, кроме параметров внутренней среды, характеризующих проблемную ситуацию и ресурсы организации, также включаются параметры внешней среды. Необходимость включения параметров внешней среды в таком случае объясняется спецификой стратегических управленческих решений.

Рис. 8.3. Модель «черного ящика» процесса экспертного оценивания

Персонал организации – ее важнейший ресурс, представляющий ее стержневые компетенции, – основной источник субъектного состава процесса оценивания. В случаях, когда кадровый потенциал не позволяет привлечь к процессу оценивания работников организации (либо по причине низкого интеллектуального потенциала, либо в силу занятости в производственных и иных процессах), можно воспользоваться услугами сторонних экспертов, что сопряжено, впрочем, с рядом барьеров.

Тем не менее привлечение сторонних экспертов – единственный выход для обеспечения проведения экспертизы в случаях, когда работники предприятия не могут быть привлечены к процессу оценивания. Кроме того, привлечение сторонних экспертов (при обеспечении их информированности) позволяет значительно повысить объективность оценок. Тут возникает противоречие: с одной стороны, кто, как не работники организации обладают требуемой для проведения оценки информацией, а с другой, независимые сторонние эксперты способны наиболее объективно проводить экспертную оценку.

Данное противоречие решается путем привлечения к процессу оценивания консультантов по управлению, одна из задач которых – организация взаимодействия участников процесса, в результате которого происходит взаимное информирование сторонних и внутренних экспертов.

Субъектный состав экспертизы. Как система процесса оценки он может быть получен из круга решаемых задач и условий, в которых происходит процесс РУР.

Рис. 8.4. Схема формирования субъектного состава процесса экспертной оценки

В общем случае субъектный состав процесса экспертной оценки следующий (рис. 8.4):

? субъект (лицо или группа лиц), принимающий решение, – в этом случае в данное понятие включается не только лицо или группа, осуществляющая выбор, но и участники активной группы, т. е. лица, заинтересованные в решении;

? информаторы – это все те люди – источники информации, непосредственно связанные с процессами переработки ресурсов или управления;

? эксперты – это специалисты в конкретных областях функционирования организации (владеющие технологией переработки ресурсов) или в области управления ею (владеющие технологией управления), обладающие необходимыми процедуральными знаниями и способные на основе вновь поступившей информации выносить суждения, рекомендации и заключение по объекту экспертизы в пределах своей компетенции;

? консультанты по управлению – специалисты в области организации процессов выявления проблем, определения видения, миссии, целей, разработки критериев, генерирования альтернатив и их оценки, владеющие специальными инструментами и технологией разработки управленческих решений;

? аналитики – специалисты в какой-либо узкой области знаний, способные проводить анализ в областях решаемых проблем и владеющие специальными инструментами анализа и технологией их применения.

Объектный состав процесса экспертного оценивания. Представляет собой информационные модели действительного и желаемого состояний организации, а также условий среды, в которых она функционирует (рис. 8.5). Кроме этого в объектном составе могут присутствовать базы знаний, образованные путем анализа и систематизации как внутреннего опыта организации, так и внешнего (опыта других организаций).

Рис. 8.5. Объектный состав процесса экспертной оценки, его источники и методы формирования

В качестве объектов оценивания обычно выступают альтернативы решения проблем, генерируемые на основе контекста, в котором происходит разработка решения. При этом в функции эксперт-группы входит как генерация альтернатив, так и их оценка с выработкой рекомендаций по решению проблем.

Рассмотрим подробнее методы формирования эксперт-групп, методы сбора и обработки информации, получаемой от экспертов, и расширения метода экспертных оценок.

По объекту исследования экспертная информация может быть разделена на следующую информацию о:

? миссии и целях системы (в том числе рангах целей);

? функциях системы;

? составе системы;

? связях между элементами системы;

? тенденциях развития системы (прогнозе развития при различных факторах среды);

? возможных вариантах изменения системы (альтернативах);

? весах (рангах, значимости) элементов системы и их функциях.

Методы формирования эксперт-групп

На точность результатов экспертизы существенно влияет состав эксперт-группы. Одна из задач процедуры отбора – формирование системы характеристик эксперта. А. С. Малинин и В. И. Мухин предлагают для описания экспертов, с точки зрения оценки качества решения проблемы, использовать следующие характеристики: компетентность, креативность, конформность, аналитичность, широту и глубину мышления, самокритичность и др.

Под компетентностью понимают степень квалификации эксперта в определенной области знаний, обладание компетенцией (компетенция – круг вопросов, для решения которых лицо обладает необходимыми знаниями и умениями).

Креативность (англ. сreate – создавать) – это способность видеть контекст (существенные по отношению к данной проблеме обстоятельства) и создавать на его основе модели необходимых изменений, т. е. разрабатывать альтернативы.

Конформность – с одной стороны, способность личности к действительному преобразованию индивидуальных установок в результате внутреннего принятия позиции окружающих, которая оценивается как более объективная и обоснованная (обычно играет положительную роль), а с другой стороны, неустойчивость мнения, подверженность влиянию более авторитетных членов группы (играет отрицательную роль).

Аналитичность – в широком смысле способность эксперта к анализу и самоанализу, в узком смысле – способность анализировать проблемную ситуацию, т. е. выделять в ней элементы, определять связи между ними и функциональные зависимости, что позволяет находить место рассогласования в системе и разрабатывать модели требуемых изменений.

Широта мышления – это способность эксперта представлять исследуемую сущность не только в общем контексте, но и в других контекстах, формирующих новый аспект исследуемой сущности.

Глубина мышления – это способность эксперта представлять максимально возможное множество аспектов исследуемой сущности именно в данном контексте.

Самокритичность – способность эксперта абстрагироваться от эмоционального контекста и объективно оценивать собственную позицию.

Определение компетентности эксперта методом самооценки

Компетентность экспертов оценивается определением коэффициента компетентности k по простой и полной методике. Коэффициент компетентности k вычисляется на основе суждений эксперта о степени своей информированности по решаемой проблеме с указанием источников аргументации своих суждений:

где k_u – коэффициент информированности, получаемый на основе самооценки эксперта по 10-балльной шкале, умножаемый на 0,1;

k_a – коэффициент аргументации, получаемый в результате суммирования баллов по табл. 8.1.

Эксперт заполняет таблицу без значений степеней влияния, оценивая влияние источников по качественной шкале: высокая – средняя – низкая. Затем качественные оценки заменяются их количественными показателями и подсчитывается (суммированием значений) количество баллов по всем источникам.

При этом должны выполняться условия: 0 ? k_a ? 1, 0 ? k_u ? 1 и соответственно 0 ? k ? 1.

Таблица 8.1

Эталонные весовые коэффициенты источников аргументации

Источник: Малин А. С., Мухин В. И. Исследование систем управления: Учебник для вузов. – Изд. 2-е. М.: ГУ ВШЭ, 2004. – С. 340

Методы сбора экспертной информации

Анкетирование считается наиболее эффективным и самым распространенным видом опроса и заключается в заполнении экспертами опросных листов-анкет.

«Анкета – это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы, необходимую для проведения управленческого анализа».[37]

По мнению Т. Гавриловой, анкетирование – наиболее жесткий метод сбора экспертной информации, поскольку он наиболее стандартизирован – аналитик заранее составляет вопросник или анкету, размножает ее и использует для опроса нескольких работников компании.[38]

Типы анкет и типы применяемых вопросов по кругу решаемых задач

В зависимости от того, какие задачи ставятся перед экспертами и, соответственно, какую информацию требуется собрать в результате проведения анкетирования, целесообразно рассмотреть следующие типы анкет.

Фактографические анкеты позволяют собрать объективную информацию об анализируемом объекте и получить, таким образом, систематизированную информационную модель объекта анализа (например, информационную модель внешней среды).

Тематические анкеты – анкеты, позволяющие собрать информацию по определенной тематике (например, о работе кадровой подсистемы, подсистемы маркетинга или управления).

Анкеты альтернатив – анкеты, предназначенные для разработки альтернатив.

Оценочные анкеты – анкеты, предназначенные для оценки объектов экспертизы или элементов оцениваемой системы, в том числе альтернатив. Другими словами, все перечисленные выше типы анкет могут быть оценочными помимо обозначенных особенностей в случае, когда в анкете предусмотрены поля для вынесения суждений.

Вопросному составу анкеты и структуре вопросов следует уделять пристальное внимание, результаты анкетирования должны обеспечивать ЛПР максимально полной и достоверной информацией, необходимой для принятия решения.

Типология вопросов, применяемых при составлении анкет, представлена в табл. 8.2.

Таблица 8.2

Виды и типы вопросов

Источник: Малин А. С., Мухин В. И. Исследование систем управления. – С. 343

Окончательный вопросный состав анкеты формируется после ее пилотажа, т. е. апробации опроса экспертов с целью выявления некорректных, неясных вопросов, вызывающих дополнительные (со стороны экспертов) вопросы, и т. п. Кроме анкет-опросников экспертам предоставляется пояснительная записка, объясняющая исходные условия (цель и задачи опроса, объект экспертизы, сведения о проблемной ситуации, т. е. ее модель) и правила по заполнению анкет.

Анкетирование как процесс сбора информации может быть очным и заочным.

Очное анкетирование – это непосредственный контакт опрашивающего и опрашиваемого, предполагающий разъяснения по ходу опроса со стороны первого (недостаток – субъективное влияние опрашивающего на ответы опрашиваемого, достоинство – возможность уточнения и разъяснения вопросов).

Заочное анкетирование не требует непосредственного контакта опрашиваемого и опрашивающего и позволяет привлекать к процессу оценивания территориально разделенных экспертов (например, из разных городов или структурных подразделений организации) без их отрыва от выполняемых функций (недостаток – невозможность уточнения вопросов, проблемной ситуации и правил по заполнению анкет).

Методы обработки экспертной информации

Экспертное ранжирование.Рангом называется степень отличия по какому-либо признаку, а ранжированием – процесс определения рангов, относительных количественных оценок степеней отличий по качественным признакам (например, расположение факторов в порядке их существенности, значимости в данном исследовательском контексте).

Ранжирование применяется в случаях, когда невозможна или нецелесообразна непосредственная оценка. При этом «ранжирование объектов содержит лишь информацию о том, какой из объектов более предпочтителен, и не содержит информацию о том, насколько или во сколько раз один объект предпочтительнее другого. Объект, расположенный в ранжировании эксперта, скажем, на третьем месте, может превосходить объект, расположенный на четвертом месте, в 1,01 раза, а может превосходить и в 101 раз».[39]

Метод простой ранжировки[40] заключается в том, что эксперты располагают объекты ранжирования (например, критерии) в порядке убывания их значимости (для альтернатив это убывание предпочтительности). Ранги обозначаются цифрами от 1 до n, где n – количество рангов. Сумма рангов S_n при этом будет равна сумме чисел натурального ряда:

Так, при n = 6 последовательность рангов альтернатив A_n может выглядеть следующим образом: 2, 4, 1, 3, 6, 5, что означает, что ранг альтернативы A₃ равен единице (R_A3 = 1) и она наиболее предпочтительна из всех шести альтернатив (наименее предпочтительна альтернатива A₅, так как R_A5 = 6).

При ранжировании n объектов m экспертами ранжирование проводят следующим образом.

1. Каждый эксперт выносит суждения о рангах объектов.

2. Для каждого объекта подсчитывают сумму рангов, полученных от всех экспертов, т. е.

где S_n – представляет собой результирующий ранг n-го объекта;

???? – суждение m-го эксперта о ранге n-го объекта.

3. Определяют ранги объектов (от 1-го до n), начиная от наименьшего до наибольшего результирующего рангов.

Метод непосредственной оценки заключается в отнесении объекта оценки к определенному значению по оценочной шкале (т. е. в присвоении объекту оценки балла в определенном интервале). Например, оценка от 0 до 10 в соответствии с предпочтением по какому-либо признаку или их группе (например, альтернативы, по предпочтению, критерии – по значимости, факторы внешней среды – по оказываемому влиянию, проблемы – по приоритетности решения).

Для дальнейшей обработки полученные оценки могут быть пронормированы, т. е. их сумма может быть приведена к единице путем деления каждой оценки на их общую сумму.

Для наглядности и удобства обработки (например, осуществление выбора ЛПР) оценки могут быть переведены в ранги. Максимальной оценке при этом соответствует наивысший ранг, т. е. 1, а минимальной – n (при n – количестве объектов оценки).

При оценке объекта по нескольким параметрам (например, при оценке альтернатив по нескольким критериям) cуммарная оценка объекта проводится следующим образом.

1. Эксперты выносят суждения о весах параметров (например, о весах критериев) и оценках объекта по множеству параметров (например, оценки альтернатив по критериям).

2. Аналитики обрабатывают полученные оценки: вычисляют нормализованные веса параметров (например, критериев) по формулам арифметического среднего, геометрического среднего или средневзвешенного. Так, методом вычисления средних арифметических веса находятся следующим образом:

? нормализуют оценки весов параметров отдельно по каждому эксперту (табл. 8.3, стр. 2–4)

Таблица 8.3

Вычисление усредненных весов параметров

? находят средние арифметические весов параметров (см. стр. 5 табл. 8.3);

? подсчитывают оценки объектов по параметрам, вычисляемым аналогично вычислению весов параметров, и определяют комплексные оценки объектов по следующей формуле:

где R_i – комплексная оценка i-го объекта (i = 1…n, где n – количество объектов оценки);

k_j – нормализованный весовой коэффициент j-го параметра;

r_ij – нормализованная оценка i-го объекта по j-му параметру;

m – количество параметров.

Затем комплексные оценки нормализуют.

Метод парных сравнений. Метод парных сравнений заключается в определении предпочтений элементов, расположенных в левом столбце, над элементами, расположенными в верхней строке. При этом составляется матрица, по строкам и столбцам которой располагают сравниваемые объекты (табл. 8.4).

Таблица 8.4

Матрица парных сравнений для четырех объектов

В табл. 8.4 в ячейке A₁₂ вписана единица, это означает, что элемент A₁ получает б?льшую оценку, чем элемент A₂, соответственно в ячейке A₂₁ пишут 0, а затем, суммируя значения по строкам, получают ранги объектов.

Данный текст является ознакомительным фрагментом.