Программа дисциплины - Методы экспертных оценок - файл n1.doc

Программа дисциплины - Методы экспертных оценок
Скачать все файлы (116.5 kb.)

Доступные файлы (1):
n1.doc117kb.31.03.2014 21:59скачать

n1.doc

Министерство экономического развития и торговли

Российской Федерации
Государственный университет –

Высшая школа экономики


Факультет

Социологии


ПРОГРАММА

МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК
Для специальности 080504.65 "Государственное и муниципальное управление"

(подготовки специалиста)
Автор программы: профессор, к.ф-м.н. Шмерлинг Дмитрий Семенович (schmerling@hse.ru)


Рекомендована секцией УМС

______________________________
Председатель

______________________________

«_____» __________________ 200 г.


Одобрена на заседании кафедры

Методов сбора и анализа социологической информации

Зав. кафедрой

д.с.н., проф. Толстова Ю.Н.

«_____» __________________ 200 г.

Утверждена УС

факультета _______________

Ученый секретарь

______________________

«_____» __________________ 200 г.





Москва, 2009

Курс предназначен для всех тех, кто хочет грамотно применять экспертные оценки. В курсе дается минимальный набор теоретических сведений по экспертным оценкам. Особое внимание уделяется реальным постановкам задач экспертного оценивания в практике управления производством, вообще бизнесе в широком смысле этого термина, маркетинговых и социально-экономических исследованиях и т.п.
Тематический план учебной дисциплины




Название темы

Всего часов

Аудиторные часы

Самостоятельная работа

Лекции

Сем. и практ. занятия

1

Введение. Роль экспертных оценок (Э.О.)

11

3




8

2

Методы получения экспертных оценок

17

6




11

3

Методы обработки экспертных оценок.

3.1.Метод парных сравнений (П.С.)

14

4




10

4

Методы обработки экспертных оценок

4.1. Ранги и баллы

16

4




12

5

Согласованность экспертов и адекватность моделей

15

6




9

6.

Задача о лидере и Google

11

3




8

7.

«Алгебраический» подход Кемени-Снелла

11

3




8

8.

Нормативы: ГОСТы

23554.0-79

23554.1-79

23554.2-81

13

3




10




ИТОГО

108

32




76



Базовый учебник
Шмерлинг Д.С., Дубровский С.А., Аржанова Т.Д., Френкель А.А. Экспертные оценки. Методы и применения (Обзор) // Уч. Зап. по Статистике, т.29 Статистические методы анализа экспертных оценок. – М.: Наука, 1977, с.290-382
Форма знаний: лекции, семинары, вопросы, обсуждения.
Промежуточный итог – домашнее задание, в котором должен быть построен пример, максимально приближенный к «боевой обстановке» и результаты его обработаны и интерпретированы.

В качестве основного результата по курсу студенты должны быть способны:


Формы контроля



Итог составляет оценка по следующим критериям:


Элемент контроля

Вес,  = 1,0

Посещаемость, активность на лекциях

0,20

Домашнее задание

0,20

Конспект

0,20

Зачет

0,40

Итоговая оценка

Вес, умноженный на 10


Посещаемость, вопросы и обсуждения
Явка на занятия проверяется по списку. Максимальная оценка 10 дается за посещение почти всех занятий и одно выступление. Далее – экспертная оценка преподавателя по убыванию.
Домашнее задание (ДЗ), конспект
Самостоятельно придуманная прикладная задача по тематике курса. Объем работы – в пределах 5-7 «от руки» ( во избежание ненужных заимствований) со ссылками на литературу как по источнику данных, так и по методам экспертных оценок.

Оценка в диапазоне от 0,00 до10 ставится преподавателем методом экспертных оценок с учетом глубины постановки задачи и продуманности решения, интерпретации и оформления.
Зачет

Проводится в устной форме. Допускаются лишь те, кто сдал домашнее задание и конспект. Число вопросов - обычно не более 3.

Шкала оценок.


Итоговая 10-и бальная шкала

Итоговая 5-и бальная шкала

1-3

Неудовлетворительно

4-5

Удовлетворительно

6-7

Хорошо

8-10

Отлично

Вес этой оценки равен – 0,40
Содержание программы
Тема 1.

Введение. Роль экспертных оценок (Э.О). Область применения экспертных оценок с 1960-70-х годов к 2006 г. Замена регрессии и подобных ей подходов. Незаменимость экспертных оценок. Опора на модели экспертных оценок, а не на интуитивный подход. Роль четкой постановки задачи и роль неопределенности, риски.

Литература


Тема 2. Методы получения экспертный оценок.

Основные задачи: Выбор целей, критериев, наилучших вариантов, описание модели, эвристические алгоритмы управления, эргономика, качество продукции, планирование, классификация, прогнозирование и т.п., см. Шмерлинг и др. (1977) Классификация: Шмерлинг и др (1977), с.295.

Литература


Тема 3. Методы обработки экспертных оценок

Основные этапы: модели, их адекватность, согласованность, коллективное мнение. Примеры из области парных сравнений. Немного о теории измерений.

Литература



Тема 3.1 Методы получения экспертных оценок. Парные сравнения.

Модели комбинаторно-графовые, типа Терстоуна и Бредли-Терри-Льюса.

Транзитивность, циклы в графах и последовательность эксперта.

Проверка адекватности модели. Проверка других гипотез. Практика применения моделей.

Литература


Тема 4. Ранги и баллы

Распределение рангов при нулевой гипотезе – независимость распределения рангов от распределения исходных наблюдений, которые были заменены рангами (ранжированы).

Классическая схема ANOVA-2 (случайные блоки) и задача М.Кендалла-Бэбингтона Смита.

Связь этой задачи с корреляцией Спирмена и идея усреднения – подбор способа поиска коллективного мнения (агрегирования).

Что делать с баллами – специальная теория для каждой схемы эксперимента.

Литература


Тема 5. Согласованность экспертов и адекватность моделей.

Идея согласованности и деления экспертов на группы (классификация экспертов). Согласованность парных сравнений и ранжировок. Меры близости и их роль в построении мер и статистических критериев согласованности. Полные и неполные данные.

Литература

Их же: Двухфакторный непараметрический дисперсионный анализ для неполных данных: Препринт. – М.: ВНИИ системн. иссл., 1986; Akritas M.G., Arnold S.F., Brunner E. Nonparametric Hypotheses and Rank Statistics for Unbalanced Factorial Designs // IASA, 1997, v.92, № 437, p.258-265.

Орлов (2002), Холлендер, Вулф (1983), гл7.
Тема 6. Задача о лидере Google

Подход Wei (1952), Kendall (1955): Собственные векторы и их физический смысл. От алгебры к рейтингам, от Perron-Frobenius к Saaty и Google. Задача о миграции и задачи упорядочения объектов с учетом всей структуры предпочтения, миграция и п.с.

Технология Саати: истоки и современные возможности.

Литература

Саати Томас Л. Принятие решений при зависимостях и обратных связях: Аналитические сети. – Пер. с англ. / Науч.ред. А.В.Андрейчиков, О.Н. Андрейчикова. – М.:Издательство ЛКИ, 2008. – 360 с.)
Тема 7. Алгебраический подход Кемени-Снелла

Меры близости, поиск наилучшего упорядочения по отношению к набору упорядочений. Как проверять согласованность при таком подходе?

Дальнейшие продвижения. Сравнение подходов.

Литература.


Тема 8. Нормативы: ГОСТы и …..

Проблема построения методик для различных предметных областей.

Экспертные оценки и экспертиза. Необходимость разработки Федерального закона «Об экспертной деятельности» - формат, охват и т.п.

Литература


Тематика заданий по различным формам текущего контроля

В качестве домашнего задания студент должен придумать свою постановку задачи экспертного оценивания, подобрать так называемые «модельные» данные и провести весь цикл по планированию, организации, проведения сбора, систематизации, анализу и интерпретации данных, и интерпретации результатов.

Объем задания не менее 6-10 экспертов, не менее 6-8 объектов сравнения, возможны повторные наблюдения (т.е. эксперт несколько раз в разное время наблюдает объекты и дает свои оценки).

Общая последовательность действий представлена в ГОСТ 23554.2-81 в прилож.1, с.36-37.

В этом же документе см. «жанр примеров».
Вопросы для оценки качества освоения дисциплины.

  1. Назовите несколько предметных областей применения экспертных оценок, таких как управление качеством, эргономика, выбор целей или/и критериев и т.п., см. Шмерлинг и др. (1977), с. 292-293.

  2. Когда можно применять регрессионный анализ (Р.А.), а когда – экспертные оценки (Э.О.)?

  3. Как сочетать Р.А. и Э.О.?

  4. Какова роль математической модели для Э.О.?

  5. Какова связь с теорией полезности?

  6. Когда риски можно выяснять с помощью Э.О.?

  7. Коллективная или частично коллективная работа экспертов, или индивидуальное мнение экспертов? Когда какой подход применять?

  8. Как составить анкету для экспертов?

  9. Парные сравнения, баллы, ранги – какова практика применения?

  10. Каковы рекомендации ГОСТ 23554.0-79/1-79/2-81 по применению баллов, рангов, парных и множественных сравнений?

  11. Каковы основные этапы проведения исследования с помощью Э.О. по ГОСТам, упомянутым выше?

  12. Каковы основные идеи обработки Э.О. и их смысл? Модели, их адекватность, агрегирование, согласованность – что это такое?

  13. Какова роль шкал в Э.О. и какова практика их применения?

  14. Что такое эффект Тверского-Каннемана? См. § 30, с.473-481 книги Каннеман, Словик, Тверски (2005))?

  15. Как проверяют согласованность?

  16. Что делать со многими критериями (см.Хрестоматию Подиновского (2005).

  17. Подход А.П.Орлова – в чем он состоит? См.Орлов (2006).

  18. Как обрабатывать парные сравнения (комбинаторные и вероятностные модели)?

  19. Что такое адекватность модели п.с.?

  20. Что такое многомерное шкалирование для парных сравнений?

  21. Связь п.с. с групповым выбором (от теоремы Arrow о невозможности)?

  22. Другие подходы к парным сравнениям – могут ли они быть?

  23. Как устроено распределение рангов при нулевой гипотезе о независимости наблюдений?

  24. Как устроена схема 2-факторного ANOVA и распределение ранжировок в этой схеме?

  25. Расскажите о конкордации и ранговой корреляции. Как они связаны между собой?

  26. Как построить теорию для баллов?

  27. Как описывать согласованность и что делать в случаях ее отсутствия и наличия?

  28. Что делать с неполными ранжировками?

  29. Гипотезы упорядоченности (Page (1963) и др.).

  30. В чем идея задачи о лидере? Как она выглядит «в графах», физический смысл, применение?

  31. В чем идея технологии Саати? Как она связана с другими подходами?

  32. В чем суть оптимизационного подхода? Кемени и Снелл, Bogart и др.

  33. Статистические и комбинаторно-алгебраические модели по Genest, Rivest (1994) – в чем различия и близость результатов?

  34. В чем состоят результаты?

  35. Как устроены ГОСТы?

  36. Как можно строить методики Э.О.?

  37. Применение в управлении, планировании, прогнозировании и проч. – как они устроены?

Автор программы: _______________ Шмерлинг Дмитрий Семенович/
Учебный текст
© perviydoc.ru
При копировании укажите ссылку.
обратиться к администрации