litceysel.ru
добавить свой файл
1
Министерство экономического развития и торговли


Российской Федерации


Государственный университет –

Высшая школа экономики



Факультет

Социологии


ПРОГРАММА

МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК


Для направления 040200.68 "Социология"

(подготовки магистра)


Автор программы: профессор, к.ф-м.н. Шмерлинг Дмитрий Семенович


Рекомендована секцией УМС

______________________________


Председатель

______________________________

«_____» __________________ 200 г.


Одобрена на заседании кафедры

Методов сбора и анализа социологической информации

Зав. кафедрой

д.с.н., проф. Толстова Ю.Н.

«_____» __________________ 200 г.

Утверждена УС

факультета Социологии

Ученый секретарь

______________________________

«_____» __________________ 200 г.






Москва

Тематический план учебной дисциплины




Название темы

Всего часов

Аудиторные часы

Самостоятельная работа


Лекции

Сем. и практ. занятия

1

Введение. Роль экспертных оценок (Э.О.)

7

2

1

4

2

Методы получения экспертных оценок

8

2

1

5

3

Методы обработки экспертных оценок.

3.1.Метод парных сравнений (П.С.)

8

2

1

5

4

Методы обработки экспертных оценок

4.1. Ранги и баллы

8

2

1

5

5

Согласованность экспертов и адекватность моделей

7

2

1

4

6.

Задача о лидере и Google

7

2

1

4

7.


«Алгебраический» подход Кемени-Снелла

6

1

1

4

8.

Нормативы: ГОСТы

23554.0-79

23554.1-79

23554.2-81

3

1

-

2




ИТОГО

54

14

7

33


Базовый учебник


Шмерлинг Д.С., Дубровский С.А., Аржанова Т.Д., Френкел А.А. Экспертные оценки. Методы и применения (Обзор) // Уч. Зап. по Статистике, т.29 Статистические методы анализа экспертных оценок. – М.: Наука, 1977, с.290-382

Формы контроля знаний студентов.


Курс предназначен для всех тех, кто хочет грамотно применять экспертные оценки. Программа рассчитана на 15 часов лекций и 14 часов семинарских занятий.

В курсе дается минимальный набор теоретических сведений по экспертным оценкам. Особое внимание уделяется реальным постановкам задач экспертного оценивания в практике управления производством, вообще бизнесе в широком смысле этого термина, маркетинговых и социально-экономических исследованиях и т.п.


Форма знаний: лекции, семинары, вопросы, обсуждения.

Промежуточный итог – домашнее задание, в котором должен быть построен пример, максимально приближенный к «боевой обстановке» и результаты его обработаны и интерпретированы.


В качестве основного результата по курсу студенты должны быть способны:


  • Уметь ставить задачи экспертных оценок

  • Уметь подбирать подходящих методы обработки экспертных оценок

  • Уметь интерпретировать


Формы контроля


  • Текущий контроль – посещаемость, вопросы на лекциях, обсуждение лекционного материала;

  • Промежуточный контроль – домашнее задание, конспект;

  • Итоговый контроль – зачет


Итог составляет оценка по следующим критериям:


Элемент контроля

Вес,  = 1,0

Посещаемость, активность на лекциях

0,20

Домашнее задание

0,20

Конспект

0,20

Зачет

0,40

Итоговая оценка

Вес, умноженный на 10


Посещаемость, вопросы и обсуждения


Явка на занятия проверяется по списку. Максимальная оценка 10 дается за посещение почти всех занятий и одно выступление. Далее – экспертная оценка преподавателя по убыванию.


Домашнее задание (ДЗ), конспект


Самостоятельно придуманная прикладная задача по тематике курса. Объем работы – в пределах 5-7 «от руки» ( во избежание ненужных заимствований) со ссылками на литературу как по источнику данных, так и по методам экспертных оценок.

Оценка в диапазоне от 0,00 до10 ставится преподавателем методом экспертных оценок с учетом глубины постановки задачи и продуманности решения, интерпретации и оформления.



Зачет

Проводится в устной форме. Допускаются лишь те, кто сдал домашнее задание и конспект. Число вопросов - обычно не более 3.

Шкала оценок.


Итоговая 10-и бальная шкала

Итоговая 5-и бальная шкала

1-3

Неудовлетворительно

4-5

Удовлетворительно

6-7

Хорошо

8-10

Отлично

Вес этой оценки равен – 0,40


Содержание программы


Тема 1.

Введение. Роль экспертных оценок (Э.О). Область применения экспертных оценок с 1960-70-х годов к 2006 г. Замена регрессии и подобных ей подходов. Незаменимость экспертных оценок. Опора на модели экспертных оценок, а не на интуитивный подход. Роль четкой постановки задачи и роль неопределенности, риски.

Литература


  • Статистические методы экспертных оценок// Уч.зап. статистики, т.29.-М.: Наука, 1977.

  • Маленво Э. Лекции по микроэкономическому анализу: Пер. с франц.-М.: Наука, 1985. – 392 с. Гл.XI.

  • Фишберн Р. Теория полезности для принятия решений: Пер. с англ. –М.: Наука, 1978. – 352 с. Гл.2, 8 и прог. Дэвид (1978)


Тема 2. Методы получения экспертный оценок.

Основные задачи: Выбор целей, критериев, наилучших вариантов, описание модели, эвристические алгоритмы управления, эргономика, качество продукции, планирование, классификация, прогнозирование и т.п., см. Шмерлинг и др. (1977) Классификация: Шмерлинг и др (1977), с.295.


Литература


  • Шмерлинг Д.С. (1977), особо с.295, Дэвид (1978);

  • Экспертные оценки в научно-техническом прогнозировании/ Добров Г.М. и др. – Киев: Наукова Думка, 1974. – ГОСТ 23554.0-79; ГОСТ 23554.1-79; ГОСТ 23554.2-81 (Экспертные оценки качества промышленной продукции.- М.: Изд. «Стандарты», 1979-1982 г.г.)


Тема 3. Методы обработки экспертных оценок

Основные этапы: модели, их адекватность, согласованность, коллективное мнение. Примеры из области парных сравнений. Немного о теории измерений.

Литература

    • Шмерлинг Д.С. и др. (1977), ч. II; Дэвид (1978),

    • Пфанцагль И. Теория измерений: Пер.с англ.- М.: Мир, 1976. – 248 с., гл. 11, 12 («жесткий» уровень)

    • Статистическое измерение качественных характеристик: Пер. с англ.- М.: Статистика, 1972. – 173 с. (Фишберн, Таргерсон, Экенроде, Нойтенгейл и др.)

    • Психологические измерения. Сборник: Пер. с англ.- М.: Мир, 1967.–196 с.

    • Орлов А.И. Эконометрика. – М.: Экзамен, 2002, гл.13

    • Канеман Д., Словик П., Тверский А. Принятие решений в неопределенности: Правила и предубеждения.- Харьков: Гумм. Центр, 2005. – 632 с.

    • Орлов А.А. Теория принятия решений. – М.: Экзамен, 2006. – 573 с.

    • Подиновский В.В., сост. Методы принятия решений. Теория и методы многокритериальных решений: Хрестоматия, - М.: ГУ-ВШЭ, 2005. –242 с.

    • Флювъерг Б. Стратегические оценки// Экономическая политика, 2006, №1, с.77-101



Тема 3.1 Методы получения экспертных оценок. Парные сравнения.

Модели комбинаторно-графовые, типа Терстоуна и Бредли-Терри-Льюса.

Транзитивность, циклы в графах и последовательность эксперта.

Проверка адекватности модели. Проверка других гипотез. Практика применения моделей.

Литература


    • Дэвид (1978), Шмерлинг и др. (1977)

    • Пригарина Т.А., Чеботарев П.А., Шмерлинг Д.С. Парные сравнения (аналитический обзор)// Научно-техническая информация. Сер.2 Инф. Процессы и системы, 1996, №2, с.20-25,32.

    • Кулаковская Т.Е., Наумова Н.И. Некоторые методы нестатистического анализа социологических и экспертных оценок – В кн.: Математические методы в социально-экономических исследованиях. Сб. научн.тр. Под ред. С.М.Ермакова и Б.В.Меласа. – СПб: Петрополис, 1996, с.79-99.

    • Дэйвисон М. Многомерное шкалирование: Методы наглядного представления данных: Пер. с англ.- М.: Финансы и статистика, 1988. – 254 с. (обстоятельное руководство по шкалированию)

    • Робертс Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экономическим задачам: Пер. с англ.- М.: Наука, 1986.


Тема 4. Ранги и баллы

Распределение рангов при нулевой гипотезе – независимость распределения рангов от распределения исходных наблюдений, которые были заменены рангами (ранжированы).

Классическая схема ANOVA-2 (случайные блоки) и задача М.Кендалла-Бэбингтона Смита.

Связь этой задачи с корреляцией Спирмена и идея усреднения – подбор способа поиска коллективного мнения (агрегирования).

Что делать с баллами – специальная теория для каждой схемы эксперимента.

Литература

    • Кендэл М. Ранговые корреляции: Пер. с англ. – М.: Статистика, 1975. – 216 с.

    • Холлендер, Вулф (1983)

    • ГОСТ 23554.2-81 Экспертные оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции. Изд.офиц. – М.: Изд. Стандартов, 1982. – 64 с.

    • Тюрин Ю.Н., Шмерлинг Д.С. Непараметрические методы статистики// Социология: методология, методы, математические модели, 2004, № 18, с.154-166.
    • Эрроу К.Дж. Коллективный выбор и индивидуальные ценности: Пер. с англ. – М.: ГУ-ВШЭ, 2004. – 204 с. (см. также послесловие к этой книге Ф.Т. Алескерова).



Тема 5. Согласованность экспертов и адекватность моделей.

Идея согласованности и деления экспертов на группы (классификация экспертов). Согласованность парных сравнений и ранжировок. Меры близости и их роль в построении мер и статистических критериев согласованности. Полные и неполные данные.

Литература

  • Кэндел (1975): Дэвид (1978), Шмерлинг и др. (1978),

  • Нискина Н.П., Тейман А.И., Шмерлинг Д.С. Непараметрические методы статистики, основанные на рангах и их применения: Препринт. – М.: ВНИИ системн. Иссл., 1986;

Их же: Двухфакторный непараметрический дисперсионный анализ для неполных данных: Препринт. – М.: ВНИИ системн. иссл., 1986; Akritas M.G., Arnold S.F., Brunner E. Nonparametric Hypotheses and Rank Statistics for Unbalanced Factorial Designs // IASA, 1997, v.92, № 437, p.258-265.

Орлов (2002), Холлендер, Вулф (1983), гл7.


Тема 6. Задача о лидере Google

Подход Wei (1952), Kendall (1955): Собственные векторы и их физический смысл. От алгебры к рейтингам, от Perron-Frobenius к Saaty и Google. Задача о миграции и задачи упорядочения объектов с учетом всей структуры предпочтения, миграция и п.с.

Технология Саати: истоки и современные возможности.

Литература

  • Moon Y.W. Topiсs on Tournament: N.Y.: Holt, Rinehart and Winston, 1968.

  • Moon Y.W., Pullman N.Y. On generalized touvnament matrices // SIAM Rev., 1970, p. 384-399.

  • David H.A. The Methods of Paived Comparisons /2 nd ed., rev. – L.: Griffin, N.Y.: Oxford Univ. Press, 1988. – VIII; 188 pp.

  • Хорн Р., Джонсон Ч. Матричный анализ: Пер. с англ. – М.: Мир, 1989. – 655 с. (гл.8, где разобран замечательный пример матрицы 2 х 2).
  • Саати Т., Кернс К. Аналитическое планирование. Организация систем: Пер. с англ. – М.: Радио и связь, 1991. – 224 с. (особо см. гл.6)


  • Саати Т. Принятие решений. Метод анализа иерархии: Пер. с англ. – М.: Радио и связь, 1993. – 320 с. (см. теорию в ч.III, гл. 7-9 и прил.1,2.

  • Genest Ch., Rivest L.-A. F statistical look at Saaty`s method of estimating pairwise preferences expressed on a ratio scale //J.Math.Psychol., 1994, v.38, p.477-496. (Прекрасное сравнительное исследование, следует прочесть преподавателю и вдумчивому студенту).

  • Saati T.L. Decision Making with Dependence and Feedback: The Analitic Network Process. – Pittsburgh, PA: RWS Publ., 2001. – XVI + 376 pp. (Проф. Андрейчиковы из Волгограда перевели эту книгу на русский язык, но автор программы не знает вышел ли из печати перевод…)


Тема 7. Алгебраический подход Кемени-Снелла

Меры близости, поиск наилучшего упорядочения по отношению к набору упорядочений. Как проверять согласованность при таком подходе?

Дальнейшие продвижения. Сравнение подходов.

Литература.

  • Кемени Дж., Снелл Дж. Кибернетическое моделирование: Пер. с англ. – М.: Сов. Радио, 1972. – 192 с.

  • Bogart K. Preference structures.I//J.Math. Sociol., 1973, v.3, p.49-67;

  • Bogart K. Preference structures.II: distances between asymmetric relations//STAM Y. Appl. Math., 1975, v.29, № 2, p.254 -….

  • Экспертные оценки в социологических исследованиях /Крымский С.Б. отв.ред. – Киев: Наукова Думка, 1990, гл.8 (Пригарина Т.А., Чеботарев П.Ю.), с.190-225.

  • Чеботарев П.Ю. Обобщение метода строчных сумм для неполных парных сравнений// Автоматика и телемеханика, 1989, с.125-137.

  • Chebotarev P.Yu., Shamis E. Characterisations of scoring methods for preference agregation// Ann. Operat.Res., 1998, р.299-332.
  • Chebotarev P.Yn., Shamis E.Preference fusion when the number of alternatives exceed two: indirect Scoring procedures//Y. Franklin Inst., 1999, v. 336, № 2, р.205-226.



Тема 8. Нормативы: ГОСТы и …..

Проблема построения методик для различных предметных областей.

Экспертные оценки и экспертиза. Необходимость разработки Федерального закона «Об экспертной деятельности» - формат, охват и т.п.

Литература

  • ГОСТ 23554.0-79/1-79/2-81

  • Литвак Б.Г. Экспертные технологии в управлении. – М.: Изд. «Дело», 2004.

  • Литвак Б.Г. Разработка управленческого решения/ 6-у изд. – М.: Изд. «Дело», 2006.

  • Литвак Б.Г. Великие управленцы. Практические занятия по управлению. Мастер-класс. – М.: Экономика, 2003.


Тематика заданий по различным формам текущего контроля

В качестве домашнего задания студент должен придумать свою постановку задачи экспертного оценивания, подобрать так называемые «модельные» данные и провести весь цикл по планированию, организации, проведения сбора, систематизации, анализу и интерпретации данных, и интерпретации результатов.

Объем задания не менее 6-10 экспертов, не менее 6-8 объектов сравнения, возможны повторные наблюдения (т.е. эксперт несколько раз в разное время наблюдает объекты и дает свои оценки).

Общая последовательность действий представлена в ГОСТ 23554.2-81 в прилож.1, с.36-37.

В этом же документе см. «жанр примеров».


Вопросы для оценки качества освоения дисциплины.

  1. Назовите несколько предметных областей применения экспертных оценок, таких как управление качеством, эргономика, выбор целей или/и критериев и т.п., см. Шмерлинг и др. (1977), с. 292-293.

  2. Когда можно применять регрессионный анализ (Р.А.), а когда – экспертные оценки (Э.О.)?

  3. Как сочетать Р.А. и Э.О.?

  4. Какова роль математической модели для Э.О.?

  5. Какова связь с теорией полезности?
  6. Когда риски можно выяснять с помощью Э.О.?


  7. Коллективная или частично коллективная работа экспертов, или индивидуальное мнение экспертов? Когда какой подход применять?

  8. Как составить анкету для экспертов?

  9. Парные сравнения, баллы, ранги – какова практика применения?

  10. Каковы рекомендации ГОСТ 23554.0-79/1-79/2-81 по применению баллов, рангов, парных и множественных сравнений?

  11. Каковы основные этапы проведения исследования с помощью Э.О. по ГОСТам, упомянутым выше?

  12. Каковы основные идеи обработки Э.О. и их смысл? Модели, их адекватность, агрегирование, согласованность – что это такое?

  13. Какова роль шкал в Э.О. и какова практика их применения?

  14. Что такое эффект Тверского-Каннемана? См. § 30, с.473-481 книги Каннеман, Словик, Тверски (2005))?

  15. Как проверяют согласованность?

  16. Что делать со многими критериями (см.Хрестоматию Подиновского (2005).

  17. Подход А.П.Орлова – в чем он состоит? См.Орлов (2006).

  18. Как обрабатывать парные сравнения (комбинаторные и вероятностные модели)?

  19. Что такое адекватность модели п.с.?

  20. Что такое многомерное шкалирование для парных сравнений?

  21. Связь п.с. с групповым выбором (от теоремы Arrow о невозможности)?

  22. Другие подходы к парным сравнениям – могут ли они быть?

  23. Как устроено распределение рангов при нулевой гипотезе о независимости наблюдений?

  24. Как устроена схема 2-факторного ANOVA и распределение ранжировок в этой схеме?

  25. Расскажите о конкордации и ранговой корреляции. Как они связаны между собой?

  26. Как построить теорию для баллов?

  27. Как описывать согласованность и что делать в случаях ее отсутствия и наличия?

  28. Что делать с неполными ранжировками?

  29. Гипотезы упорядоченности (Page (1963) и др.).
  30. В чем идея задачи о лидере? Как она выглядит «в графах», физический смысл, применение?


  31. В чем идея технологии Саати? Как она связана с другими подходами?

  32. В чем суть оптимизационного подхода? Кемени и Снелл, Bogart и др.

  33. Статистические и комбинаторно-алгебраические модели по Genest, Rivest (1994) – в чем различия и близость результатов?

  34. В чем состоят результаты?

  35. Как устроены ГОСТы?

  36. Как можно строить методики Э.О.?

  37. Применение в управлении, планировании, прогнозировании и проч. – как они устроены?


Автор программы: _______________ /Шмерлинг Дмитрий Семенович/