litceysel.ru
добавить свой файл
1
Мониторинг в дистанционном обучении.


Системы мониторинга в образовании

О различных системах мониторинга в образовании мы имеем достаточно фрагментарные, отрывочные сведения. На сегодняшний день есть все основания говорить о существовании локальных систем мониторинга, не только в нашей стране но в других странах мира. Попробуем на основе имеющейся информации посмотреть реальное состояние, сгруппировав реальные системы по нескольким основаниям.

Первая группа это информационный мониторинг, связанный в непосредственным накоплением и структуризацией информации. Это системы мониторинга законодательной базы управления образованием, мониторинг средств массовой информации об образовании и другие.

Второе направление - это система мониторинга развития знаний учащихся, разработанная СИТО Национальным институтом по оценке достижений в области образования Голландии. Вот как сотрудники СИТО характеризуют созданную ими систему мониторинга: Во второй половине 80-х годов в Голландскую систему образования было введено понятие Система мониторинга развития знаний учащихся. С момента введения, всего несколько лет тому назад, это понятие распространилось очень быстро. Мониторинговые системы были предложены для использования в начальном образовании. В сущности, системы мониторинга за знаниями учащихся были разработаны с целью точной регистрации образовательного прогресса каждого учащегося и для отслеживания влияния поведения учителя. В общем смысле Система мониторинга знаний учащихся может быть определена, как выбор инструментов оценки, позволяющий осуществлять долговременную оценку объема знаний, как отдельных учащихся, так и групп учащихся. Долговременная оценка означает регистрацию прогресса за более длительный срок, т.е. несколько раз в год. Понятие мониторинговых систем знаний учащихся также определяется, как конкретное средство для определения расхождений между прогрессом и целями, установленными школой, и для регистрации этого прогресса.

Такого рода система для начального образования включает в себя следующие элементы:


Индикация долговременных учебных линий, в принципе охватывающих восемь лет начального образования, с конкретными конечными или промежуточными целями для различных учебных областей;

Конкретный набор тестовых инструментов, система регистрации прогресса для учащегося и, если необходимо, для группы;

Индикация стандартов для оценки прогресса.

Два или три раза в год каждый компонент материала учебного предмета должен быть поверхностно проверен для решения следующих вопросов:

Решены ли образовательные цели;

Демонстрирует ли учащийся удовлетворительное развитие по сравнению с предыдущими проверками;

Демонстрирует ли учащийся удовлетворительное развитие по сравнению с учащимися своей группы или своего возраста;

Существуют ли показания для усовершенствования работы учителя;

Отвечает ли материал предмета уровню учащегося;

Каковы сильные и слабые места учащегося.

Система мониторинга знаний учащихся имеет целью долговременную оценку, что создает ограничения для диагностики и исправления ошибок. В связи с тем, что система мониторинга охватывает значительные области материала предмета, может быть получена только общая информация о провалах в знаниях учащихся.

Обоснование, разработка и использование системы мониторинга знаний учащихся является дорогостоящим мероприятием и требует значительных временных затрат, но результаты ее использования дают очень полезную информацию об эффективности образования.

Таким образом, данная система мониторинга построена с использованием модели цель-результат с учетом процесса обучения. Основаниями для сравнения служат как динамические характеристики, так и сравнительные результаты относительно группы или возраста. В качестве объекта предусматривается изучение знаний отдельного ученика с возможностью распространения полученных результатов на учебную группу. Результаты мониторинга предназначены для использования как для принятия тактических управленческих решений по коррекции процесса образования, так и для выработки стратегических решений, а в качестве пользователей информации выступают педагоги и администраторы.


Иная система мониторинга реализована в Англии. Она представлена в работе Вилмса «Мониторинг эффективности работы начальных школ». Эта система мониторинга построена с использованием модели вход-выход. В качестве входа рассмотрены характеристики ученика, такие, как социально-экономический статус семьи и способности. Для получения интегрального результата разработчики вводят понятие «эффект влияния школы», имея в виду различия между средним уровнем деятельности школы и определенным стандартом, с учетом статистической корректировки в отношении количества и состава учащихся конкретной школы. Каждая школа в системе образования оказывает свой собственный уникальный эффект на результаты работы учеников. Таким образом, это эффект, связанный с обучением в конкретной школе.

Для нас представляется в этом подходе важным два обстоятельства. Во-первых, в качестве основания для сравнения Вилмс предлагает первый вариант стандарт или норму, средняя для района, города или всей страны, с которой сравнивается школа, или второй вариант когда в качестве отсчета принимаются результаты работы школы предыдущего года. При этом авторы большое внимание уделяют тому, что итоги сравнения верны только в том случае, если состав учащихся будет сравним со средним для выбранного района. Таким образом, автор фиксирует некорректность и ошибочность сравнения между собой эффекта влияния школы для образовательных учреждений с различным контингентом.

В качестве объекта предусматривается изучение образовательного учреждения целиком. Результаты мониторинга предназначены для выработки стратегических решений и информирования родительской общественности, а в качестве пользователей информации выступают администраторы и родители. Этот вид рассмотренной нами системы мониторинга отличается от предыдущего по целому ряду показателей целевой направленности, пользователям, основаниям для сравнения, учетом факторов, не зависящих от образовательного учреждения, однако и он обладает всеми признаками полноценной системы мониторинга.


Достаточно широкое распространение получают системы мониторинга на уровне образовательного учреждения. В тезисах докладов, посвященных тестированию на региональной конференции в Екатеринбурга, содержится 7 докладов, которые представляют различные системы мониторинга, реализованные в Свердловской области.

Эта работа интересна тем, что позволяет проанализировать уровень развития мониторинга в рамках образовательных учреждений. Часть из них можно назвать зрелым мониторингом, обладающим большинством его признаков. В первую очередь, к таким работам можно отнести «Мониторинг в условиях общеобразовательного учреждения» А.Б.Вилохин, НГПИ, Нижний Тагил, «Тестовый мониторинг учебно-воспитательного процесса в младших и средних классах школы» А.П.Исаева, Г.Д.Сигеева Екатеринбург. Первый реализует модель вход-выход, второй имеет значительную экспериментальную нагрузку, оба построены на четких моделях с обоснованием, имеющие выход на управление, предусматривается валидизация получаемых результатов.

Обращает на себя внимание и содержащаяся в большинстве систем мониторинга большая научная, экспериментальная составляющая. Вероятно, недостатки экспериментов в педагогике дают себя знать. С помощью мониторинга делаются попытки ответить на вопросы об эффективности той или иной технологии обучения, выделения факторов влияющих на обучение, доказательства зависимости квалификации педагога и результатов обучения учащихся и другие.

Вместе с тем, виден и ряд существенных недостатков, основные из которых:

Использование инструментария, особенно психологического, не по назначению (как можно с помощью Векслера отследить состояние учебно-воспитательного процесса в школе?)

Некорректные выводы, которые вызваны отсутствием анализа конкурентных правдоподобных гипотез, факторов, смещающих оценки (например, из факта корреляции уровня подготовки педагога и его учащихся делается вывод о том, что уровень подготовки учащихся можно использовать для аттестации учащихся, в качестве правдоподобной конкурентной гипотезы можно предложить объяснение наличия корреляции социальной стратификацией школ как внутри города, так и между городскими и сельскими образовательными системами)


Преувеличение значения тестирования, особенно компьютерного варианта, и незначительная оценка социальных результатов.

Отсутствие хоть каких-то стандартов, даже на уровне обработки результатов - каждая система мониторинга использует средства и методы, не совместимые с другими.

Использование устаревших, некорректных методик для оценки состояния образовательных систем, попытки совместить разнородные методики и др.

Можно отметить работу Н.Вербицкой и В.Бодрякова Мониторинг результативности учебного процесса. Идея этого мониторинга заключается в отслеживании результатов учебного процесса по четвертям на основе школьных оценок с возможностью использования срезовых работ. Итоговая оценка выставляется не по предметам, а по областям, что, по мнению авторов, позволяет выявить и оценить инвариантную часть учебного плана. Основным недостатком этого типа мониторинга является использование в качестве независимых параметров школьных оценок как прямого показателя эффективности учебного процесса. Школьная оценка, кроме собственно оценочной функции, несет мотивировочную, поощрительную нагрузку, поэтому хорошо известная динамика оценок школьного балла с минимумом в третьей четверти отражает не ?рывок эффективности обучения в четвертой, а перераспределение внутриоценочных нагрузок.

Можно отметить и предложение по организации мониторинга, высказанное Аванесовым В.С., который под мониторингом предлагает понимать форму технически оснащенного текущего отслеживания состава, уровня и структуры приобретаемых знаний.

Рассматривая системы мониторинга, нельзя обойти вниманием и те работы, которые были выполнены в рамках программы «Дети Чернобыля» по созданию системы мониторинга.

В рамках этой программы было выбрано разделение мониторинга по используемым методикам, поэтому была предпринята попытка построения независимых систем мониторинга педагогического, психологического и социологического. Правда, как показал опыт реализации, наиболее эффективна система мониторинга, которая объединяет эти три системы в единое целое.


Достаточно подробное изучение понятия «педагогический мониторинг» и его специфичное определение проведено группой исследователей под руководством Е.И.Исаева в Тульском государственном педагогическом институте.

Ими определена предметная область сфера образования. Дано определение мониторинга применительно к загрязненным территориям:

Мониторинг многоуровневая иерархическая система обследования детей в районах Чернобыльского загрязнения. На федеральном уровне выявляются тенденции и стратегии развития образовательного процесса; на региональном определяется стратегия и тактика регионализации непрерывного образовательного процесса, на районном разрабатывается модель образовательного процесса; на внутришкольном выстраивается личностно-ориентированый образовательный процесс.

Определены цели и задачи мониторинга выявление на основе данных медицинского, социологического и психологического обследований педагогических средств стимулирования развития личности школьников, адекватных условиям их жизнедеятельности; определение тенденции во взаимодействии и взаимном влиянии различных факторов в образовательном процессе и выявление педагогического статуса ученика в образовательном процессе школы, а также динамики его развития.

Определены процессы, которые должны быть отслежены, образовательные, организация научных исследований, профессиональная подготовка и управление образованием.

Определено целевое назначение результатов данные должны стать основой при отборе содержания образования, форм и методов, средств учебно-воспитательного процесса.

Определен характер информации это, прежде всего, информация о функциональном состоянии учащихся, их работоспособности, утомляемости, частоте заболеваемости, активности, состоянии эмоционально-волевой сферы.

Построена модель мониторинга, которая включала в себя:

- изучение реальных учебных возможностей школьника;

- изучение качества знаний по русскому языку и математике;


- выявление типичных дидактических причин слабой успеваемости школьников;

- выявление удовлетворенности учащимися образовательным процессом;

- изучение характера внутришкольных коммуникаций;

- анализ типологии дидактических средств, используемых учителем;

- рациональность режима функционирования школы;

- характеристика педагогического мастерства учителя.

Высокий уровень теоретической проработки не был в полной мере реализован ни в рамках программы «Помощь» , ни вне ее. К основным причинам можно отнести следующие:

1. Противоречие между характером собираемой информации и уровнем ее обобщения: показатели, выбранные к измерению, ориентированы на использование на личностном уровне или, в обобщенной форме, на уровне образовательного учреждения, попытки обобщения этих показателей не имеют смысла;

2. Практическая невозможность реализации иерархической системы обобщения, поскольку она требует значительного ресурсного обеспечения: финансового, материального, кадрового, информационного;

3. Ориентация в проведении исследований на управление образовательным учреждением, а не на органы управления образованием, сузили социальную базу потенциальных активных пользователей и их статус в иерархии принятия решений, вследствие чего уровень принятия решений был невысок, что в свою очередь не давало возможности решить те проблем, которые выявлялись в результате обследования;

4. Слабая координация действий исполнителей и отсутствие системы распространения полученной информации;

5. Эта система мониторинга предполагала объединение функций собственно информационно аналитических и управленческих, предполагая возможность получения на выходе управленческого решения, что могло привести к отторжению этого решения системой управления;

6. Некоторые просчеты в практике реализации.

Развитие мониторинга в рамках программы «Дети Чернобыля» имело свои особенности, отражая общие тенденции развития подходов к оценке образовательных систем. Анализируя тематику работ в рамках программы мониторинга, можно выделить следующие направления развития:


1. От исследований к обследованиям, то есть от работ, имеющих целью получение нового знания или подтверждение тех или иных гипотез, к работам практико-ориентированным, нацеленным на принятие управленческих решений.

2. От разрозненных, слабо связанных тематически работ в рамках трех раздельных направлений педагогического, социологического и психологического к мониторингу, объединенному на начальном этапе в рамках управления, а в дальнейшем тематически и инструментально.

3. От локальных работ, посвященных отдельным, иногда достаточно частным, вопросам образования, к комплексному описанию образовательной системы.

4. От многообразия и неопределенности адресатов результатов обследования к их конкретизации и четкой ориентированности.

В настоящее время система мониторинга в раках программы «Дети Чернобыля» развернута в 14 областях европейской части России, репрезентирует региональные образовательные системы. Она построена с использованием модели вход-выход с учетом особенностей региональных систем образования. Основаниями для сравнения служат как динамические характеристики, так и сравнительные результаты относительно региона или группы образовательных учреждений. В качестве объекта предусматривает изучение образовательных учреждений, с возможностью распространения полученных результатов на группы образовательных учреждений (загрязненные-чистые зоны, город-село и т.д.).

Отличием мониторинга можно считать разнесение функций сбора информации и ее анализа по различным исполнителям, независимый анализ результатов несколькими аналитическими группами, имеющими различную профессиональную направленность, двухэтапная валидизация полученных результатов здравым смыслом и некоторые другие.

Результаты мониторинга предназначены для выработки стратегических решений., а в качестве пользователей информации выступают региональные и федеральные органы управления образованием.

Классификация мониторинга в образовании


Рассмотрев особенности сферы образования с точки зрения управления и современных тенденций его информационного обслуживания, можно предложить несколько гипотетическую систему классификации мониторинга в образовании. Гипотетичность представленной классификации определяется тем, что части представленных видов на сегодняшний день не существует, однако с достаточно большой долей вероятности можно предположить, что по прошествии некоторого времени они могут быть реализованы.

 

1. Информационный сбор, накопление, систематизация и, возможно, распространение информации, не предусматривает проведение специально организованного обследования на этапе сбора информации.

Базовый (фоновый, бдительности, предусмотрительности) выявление новых проблем и опасностей до того, как они станут осознаваемыми на уровне управления. Аналог фонового мониторинга в экологии, когда по небольшому количеству индикаторов производится постоянное отслеживание состояния всей системы с целью выявления отклонений, которые могут представлять опасность.

Проблемный выявление закономерностей, процессов, опасностей, тех проблем, которые известны и насущны с точки зрения управления (осуществляется по заказу органа управления). Тематика данного мониторинга достаточно динамична. Наряду с проблемами, носящими константный характер и связанными с функционированием образования (например: школьное питание, летний отдых учащихся и т.д.), может существовать целый ряд тем, которые просто закрываются после реализации мониторинга (например: формирование системы аттестации учащихся, оказание платных услуг в образовательных учреждениях). После отработки соответствующих нормативных документов, обследования по этим темам прекращаются или проводятся значительно реже, чем на этапе разработки.

Управленческий отслеживание и оценка эффективности, последствий и вторичных эффектов, принятых в области управления решения. Для образования этот вид мониторинга может быть расширен за счет наличия проблемы определения эффекта влияния, когда задачей мониторинга становится построение систем оценок для определения динамики и возможности влияния внешних или внутренних факторов для наблюдаемых эффектов.


 

2. Возможна классификация по используемым для проведения мониторинга средствам:

- педагогический,

- социологический,

- психологический,

- медицинский,

- экономический,

- демографический.

Как правило, для того или иного мониторинга используется набор средств. Например, для мониторинга отсева из образовательных учреждений, кроме педагогических и социологических средств, большое значение имели демографические, которые позволили соотнести миграционные процессы с процессами движения учащихся, и только такое сочетание позволило получить достаточно объективную картину.

 

3. Возможна классификация по иерархии систем управления:

- школьный,

- районный,

- областной (региональный),

- федеральный.

Эти виды мониторинга имеют существенные различия не только в технологии организации и проведения, но и с точки зрения представления и распространения результатов, способов принятия и реализации управленческих решений по их результатам.

 

4. Представляется чрезвычайно важной классификация по основаниям экспертизы:

Динамическая, когда в качестве основания для экспертизы служат данные о динамике развития того или иного объекта, явления или показателя v например, количество педагогов, готовых уйти из учреждений образования в районе составляет:

 


1994

1995

1996


1997

12%

18%

19%

26%

 

Сравнительная, когда в качестве основания для экспертизы выбираются результаты идентичного обследования других образовательных систем. Например:

 

 

Россия

СПб

Гимназии

Гимназия ¦ 122

Количество педагогов, готовых уйти из образования

35

22

8

18

 

Комплексная, когда используются несколько оснований для экспертизы.

Безосновная, когда для анализа используются результаты, полученные в одном исследовании. Вряд ли такой способ может быть рассмотрен как корректный в рамках мониторинга, но, тем не менее, он существует, порождая массу ошибок и недоразумений.

 

6. Возможна классификация мониторинга и по типу выявляемой эффективности образовательной системы. Данное разделение может показаться достаточно условным, однако оно несет в себе специфичность используемых средств и организации обследований.


Социальной сферы

Учебной сферы

Особенности построения систем мониторинга в образовании

Подводя итоги, сделаем два замечания об особенностях мониторинга в образовании, которых мы не коснулись.

Замечание1. О ценности ненаучного знания для мониторинга. В отличие от медицинского обследования, когда мнение самого больного не представляется столь существенным, мониторинг в образовании представляется неполным без мнения самого образовательного учреждения или образовательной системы, которое выражают руководители. Действительно, в результате обследования в образовании мы получаем набор некоторых фактов, явлений или, в лучшем случае, тенденций. Выявление причин этих явлений, взаимосвязь фактов и тенденций в такой сложной системе как образовательная дело достаточно сложное. Мало того, сама возможность такого выявления может быть поставлена под сомнение (попытаемся ответить на вопрос, какими факторами определяется хорошая успеваемость ученика? Успевает он благодаря конкретной школе или вопреки? Какие отсроченные результаты работы школы можно точно выделить и определить?). Таким образом, между этапом получения данных обследования и их анализом необходимо предусмотреть еще один этап в проведении мониторинга. Предположим, что это должно быть обсуждение - обсуждение результатов с администрацией, руководителями тех образовательных систем, которые участвуют в мониторинге. Необходимость такого этапа диктуется и еще одним требованием дальнейшим распространением полученной информации и ее использованием в практике управления, поскольку принятие того или иного решения по результатам возможно только в том случае, если информация попадает к лицу, принимающему решения. Само по себе обсуждение нельзя назвать научным способом получения информации, однако для мониторинга его ценность представляется достаточно очевидной.

Замечание 2. Распространение информации. Особое значение для мониторинга в образовании имеют вопросы распространения информации. Не отрицая важности такого инструмента влияния на принятие решений как формирование общественного мнения, информирование социума, тем не менее, нельзя признать их основными в мониторинге в образовании. Четкая ориентация на систему управления должна предусматривать и адекватную систему распространения информации, которая бы учитывала не только территориально-национальные особенности, но и индивидуальные отличия руководителей.


Разговор о распространении информации был бы неполным без тех ограничений на распространение информации, которые могут и должны быть наложены на результаты. Полный и открытый доступ к информации вряд ли целесообразен. Приведем только два довода. Во-первых, результаты, характеризующие ту или иную образовательную систему, попав в руки руководителей более высокого уровня, могут быть использованы ей во вред.

Современное состояние образования говорит о том, что если такое происходит, то доверие между исследователем и респондентами нарушается, и в таких условиях получение достоверных данных в дальнейшем чрезвычайно затрудняется.

Во-вторых, часть информации может быть использована недостаточно грамотно на уровне обследуемой образовательной единицы в силу сложности связей и наличия компенсаторных воздействий. В этом случае, информация должна быть закрыта от неподготовленных пользователей.

Таким образом, мониторинг в образовании должен предусматривать определенную систему распространения информации, достаточно сложную и вместе с тем надежную.

Подводя итог рассмотрению особенностей и возможностей построения систем мониторинга в образовании можно сказать следующее:

1.Развитие образования в России приводит к появлению групп пользователей объективной информации, что дает основание надеяться на широкую востребованность результатов мониторинга.

2.Сопротивление и неприятие результатов мониторинга объясняется не только субъективным фактором, но и объективным v невозможностью реализации на современном этапе развития образования управленческих решений, принятых на основе объективных данных.

3.Изменение источников получения информации, произошедшее за последние годы, тем не менее, не решило проблемы информационного обслуживания управления. Решения принимаются на основе неполной, несвоевременной, некачественной информации и почти всегда в условиях ее дефицита, на фоне увеличения ее количества.


4.Можно выделить несколько основных направлений совершенствования информационного обслуживания систематизация информации, повышение ее оперативности, объективности и доступности, которые могут быть решены с использованием мониторинга.

5.Необходимо разнесение контролирующих и информационно-методических составляющих компонентов мониторинга, отделение оценок образовательной системы от личности руководителя.

6.Системы мониторинга могут быть построены в рамках различных подходов к оценке работы образовательных систем, основные из которых должны учитывают вклад, процесс и результат. Модели, которые предполагают изучение только результата или процесса и построены на изучении отношения цель-результат, могут приводить к ошибочным заключениям.

7.Общее состояние экспериментирования в образовании не дает оснований надеяться на поддержку педагогической науки в деле построения системы мониторинга, скорее наоборот, сформированное в последние годы подходы и отношения к экспериментальной работе могут тормозить развитие мониторинга.

8.Сегодня построены и реализованы полноценные системы мониторинга в образовании в разных странах. Единство подходов в различных странах дают основание утверждать, что мониторинг в образовании является объективной потребностью развития любой системы образования.

9.Для построения систем мониторинга могут быть использованы различные модели образовательных систем или их компонентов

10.Для систем образования характерна сложность каузального вывода, которая провоцируется как вероятностным характером результата деятельности образовательного учреждения, так и наличием внешних факторов, которые оказывают влияние на показатели эффективности деятельности образовательного учреждения. Ситуация усугубляется тем, что разделение факторов по группам - школа определяет, школа имеет возможность повлиять и школа не может оказать влияние - зависит от тех условий, в которых осуществляет свою деятельность образовательное учреждение и отличается динамичностью.


11.Существуют реальные и существенные различия в подходах к построению системы мониторинга в отечественной и зарубежной практике, эти отличия заключаются в основном в различном толковании понятий эффективность и результативность работы школы, различных подходов к оценке возможностей образовательного учреждения и ответственности за результаты деятельности.

Мониторинг дистанционного курса

Мониторинг курса дистанционного обучения включает следующее:

- Контроль учебной деятельности учащихся на всех этапах работы над курсом (входной контроль, промежуточный, итоговый и т.д.);

- Отслеживание внутригрупповой динамики;

- Контроль качества учебных материалов и их своевременное обновление;

- Осуществление педагогической оценки курса в целом (как текущей, так и итоговой) в целях усовершенствования курса в дальнейшем.


Организация эффективного мониторинга дистанционного курса позволяет своевременно усовершенствовать курс, обеспечивая актуальность всех представленных в Интернет учебных материалов, выбирать оптимальные формы и методы обучения, строить учебный процесс, в центре которого находился бы не электронный учебник, а учащийся. Если преподаватель контролирует деятельность учащихся и, вовремя получив обратную связь, реагирует на те или иные процессы, происходящие в учебной группе, это безусловно будет способствовать сохранению высокого уровня мотивации у учащихся на протяжении всего курса. Также в этих условиях, отслеживая внутригрупповую динамику, преподаватель сам будет лучше ориентироваться в том, какие межличностные процессы протекают внутри группы учащихся, как это влияет на качество обучения, удалось ли сформировать виртуальный коллектив учащихся, не испытывают ли они проблем в общении друг с другом и т.д.

Мониторинг дистанционного курса осуществляется в следующих основных формах:

- анкетирование учащихся,

- тестирование,


- индивидуальные и групповые интервью,

- анализ отчетных работ, представленных учащимися,

- анализ материалов телеконференций, записей чатов и видеоконференций,

- анализ статистической информации по работе учащихся с конкретным сайтом Интернет (например, на котором находится электронный учебник).

Большинство дистанционных курсов предлагают учащимся работу с электронным учебником, расположенным вместе с другими материалами (например, архивами учебных материалов, инструкциями, руководствами и пр.) на Web-сайте учебного заведения. Преподаватель, проводя мониторинг учебного процесса, должен хорошо представлять основные требования к качеству учебных материалов, представленных в Интернет, например, провести педагогическую оценку качества образовательного Web-сайта.

Для организации эффективной самостоятельной творческой работы студентов с учебником, этот учебник должен сочетать в себе лучшие (прежде всего с точки зрения содержания, методического аппарата и т.д.) черты традиционных учебников, а также черты, присущие современным мультимедийным интерактивным компьютерным программам учебного назначения - электронным энциклопедиям, учебникам, справочникам, тренажерам, моделям и т.п.