litceysel.ru
добавить свой файл
1
С.В. Агузарова


ассистент кафедры

иностранных языков ВИУ


Некоторые принципы составления лингводидактических тестов


В классической тестологии обычно указываются следующие основные показатели качества тестов: 1) валидность; 2) надежность, 3) практичность. Под валидностью, называемой иногда действенностью, пригодностью, адекватностью понимается ответ на вопросы: измеряет ли данный тест действительно то, что хотели его составители; представлены ли в данном тесте все важнейшие элементы содержания программы, учебника; насколько хорошо результаты теста предсказывают, например, успешность будущей учебы; насколько привлекательными, прагматичными считаются задания теста тестируемыми, преподавателями и администраторами.

Важным количественным показателем качества является надежность, под которой понимается определенная стабильность и устойчивость результатов теста. Основные факторы, влияющие на надежность теста:

1) репрезентативная выборка объектов тестирования, т. е. максимально возможная покрываемость материала программы и репрезентативная выборка контингента тестируемых, т. е. чтобы были представлены как более сильная, так и более слабая части контингента, для которого предназначен тест.

2) количество заданий. Чем больше количество заданий, тем надежнее тест.

3) трудность заданий. Более трудный тест обычно надежнее легкого при условии, что все задания теста имеют достаточную дифференцирующую способность. Важнее, однако, иметь в тесте равномерное распределение заданий по их трудности.

4) степень однородности уровня подготовки тестируемых- при однородном контингенте надежность теста снижается, особенно в том случае, если тест труднее оптимального (50-60% правильных ответов).

5) дифференцирующая способность заданий теста. Чем она выше в среднем по тесту тем надежнее тест.

6) стабильность внешних условий тестирования- устных инструкций, мотиваций, времени отводимого на тестирование.


7) стабильность и стандартизация оценки субъективных речевых тестов.

Под практичностью теста понимают следующие его качества:

1) доступность инструкций теста и содержания заданий для понимания тестируемыми

2) сравнительную простоту организации тестирования

3) возможность проведения теста в обычных для школы или вуза условиях

4) сравнительную простоту проверки опросных листов, подсчета результатов теста и подведения итогов.

Для максимально эффективной реализации всех функций теста следует соблюдать следующие основные принципы:

1) составление и применение только таких тестов, которые достаточно качественны, надежны, валидны с точки зрения целей и задач тестирования и учебно-воспитательной работы.

2) соблюдение обычных процедур разработки, проведения и обработки результатов тестов, изложенных в литературе.

3) соблюдение оптимального соотношения тестовых и нетестовых форм контроля, т. е. использование тестов только тогда, когда это оправдано.

4) соблюдение общедидактических принципов контроля- регулярности, систематичности, активности, сознательности и др. при организации тестового контроля.

Нарушение принципов последовательности, целенаправленности, систематичности, взаимосвязи между уровнями тестирования приводит к случайным, выборочным результатам, не дает объективной оценки знаний учащихся. Любые тесты должны быть положительно-результативными. Их результаты должны приводить к улучшению методики преподавания, совершенствованию учебного плана и материала.

В специальной литературе планирование тестирования освещено поверхностно, только у Д. Харриса можно найти описание планирования некоторых этапов языковых тестов. Видимо предполагается, что при тестировании применимы общие принципы планирования, при которых учитываются наличные ресурсы, объемы работы, производительность труда, сроки и т. п. Однако лингводидактическое тестирование имеет свои специфические особенности. Планирование тестирования зависит во многом от того, разрабатывается ли новый тест, дополняется (перерабатывается) ли имеющийся или будет использован готовый тест.


Планирование лингводидактического тестирования состоит из следующих действий:

1) определение общих и конкретных целей и функций составляемого теста, т. е. будет ли тест составляться для контроля текущей, промежуточной или итоговой успеваемости, для установления исходного уровня обученности или для исследовательских целей.

2) определение общего характера теста - языковой, речевой или комбинированный и определение объектов тестирования (лексика, грамматика, чтение и др.)

3) определение ресурсов рабочей силы и времени - на составление, проведение (аудиторное время), обработку данных для уточнения степени стандартизации составляемого теста.

4) уточнение соотношения составляемого теста с применяемой методикой обучения, программными целями и задачами рабочей программы, а также с существующей системой контроля для определения степени коммуникативности теста.

5) анализ рабочей программы, учебных материалов для определения объектов тестирования, объема тестируемого языкового материала и перечня проверяемых навыков и умений.

6) выбор техники тестирования в соответствии с объектами тестирования.

7) уточнение состава разрабатываемого теста - количество заданий в частях.

Под заданием теста понимается любой стимул, предназначенный для возбуждения измеряемых речевых действий тестируемого, позволяющих оценить его лингвистическую и коммуникативную компетенцию. Каждая группа (часть, субтест) однотипных заданий обычно имеет заголовок, инструкцию и пример выполнения заданий.

Задания языковых тестов должны отвечать следующим основным требованиям:


  1. соответствие формы и характера заданий теста целям и объектам тестирования, а так же пройденному языковому материалу для обеспечения максимально возможной валидности теста.
  2. доступность по форме и содержанию, а также посильность по трудности заданий для данного контингента тестируемых (трудность заданий в пределах от 30-35% до 80-85%).


  3. уверенная и стабильная дифференциация более сильной и более слабой частей контингента по результату данного задания для обеспечения надежности теста.

  4. соблюдение в языковых тестах следующего принципа: в одном задании только одна трудность – та, которая подлежит проверке в данном задании.

  5. наличие обучающей ценности, ситуативности и проблемности задания, основанного на интересном содержании

  6. учет оптимальной средней длины заданий(9+/- 1 слово без пропуска) в основе (тексте) задания.

  7. соответствие лингвистического уровня заданий теста уровню усвоения языкового материала; рецептивное и репродуктивное владение контролируется в основном на уровне фонем, слов, словосочетаний и предложений.

  8. наличие сбалансированных отвлекающих ответов при использовании техники множественного выбора.

Требования к заданиям речевых тестов еще не достаточно разработаны. В литературе приводят следующие требования к контролю:

  1. нацеленность на речевое умение, а не на знания о языке

  2. одноязычный, устный, творческий и скрытый характер

  3. интересное содержание и привлекательная форма выполнения, нацеленность больше на оценку, а не на отметку.

Главное требование- обеспечение максимально возможной степени коммуникативности; непосредственный, интерактивный характер речевых заданий, направляемых на контекстуальные значения высказываний в аутентичных ситуациях общения, охват максимального количества компонентов коммуникативной компетенции и широкое использование аутентичного материала. Дополнительно к указанным отметим еще требования функциональности (соответствие характера и содержания заданий потребностям и интересам тестируемого) и познавательной ценности (новизна, творческий характер) тематики и выполняемых речевых действий в заданиях речевых тестов.

Задания тестов весьма разнообразны и для их классификации можно исходить из следующих признаков:


  1. форма предъявления стимула - наглядная (динамическое или статическое изображение) или вербальная - внеконтекстная или контекстная.

  2. форма представления ответа - наглядная, цифро-буквенная, вербальная.

  3. характер ответа по подсчету результатов - объективный, полуобъективный (короткий однозначный ответ) или субъективный.

  4. модальность стимула и ответа (могут не совпадать)- устная и письменная.

  5. используемый в стимуле и в ответе язык (могут не совпадать) родной или изучаемый иностранный язык.

Основные типы заданий в основном заимствованы у Л. В. Банкевича1. Приведем их краткое описание:

  1. Завершение (чаще заполнение пропусков в предложении или в тексте - тест типа клоуз) – наиболее распространенный тип заданий. Используется в основном для проверки лексико-грамматических навыков чтения и аудирования. Стимул задания этого типа называется основой или текстом. Текст задания может быть написан самим составителем, его можно выбрать среди пройденного материала или среди непройденного, но аналогичного, а также взять из аутентичного материала (книги, учебника, газеты, журналы, словари).

Стимул лексического задания может создать такую тестовую ситуацию, которая подсказывает слово, которым нужно завершить основу (заполнить пропуск). Однако довольно широко применяются и такие задания, в которых только сопоставление основы с вариантами ответов позволяет выбрать среди них правильный. Р. Ладо считает последнюю возможность лучшей.

Рассмотрим подробнее вопрос о характере отвлекающих ответов. Х. Гудрич провел экспериментальное исследование привлекательности (процент выбора тестируемыми) и дифференцирующей способности следующих типов отвлекающих (по порядку эффективности):

  1. контекстуальная отвлекающая

  2. антоним правильного ответа
  3. неправильный синоним (в данном контексте)


  4. аффиксальная отвлекающая (к правильному ответу прибавлен или отнят от него префикс или суффикс)

  5. фонетическо-графически интерферирующая с родным отвлекающая

  6. графическая отвлекающая(1-2 буквы прибавлены к правильному ответу или отняты от него)

  7. клоуз - отвлекающая (синтаксически-семантическая отвлекающая)

  8. случайное слово.

Р. Ладо советует, чтобы один вариант ответа был отвлекающим по форме (напоминал бы форму правильного ответа), другой вариант ответа-отвлекающим по контексту и третий - отвлекающим по значению (многозначным словом). Отвлекающие должны иметь примерно одинаковые длину и трудность, а также область знаний с правильным вариантом ответа. Все отвлекающие и правильный ответ должны содержать одну и туже часть речи, поскольку все варианты ответов взаимосвязаны тем, что тестируемый сравнивает их в ходе поиска правильного ответа. Важно учесть еще и оптимальность семантического расстояния между вариантами ответов, т. е. они должны быть в равной степени детальными и обобщенными, как отмечает Дж. Кларк. Чтобы исключить «ловушки» для более сильных тестируемых, лучше искать отвлекающие с достаточно большим семантическим расстоянием от правильного ответа. Как следует из исследования Х. Гудрича, далекая отвлекающая (максимальное семантическое расстояние), используемая для слепого угадывания, наиболее эффективна и ее следует использовать в последнюю очередь.

Синоним (парафраза) является микроконтекстным лексическим заданием, в котором тестируемому следует найти синоним или парафразу среди вариантов ответа.

Двойной (альтернативный) выбор. Для этого задания характерно сравнительно большое значение смыслового содержания основы-текста задания. При внеконтекстной семантизации используется сравнение синонимичных или антонимичных пар слов (ответы типа «одинаковое - различное значение»).

В случае микроконтекстных заданий используют ответы типа « правильно-неправильно». Недостатком этого типа является большая вероятность случайного угадывания.


Группировками называются внеконтекстные лексические задания, в которых правильный вариант ответа входит в группу слов, являющуюся заданием. Л.В. Банкевич приводит три основных действия с группировками:

1) исключение того члена группировки, который обозначает нечто другое, чем все остальные члены

2) обобщение группировки, т. е. обобщение смысловых отношений между словами и нахождение родового слова

3) расположение по порядку, при котором за основу принимается какой- либо признак естественного ряда

4) сопоставление лексических единиц - каждая Л Е может иметь свои 3-5 сопоставляемых вариантов ответов или общие с другими заданиями варианты ответов (сопоставление списков или столбцов Л Е на родном и иностранном языках). Это самый экономичный тип заданий, имея ввиду этапы составления, проведения и обработки результатов теста. Для уменьшения времени на механическое просматривание – поиск правильного ответа в длинном списке - столбцов ответов - следует либо ограничиться 7-8 вариантами ответов (на 4-5 заданий), либо привести варианты ответов в алфавитном порядке, известив тестируемых об этом в инструкции.

Интерпретация является наиболее коммуникативным типом заданий языкового типа и заключается в сопоставлении частей (слов, словосочетаний, предложений) речевого акта, при котором следует с помощью интерпретации и понимания смысла высказываний соединить разделенные в задании и вариантах ответов части. Этот тип заданий можно использовать на более продвинутых этапах обучения.2

В настоящее время нет необходимости убеждать кого-либо в пользе тестов, как средства контроля усвоения лексических и грамматических единиц и владения некоторыми видами речевой деятельности (чтения, аудирования). В известных условиях это средство контроля является оптимальным по надежности и экономичности. Иногда тесты наделяют такими преимуществами, как возможность проконтролировать одновременно всю группу учащихся, применяя при этом одинаковый для всех учебный материал и одинаковые для всех условия (с точки зрения времени и места). Указанные качества, однако, проявляются только в случае сравнения тестов с индивидуальным устным опросом, который не является самым эффективным видом нетестового контроля. Например, проверку лексики, грамматики, чтения можно организовать как с помощью тестов, так и с помощью письменной контрольной работы с нетестовыми заданиями. Последняя имеет все вышеуказанные качества тестов.


Бесспорными преимуществами тестов перед нетестовыми формами контроля являются:


  1. более высокое качество заданий благодаря их предварительной проверкезаметно большая надежность теста благодаря выборочному способу ответов, что обеспечивает объективность подсчета результатов теста, а также за счет возможности привлечения большего количества заданий за одинаковое время

  2. экономия аудиторного времени за счет компактной письменной формы заданий языкового теста, что дает возможность включения в тест большого количества заданий

  3. экономичность проверки ответных листов, т. е. возможность проверки ответов тестируемых на задания с выборочными ответами с помощью специальных трафаретов и ЭВМ.

  4. возможность стандартизации процедур проведения тестов и применения статистического анализа результатов языковых тестов

  5. более положительная мотивация и отношение тестируемых к тестовым формам контроля, т. к. исключена роль субъективной оценки

  6. сравнительная легкость перевода языковых и речевых тестов на Э В М, что может дать этим тестам дополнительные преимущества

  7. удобство массового использования языковых тестов

  8. лучшая воспроизводимость и репрезентативность результатов тестов благодаря однообразной (стандартной) процедуре тестирования

Тесты хорошая, эффективная форма текущего контроля, позволяющая в любое время судить о языковом «климате» в данном коллективе учащихся и соответственно принимать меры к реорганизации языкового курса в целях перестройки методики обучения, улучшения языкового материала.3

Недостатки и отрицательные стороны применения тестов связаны с некоторыми предубеждениями и недопониманием свойств тестов, среди которых отметим следующие.

Считается, что тесты вообще - это нечто сомнительное, некачественное, загадочное, а собственно лингводидактические тесты - это обычное контрольное задание особой формы и улучшенного качества, пригодность которого для данных условий зависит от его составителей и пользователей. Иногда тестами называют обычный перевод или сочинение. Часто считается, что тест легче, чем аналогичное нетестовое задание из-за возможности подсказки, которая имеет место в случае выборочных ответов на тестовое задание.


Иногда, наоборот, имеет место абсолютизация и идеализация значения и положительных качеств теста. Отметим, что тесты имеют ряд недостатков, с которыми следует считаться при целенаправленном сочетании тестовых и нетестовых форм контроля.

Следующие недостатки связаны с использованием выборочных ответов:


  1. угадывание правильного ответа, как по случайным, так и по формальным или другим, не относящимся к владению языком, признакам. Случайное угадывание обычно ограничивается стремлением тестируемого найти правильный ответ путем построения, подтверждения или отвергания гипотез о пригодности того или иного варианта ответа. Доказательством сказанного являются 10-15% правильных ответов у некоторой части тестируемых при величине случайного угадывания 25% при четырех вариантах ответов. Задания языкового теста можно составить таким образом, чтобы угадывание по внешним и другим признакам было минимальным.

  2. Недостаточная активность мыслительных процессов из-за наличия готовых ответов и из-за общей ориентации на результат теста. Указанную активность можно повысить с помощью подбора соответствующих характеру объектов тестирования типов и форм заданий, а также регулированием степени трудности заданий.

  3. Возможность непроизвольного запоминания неправильных ответов. Такая опасность существует при слишком трудных заданиях, когда тестируемый не может построить гипотезы о правильном варианте ответа. Поэму на начальных этапах обучения предлагается больше использовать невербальные (наглядные) формы ответов.

  4. Тестовая ситуация в задании недостаточно полна, информативна и коммуникативна из-за сжатости контекста в языковых тестах (1-2 предложения). С помощью специальных мер для улучшения смысловой и экстралингвальной стороны задания этот недостаток удается в значительной мере исправить.
  5. Неправильные варианты ответов могут содержать избыточную и отвлекающую информацию, препятствующую определению правильного ответа. В этом отношении составителю теста следует быть весьма осмотрительным, чтобы соблюдать так называемое семантическое равновесие среди вариантов ответов тестового задания.


Главным недостатком речевых тестов без выборочных ответов является субъективность оценки ответов тестируемых, что снижает надежность тестов этого вида. Но, с помощью регламентированных процедур проведения и оценки результатов указанных тестов от этого недостатка удается практически избавиться.



1 Банкевич Л.В. Тестирование лексики иностранных языков. М., 1981. С. 56

2 Коккота В.А. Лингводидактическое тестирование. М., 1989. С. 82

3 Цатурова И. А. Функции теста как средство контроля / Проблема контроля при обучении иностранным языкам в вузе. Саратов, 1984. С. 12