Компьютерное адаптивное тестирование в образовании. Использование компьютерных технологий в тестировании по иностранному языку Организация взаимодействия приложения с БД

Источник:

http://cblis.utc.sk/cblis-cd-old/2003/3.PartB/Papers/Science_Ed/Testing-Assessment/Papanastasiou.pdf

Аннотация

Компьютерное обучение (КО) может иметь большой потенциал, при надлежащем использовании в целях повышения качества обучения. Однако это качество может повышаться путём использованием компьютерного тестирования (КТ) и, более конкретно, с использованием компьютерного адаптивного тестирования (КAT). В целях данной работы автор описывает механизм и преимущества компьютерного адаптивного тестирования, а также каким образом оно может улучшить процесс обучения в предметной области науки. Педагогу предлагается принять к рассмотрению некоторые ограничения и проблемы в реализации, также будет обсуждаться естественнонаучное образование. КЛЮЧЕВЫЕ СЛОВА Компьютерное адаптивное тестирование, КАТ, компьютерное тестирование, компьютерное обучение, естественнонаучное образование, оценивание, формирование обратной связи.

ВВЕДЕНИЕ

Компьютерное обучение имеет крайне большой потенциал для улучшения обучения во многих областях и дисциплинах, в том числе и в предметной области науки. Однако, компьютерное обучение должно тесно и постоянно контролироваться, для обеспечения его эффективности. Это особенно верно, так как некоторые предварительные исследования показали, что использование компьютера отрицательно коррелирует с достижениями в области математики и науки (Papanastasiou и Фердиг, 2003). Хотя не ясно, при каких обстоятельствах эти негативные последствия развиваются, и если есть причинно-следственная связь между этими переменными, почему она все еще существует. Следовательно, эти отношения должны напомнить педагогу, что использование компьютера - не обязательно "панацея", и что он не должен использоваться безответственно и занимать внимание студентов, которым трудно иметь дело с ним. Также эта отрицательная связь между использованием компьютера и достижением результатов должна напомнить педагогам о существовании значительной потребности в непрерывной созидательной и итоговой оценки в науке. С помощью правильного оценивания, проблемы, которые возникают во время обучения, могут быть определены и, возможно, исправлены, если их обнаружили достаточно рано. Однако, оценка также должна использоваться с умом таким образом, чтобы она могла дополнять процесс обучения. Так как компьютерное обучение является целью этой конференции, эта статья будет связана с компьютерным оцениванием. Цель данной работы - выйти за рамки простого компьютерного обучения для описания компьютерного адаптивного тестирования, и обсудить его последствия, преимущества, и как оно может эффективно дополнять компьютерное обучение в данной области науки.

Описание

Компьютерное тестирование (КT) может быть определено как любой вид оценивания, который осуществляется посредством компьютера. Однако компьютерное тестирование может принимать различные формы, в зависимости от того, насколько адаптирован тест (College Board, 2000). Например, некоторые компьютерные тесты, которые также называются фиксированные компьютеризированные испытания, являются чисто линейными (Парсхолл, брызг, Kalohn и Дэви, 2002). Это тесты, которые наиболее близко напоминают бумагу и карандаш для тестирования, поскольку они фиксированной формы, фиксированной длины, и тестовые задания заранее поставлены в определенном порядке. В отличие от фиксированных компьютеризированных испытаний, компьютерные адаптивные тесты (КАТ) представляют собой компьютерные тесты, которые имеют максимальную степень адаптивности, так как они могут быть адаптированы для каждого студента, исходя из суммарной сложности и порядка, в котором вопросы предоставляются испытуемому. Так что компьютерные адаптивные тесты (КAT) это компьютерны е тесты, которые созданы и адаптированы специально для каждого испытуемого на основе оценивания способностей тестируемого, и исх одя из ответов на предыдущих шагах.

Преимущества компьютерных адаптивных тестов

Основными преимуществами компьютерного адаптивного тестирования связаны с тем, что они являются эффективными с точки зрения времени, а также используемых ресурсов. Эти преимущества будут обсуждены в следующем разделе с точки зрения испытуемых, с точки зрения педагога, который хочет определить уровень знаний студента, а также с точки зрения разработчика теста.

Эффективность

Адаптивные тесты дают возможность оценить способности испытуемого более точно и с меньшими затратами, чем с помощью бумажных тестов. Типичные бумажные тесты создаются для массового тестирования, так чтобы тест использовался для большой группы студентов, различных по способностям. Для того чтобы сделать это большинство вопросов этого теста среднего уровня сложности (так как большинство студентов имеют среднюю успеваемость) В результате, тест такого содержания создает проблемы для студентов с высокой и низкой успеваемостью. Испытуемый с низким уровнем знаний в состоянии ответить на первые несколько относительно лёгких вопросов. А на вопросы среднего и высокого уровня сложности студенту будет нелегко ответить. Следовательно, испытуемый может в конечном итоге угадать ответы на эти вопросы, или может просто оставить их пустыми. В таком случае тяжело реально оценить его знания и возможности, так как какие-либо выводы должны основываться только на ответах на первые несколько вопросов, которые студент смог разобрать. Другой, более конкретный пример такой ситуации приводится ниже. Преподаватель хочет провести тестирование по биологии на тему «печень» Вопрос низкого уровня требует установить место положения печени на картинках человека, а вопросы высокого уровня предполагают способность студента диагностировать болезнь печени по картинкам. В этом случае, если студент не может даже определить местонахождение печени на картине человеческого тела, нет причин задавать ему более сложный вопрос. При рассмотрении таких испытаний с точки зрения студента с глубокими знаниями биологии, ситуация несколько лучше, хотя она по-прежнему не совершенна. Большинство вопросов для него будет слишком легким для этого человека. Адаптивные тесты позволяют эффективно подбирать вопросы, которые специально предназначены для определённого уровня знаний каждого испытуемого. Когда все вопросы чётко направлены на способности каждого студента, педагог может достичь более надежных и достоверных выводов о фактических знаниях студента.

Обратная связь

Еще один из преимуществ компьютерного испытания в целом, а также компьютерных адаптивных тестов, является то, что они могут управлять прямой и непосредственной обратной связью студента и преподавателя (Wise & Plake, 1990). С типичным бумажным тестом, всегда возникает задержка по времени между преподавателем и тестируемым. Без формирования оценки, преподаватели не смогут определить призвано ли компьютерное обучение действительно помогать студенту в обучении или нет. Это особенно важно, потому что без надлежащего оценивания, некоторые студенты могут оказаться в невыгодном положении из компьютерного обучения. В дополнение к суммарной оценке, такой вид оценивания показывает, как каждый студент усвоил материал в целом, также возможно предоставление списка областей и предметов, вопросы по которым встречались у каждого студента, на основе его показателей в адаптивном тестировании. Однако у преподавателя может возникнуть такой вопрос, при непрерывном тестировании, возможно, что некоторые студенты запомнят тестовые вопросы и проинформируют других студентов о них. Однако, если адаптивный тест содержит относительно большую базу вопросов, такой проблемы не возникнет, особенно в свете того, что разные студенты должны получить разные задания, основанные на уровне их индивидуальных способностей.

Время

С точки зрения разработчика тестов, создание адаптивного теста отнимает много времени, но является более эффективным с точки зрения педагога. В частности, студенты при адаптивном тестировании должны ответить на меньшее количество вопросов, чем во время обыкновенного тестирования. Кроме того, обычное тестирование, как правило, проводится всей группой, определённое количество времени, которое может не устраивать некоторых студентов. Преподаватель и вся группа должна ждать, пока все студенты завершат тестирование, прежде чем они смогут перейти к другому виду деятельности. С компьютерным адаптивным тестированием, студенты могут сдавать экзамен, когда будут готовы, единственным условием является доступность компьютера, и они не должны ждать, пока вся группа будет готова приступать к тестированию, или пока вся группа закончит его. С точки зрения преподавателя, адаптивное тестирование является экономным по времени, а также ему больше не придется беспокоиться о создании тестов для группы до тех пор, пока КАТ в состоянии охватить изученный материал. Кроме того, преподаватель экономит время на проверке работ, так как тест оценивается компьютером.

Другие преимущества

Компьютерное адаптивное тестирование также имеет некоторые дополнительные преимущества. В компьютерном адаптивном тестировании высокий уровень безопасности, так как список вопросов больше не может быть украден, и списывание у соседей не выгодно, так как большинство вопросов теста для каждого индивидуально. Кроме того, при помощи КАТ могут быть собраны другие типы данных, такие как количество времени, затраченное для ответа на каждый вопрос или количество изменений, которые сделаны для студентов во время прохождения теста.

ЗАКЛЮЧЕНИЕ

Современные исследования в области тестирования и оценивания показали, что потенциал компьютер адаптивных тестов увеличился. Преимущества и возможности компьютерного адаптивного тестирования дают возможность шагнуть ещё дальше. Это заметно по количеству крупномасштабных тестирований (например, GRE, TOEFL, ASVAB), которые стали или становятся адаптивными (Papanastasiou, 2001). Тем не менее, на такой шаг всегда нужно идти с умом, чтобы такая процедура оценивания хорошо интегрировалась в процесс обучения для обеспечения его максимальной эффективности.

Ссылки

1.Bennett, R. E. (1999). Using new technology to improve assessment. RR99-6. Princeton, NJ: Educational Testing Service. 2. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum associates. 3. Meijer, R. R. & Nerling, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied psychological measurement, 23(3), 187-194. 4. O’Neill, K. (1995). Performance of examinees with disabilities on computer-based academic skills tests. Paper presented at the American educational research association, San Francisco, April, 1995. 5. Papanastasiou, E. C. (2001). A ‘Rearrangement Procedure’ for administering adaptive tests when review options are permitted. (Doctoral dissertation, Michigan State University, 2001). 6. Papanastasiou, E. (2002a). A ‘rearrangement procedure’ for scoring adaptive tests with review options. Paper presented at the National Council of Measurement in Education, New Orleans, LA. 7. Papanastasiou, E. (2002b). Factors that differentiate mathematics students in Cyprus, Hong Kong, and the USA. Educational Research and Evaluation, 8 (1), 129-146. 8. Papanastasiou, E. C. & Ferdig, R. E. (2003, January). Computer use and mathematical literacy. An analysis of existing and potential relationships. Paper presented at the third Mediterranean conference on mathematics education, Athens, Greece, January 3-5, 2003. 9. Parshall, C. G., Spray, J. A., Kalohn, J. C. & Davey, T. (2002). Practical considerations in computer- based testing. NY: Springer. 10. Parshall, C. G., Stewart, R. & Ritter, J. (1996). Innovations: Graphics, sound and alternative response modes. Paper presented at the National Council of Measurement in Education, April 9-11, 1996, New York. 11. The College Board. (2000, April). An overview of computer-based testing. RN-09. 12. Wainer, H. (2000). CATs: Whither and whence. Psicologica, 21(1-2), 121-133. 13. Wise, S. L. & Plake, B. S. (1990). Computer-based testing in higher education. Measurement and evaluation in counseling and development, 23, 3-10.

Elena C. Papanastasiou, Ph.D. University of Kansas and University of Cyprus Department of Education P.O. Box 20537 1678 Nicosia Cyprus

Аннотация: Рассматриваются основные понятия технологии компьютерного тестирования и некоторые инструментальные системы тестирования

Хотя возможности m- Learning и ограничены (трудно использовать страницы, рисунки, таблицы и меню большой разрешающей способности и размера, всплывающие диалоговые окна и др.), оно имеет большую инновационную привлекательность.

Инструментальные системы учебного назначения обычно предназначены для настройки на любую предметную область.

Существует множество автоматизированных систем обучения и контроля. Наиболее часто встречаются так называемые обучающие программы, разработанные на основе эмпирического подхода, определенный педагогический опыт и здравый смысл (системы "от учебного предмета"). Как правило, у них низкая дидактическая эффективность (по зарубежным оценкам, эффективными являются не более 10% таких программ, а число непригодных – около 90%).

Рассмотрим некоторые системы.

Lotus Learning Space – средство разработки обучающих мультимедиа-курсов. Пакет Learning Space поддерживает три способа обучения: самостоятельное и пошаговое, без тьютора и контроля (материалы на веб-сервере, в базе данных или на носителе).
ToolBook – средство создания мультимедиа–приложений обучающего характера. Позволяет создавать тесты, встраивать их в контент и проводить тестирование. Имеется также набор стандартных видов тестов, которые легко встраиваются в создаваемый контент.
WebCT – интегрированная среда разработки и использования сетевых курсов. Тестирующая система WebCT позволяет использовать основные типы тестовых заданий, включая и развернутый ответ.
eLearning Office – система разработки мультимедиа-приложений: электронных каталогов, энциклопедий, учебников, презентаций, поисковых систем и других. Включает систему интерактивного тестирования для самопроверки знаний учащегося с заданиями, которые могут быть трех типов (с вариантами выбора ответов, с вводом строки ответа и на соответствие ответа) и включать аудио- и видео-фрагменты, а также графические объекты. Есть режим контроля результатов тестирования. Преподаватель может выставлять оценки обучаемым автоматически или самостоятельно, контролируя неправильные ответы.
tTester – разработка, которая позволяет создавать тесты, объединять тесты в один тест, редактировать тесты, создавать "бумажные" версии тестов и их печать и др.
АСТ-Тест – инструментальная среда для разработки педагогических тестов и адаптивного тестирования с использованием OLE-технологии и мультимедиа. Имеет модули "Конструктор тестов", "Система тестирования".
АИССТ – Автоматизированная Интерактивная Система Сетевого Тестирования для проведения контроля знаний обучающихся, создания и настройке предметного материала, администрирования работы системы.
Гефест – сетевая адаптивная информационно-обучающая система, использующая методы теории автоматов и марковских процессов. В модель адаптивного управления обучением включены объекты "Устройство адаптивного обучения (формирование вопросов и задач, контроль ответов и оценка знаний)", "Модель обучающегося".
LERSUS – программная система (редактор) для быстрой разработки и стандартизации электронных (в том числе, веб-контента с использованием видео, аудио, Java, Flash) или печатных учебных материалов в виде интерактивного веб-контента без непосредственного (процедурного) программирования и дизайнерских усилий, организует интерфейсную поддержку и импорт-экспорт при разработке тестов.
М-Тест – инструментальная среда для поддержки адаптивного тестирования и аттестации сотрудников. Позволяет конструировать мультимедийные задания основных форм, используя технологию связывания объектов OLE, создавать банки таких заданий, визуализировать результаты тестирования (протоколирование), вести статистику.
IRT–технология (методология) адаптивного тестирования, получившая название "Тест интеллектуального потенциала" для экспресс-диагностики интеллектуальных способностей людей различных возрастных групп.

Есть и другие аналогичные системы.

В заключение отметим, что системы обучения и контроля должны иметь критерии адекватности.

Отметим следующие критерии адекватности образовательных WWW-ресурсов:

качество закрепления материала (в частности, для тестирующих систем);
качество и структурированность учебного материала (для электронных учебников);
актуализация структурированного знания (для поисковых систем);
эффективная обратная связь (для образовательных телеконференций);
визуализация (для визуальных сред программирования);
виртуализация (для моделирующих сред);
создание новых операционных возможностей или актуализация "старых" новыми структурами (для микромиров);
связность нового и старого знания (для когнитивных сред);
обеспечение перехода на новый продуктивный уровень деятельности обучаемых (для креативных средств и сред);
снижение стоимости и времени (для CASE-систем);
повышение интеллектуальной поддержки процесса принятия решений (для нейросистем);
качество обеспечения коммуникативности (для интрасетей и экстрасетей) и др.

Образовательная система должна реагировать на наблюдаемые несоответствия и скачки в окружении, в обществе, адаптируясь и извлекая уроки из критических ситуаций.

Необходим переход от парадигмы обучения к парадигме учения, от парадигмы обучения к функционирующим изолированным системам. Необходима парадигма актуализации, усиления и изучения системно-синергетических связей открытой системы и ее окружения, изучения и предвидения эволюции систем. Особенно важно такое предвидение в образовательных системах, так как в них достаточно большой цикл эволюции.

Важно использовать в тестировании аутсорсинг

Введение

1. Формирование требований к программному средству

1.1 Выявление требований. Документ "Видение"

1.2 Построение диаграммы вариантов использования

1.2.1 Выявление актеров

1.2.2 Выявление вариантов использования

2. Анализ предметной области

2.1 Описание входной и выходной информации

2.2 Построение диаграммы потоков данных

3. Проектирование программного средства

3.1 Проектирование архитектуры ПС

3.2 Концептуальное и логическое проектирование структуры информационного обеспечения

3.3 Проектирование интерфейса

4. Реализация программного средства

4.1 Выбор средств реализации

4.2 Реализация информационного обеспечения

4.2.1 Создание БД

4.2.2 Создание таблиц и полей. Заполнение БД

4.2.3 Создание связей. Построение диаграммы БД

4.3 Реализация пользовательского интерфейса

4.4 Реализация функциональности программного средства

4.5 Организация взаимодействия приложения с БД

4.6 Руководство пользователя

5. Тестирование программного средства

Заключение

Приложения

Введение

Согласно концепции модернизации российского образования на период до 2010 года одной из ключевых приоритетных задач является обеспечение государственных гарантий - доступности и равных возможностей получения полноценного образования; достижение нового современного качества профессионального образования. Основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий.

И это требует нового, современного подхода в создании интеллектуальных систем дистанционного обучения. Если раньше такие системы могли представлять собой набор гипертекстовых, электронных материалов и тестов, то теперь становится крайне необходимо систематизировать и наполнить системы интеллектуальной «начинкой». Основные требования к таким системам известны: интеллектуальность, открытость, гибкость и адаптивность при организации процесса обучения.

Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Однако, традиционное тестирование, осуществляемое с помощью стандартизированных тестов, постепенно утрачивает свою актуальность. Оно перерастает в современные, более эффективные формы адаптивного тестирования. Данные формы тестирования основываются на отличных от традиционно теоретико-методологических основ, и иных технологиях конструирования и предъявления тестов.

Преимущество адаптивного теста перед традиционной формой тестирования - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов.

В соответствии с этим, было принято решение по разработке подсистемы адаптивного тестирования "Тестирование" - являющейся средством генерации различного рода тестов из прикрепленных баз данных, а также имеющая возможность создавать и редактировать данные тесты. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Адаптивная система тестирования (АСТ) "Тестирование" предоставляет следующие возможности по организации процесса тестирования:

Открытость и наращиваемость системы;

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого;

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса;

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых;

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки;

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Перспективой данной разработки является создание модели подсистемы адаптивного тестирования, написание ее программной реализации и обеспечение эффективного функционирования. Использование данной подсистемы будет возможно в следующих случаях: при проведении текущей оценки знаний, аттестации, экзамена студентов (учащихся, специалистов) и т.п.

Важнейшими особенностями разрабатываемой подсистемы, которые отличают ее от большинства уже созданных систем, можно считать открытость, эффективность и простота использования. Открытость системы заключается в том, что для использования подсистемы студентами и преподавателями не требуется дополнительного обучения. Ознакомиться со структурой системы можно в порядке 10-15 минут. Про эффективность уже говорилось ранее. Простота использования заключается в том, что конечному пользователю (заказчику данной подсистемы) не нужно для ее использования искать специализированное программное обеспечение, все необходимое (программа с.exe файлом, прикрепленная база данных, и помощь: руководство для преподавателя и руководство для тестируемого) собранно в распространяемой производителем папке.

Обосновав актуальность выбранной темы курсового проекта, можно приступать к описанию основных этапов жизненного цикла программного обеспечения (ПО), которые нужно выполнять в строгой последовательности. Сначала следует сформировать требования к программному средству (ПС), затем произвести анализ предметной области, и в завершении приступить к проектированию программного средства, его реализации и тестированию.

программный архитектура проектирование

1. Формирование требований к программному средству

1 Выявление требований. Документ "Видение"

Требования - это исходные данные, на основании которых проектируются и создаются автоматизированные информационные системы.

Наиболее подробно проанализировать и определить высокоуровневые требования для подсистемы адаптивного тестирования, и в результате получить хороший конечный продукт, можно путем составления документа Видение. Документ обращает внимание на то, как и почему данные потребности существуют в данной подсистеме. Остановимся на основных пунктах данного документа, которые помогут нам детально проанализировать подсистему.

Настоящий документ основан на теоретических данных об адаптивном тестировании, имеет взаимосвязь с проектом подготовки адаптивных тестирований и разрабатывается в рамках автоматизации адаптивных тестов в среду дистанционного образования (ДО).

Как уже говорилось ранее, адаптивное тестирование является эффективнее традиционной формы, однако и тут есть некоторые проблемы. Какие же проблемы существуют, и что получится в случае их успешного решения. Данную информацию представим в виде таблиц.

Таблица 1 - Проблема 1

ПроблемаУпрощение задачи, стоящей перед слушателем. Вместо самостоятельного формулирования полного и исчерпывающего ответа на поставленный вопрос требуется лишь выбрать правильный ответ из числа готовых вариантов ответаЗатрагиваеттестируемыйЕе следствием являетсявозможность угадывания правильного ответаУспешное решениеувеличивается объем разнообразного учебного материала, который может быть проверен за определенный отрезок времениТаблица 2 - Проблема 2

ПроблемаНеобходимость высокой квалификации преподавателей и экспертов, составляющих задания.Затрагиваетпреподаватели - экспертыЕе следствием являетсянеобходимость дополнительного повышения квалификаций преподавателейУспешное решениезато, отсутствует необходимость непосредственного участия преподавателя в самом проведении тестирования

Таблица 3 - Проблема 3

ПроблемаНевозможность оценки характера мышления (логика построения концепции, умения обосновать ее, используя для этого необходимые данные, логическое мышление и др.)Затрагиваеттестируемый, преподавательЕе следствием являетсянеоднозначность оценки ответаУспешное решениевозможность статистической обработки результатов контроля, и отсутствие предвзятого (личного) отношения пары преподаватель-студент

Теперь определим позицию данной подсистемы адаптивного тестирования.

Таблица 4 - Определение позиции подсистемы

ДляВУЗаКоторойТребуется оптимизировать процесс адаптивного тестированияНазвание продуктаАСТ "Тестирование"КоторыйПродукт надежен и основан на БДВ отличие отСуществующей системы устной проверки знанийДанный продуктОблегчает процедуру проверки знаний

Однако это не означает, что данная система создается исключительно для вузов. Целевым заказчиком, подсистемы адаптивного тестирования, позволяющей обеспечить современный уровень обучения на основе применения современных информационных технологий, вполне, могут являться еще и учебные центры, стремящиеся идти в ногу со временем.

При описании проблем были упомянуты пользователи данной системы. Опишем, кто к ним относится и какими правами обладает.

Система адаптивного тестирования обеспечивает надежную работу следующих групп пользователей:

Преподаватели - эксперты, составляющие задания

Студенты, тестирующиеся по конкретным дисциплинам

Одним из приоритетных направлений развития российского образования на современном этапе является обеспечение доступности и равных возможностей получения полноценного образования, а также достижение принципиально нового качества профессиональных образовательных услуг. Очевидно, что основным средством достижения этих целей является увеличении роли и значения информационных технологий. Построение интеллектуальных обучающих систем – это большой шаг в направлении развития и накопления электронного педагогического контента, который сегодня состоит из гипертекстовых, электронных материалов и тестов. Основные требования к новым обучающим системам включают в себя: интеллектуальность, масштабируемость, открытость, гибкость и адаптивность на всех этапах организации процесса обучения.

В последнее время все большее применение на разных стадиях учебного процесса получили различного рода электронные диагностические механизмы (материалы) – компьютерные тесты . К сожалению, традиционное тестирование, которое реализуется с помощью стандартизированных тестов, постепенно утрачивает свою актуальность . Оно развивается и эволюционирует в современные, более эффективные интеллектуальные формы адаптивного тестирования. Интеллектуальные формы диагностики знаний базируются на отличных от традиционных теоретико-методологических основах и иных технологиях построения и воспроизведения тестов. В модель системы должны быть включены модули, которые реализуют адаптивные алгоритмы.

Ключевое достоинство адаптивного тестирования перед традиционной формой – это его очевидная эффективность. Адаптивный тест позволяет диагностировать уровень знаний испытуемого с помощью значительно меньшего количества вопросов. При взаимодействии с одним и тем же адаптивным тестом испытуемые с высоким уровнем подготовки и испытуемые с низким уровнем подготовки будут решать совершенно разные подмножества заданий. Первый испытуемый увидит значительно большее количество вопросов с высоким коэффициентом сложности, а второй с низким. Процент правильных ответов у испытуемых может совпадать, но количество баллов будет существенно различаться.

Адаптивное тестирование позволяет более точно строить модель знаний (освоенных компетенций) испытуемых. Система компьютерного тестирования адаптируется под уровень пользователя прямо в процессе тестирования. Благодаря гибким адаптационным механизмам система может определить, какой именно вопрос и с каким коэффициентом сложности предъявить испытуемому в каждый конкретный момент времени. Например, испытуемый начинает решать диагностический набор и ему предъявляется задание с коэффициентом сложности b, решение которого проверяет знания в рамках некоторой мелкой дидактической единицы S. Если испытуемый решает предъявленное ему задание правильно, то аналитическое ядро системы выбирает следующее задание в рамках той же единицы S, но уже с более высоким коэффициентом сложности и т.д. Если испытуемый отвечает неверно на инициализационный вопрос дидактического элемента, то ему предъявляется задание с более низким коэффициентом сложности и т.д. Граничные значения коэффициентов сложности описываются в используемой при диагностике модели.

Компьютерная интеллектуальная адаптивная система тестирования должная обладать следующим набором характеристик:

Открытость и расширяемость . Система должна быть построена по модульному принципу. Примерный состав базовых модулей может быть следующим: «База», «Тестер», «Конструктор», «Конфигуратор», «Конструктор отчетов», «Модуль планирования», «База» предназначена для ведения списка пользователей установленной копии программы, подготовки списка испытуемых, управления справочником групп испытуемых, конфигурирования специального пространства (декомпозиция на тематические блоки). «Конструктор» предназначен для работы с базой тестовых заданий и разработки тестовых пакетов. «Конфигуратор» предназначен для настройки рабочих пунктов тестирования (подключения тестов, назначение сеансов тестирования). «Конструктор отчетов» предназначен для обработки первичных протоколов тестирования и построения различных отчетов. «Модуль планирования» предназначен для планирования и мониторинга процесса тестирования. Тестер непосредственно реализует адаптивный механизм диагностики уровня знаний .

Нелинейность воспроизведения диагностического контента. Должен быть реализован адаптивный интеллектуальный выбор следующего тестового задания в зависимости от результатов решения предыдущих.

Известная трудность . Все тестовые задания должны быть разделены по категориям трудности и иметь соответствующий коэффициент, которым можно манипулировать в процессе адаптации .

Универсальность диагностической модели. Система позволяет производить полную и качественную проверку знаний большого количества испытуемых без существенных затрат времени и ресурсов в пределах дидактических единиц любых размеров

Достоверность и точность результатов адаптивного тестирования. Используется подход, который полностью исключает эффективный фактор при анализе индивидуальной модели знаний испытуемого.

В настоящее время разработано и внедрено огромное количество систем компьютерного тестирования. Такие системы значительно различаются по классификационным параметрам . И уже сейчас можно с уверенностью сказать, что адаптивные системы компьютерного тестирования активно занимают свою нишу на рынке программного обеспечения для организации и поддержки педагогических процессов.

Библиографический список

Никифоров, О.Ю. Применение среды компьютерного тестирования на основе базы заданий в тестовой форме в системе контроля качества высшего учебного заведения. / О.Ю. Никифоров, Ю.И. Никоарэ // Управление качеством непрерывного образования: Сборник статей 2-й межрегиональной научно-практической конференции // Отв. редактор Е.Ю. Бахтенко; Мин-во образования и науки РФ; Департ. Образования Волог. обл.; Вологод. гос. пед. ун-т. – Вологда: ВГПУ, 2011. – 192 с. , с. 72-79.
Никифоров,О.Ю. Анализ подсистемы тестирования СДО MOODLE // Информационные технологии в науке и образовании: Материалы Международной научно-практической интернет-конференции. –Шахты: Изд-во ЮРГУЭС, 2008. – 238 с.
Никифоров, О.Ю. Обобщенная компонентная модель системы компьютерного тестирования / О. Ю. Никифоров // Образование, наука, бизнес: особенности регионального развития и интеграции: Материалы Всероссийской научно-методической конференции. – Череповец, – 2006. – с.309-311.
Никифоров, О.Ю. Основные элементы заданий в тестовой форме / О. Ю. Никифоров // Образование, наука, бизнес: особенности регионального развития и интеграции: Материалы Всероссийской научно-методической конференции. – Череповец, – 2006. – с.315-316.
Никифоров О.Ю., Кокшарова Е.И. Комплекс признаков классификация систем компьютерного тестирования // Современные научные исследования и инновации. 2013. № 6
Никифоров, О.Ю. Признаки классификации систем компьютерного тестирования / О. Ю. Никифоров // Образование, наука, бизнес: особенности регионального развития и интеграции: Материалы Всероссийской научно-методической конференции. – Череповец, – 2006. – с.312-314.

Количество просмотров публикации: Please wait

Одним из активно развивающихся и перспективных направлений в современной методике обучения иностранным языкам является использование компьютерных технологий для контроля уровня сформированности речевых навыков и умений.

Компьютерное тестирование дает возможность интегрировать в тестовых заданиях текстовую, графическую, звуковую и видеоинформацию, а также полностью автоматизировать процесс проведения контрольного измерения.

Компьютерное тестирование позволяет:

быстро обрабатывать вводимую информацию;

обеспечивать оперативную обратную связь, которая дает возможность испытуемому постоянно и незамедлительно получать подкрепление правильности ответа, а преподавателю - осуществлять поэтапный или пооперационный контроль действий тестируемого;

повышать мотивацию тестируемого, поскольку при работе с компьютерной программой присутствует элемент необычности, схожий с игровой ситуацией, появляется дух состязательности с компьютером;

значительно экономить время и затраты на организацию и проведение тестирования.

Итак, первая задача, которую позволяет эффективно решить компьютер, - хранить тестовые задания и создавать из них тесты, а именно обрабатывать первичный, исходный авторский материал, вносить в него необходимые уточнения, исправления, дополнения; хранить информацию, отбирать задания из электронного банка данных по заданным критериям и производить нужную компоновку тестов.

Вторая задача, которую реализует компьютер, - регистрация тестируемых и подготовка последних к выполнению заданий. Например, регистрация, которая может быть как предварительной, так и непосредственно перед тестированием, включает заполнение на экране компьютера регистрационной карты. Получив необходимые сведения, система выдает тестируемому идентификационный номер.

Компьютер может подготовить испытуемого к сдаче теста - провести инструктаж. В компьютерную программу включается информация о методике работы с тестом: рекомендации по технологии выполнения теста, данные о времени тестирования, процедуре оценивания и т. д. Подготовка к выполнению теста может включать и тренировку, поясняющую, как реагировать на те или иные задания, не допускать случайных (не имеющих отношения к языковой и речевой компетенции тестируемого) ошибок, выработать необходимые временные стереотипы.

Следующий этап - проведение сеанса тестирования с помощью компьютера. Ключевой проблемой этого этапа является длительность работы. Поэтому важно в компьютерную программу для тестирования заложить показ, учет и контроль отведенного, потраченного и оставшегося у испытуемого времени.

Чтобы начать работу, тестируемый обязан указать свой идентификационный номер, т. е. номер, полученный при регистрации. После этого ему предъявляется тест с заданиями и инструкциями по их выполнению.

Завершение сеанса тестирования может быть как добровольным (по желанию тестируемого и с разрешения инструктора, по мере выполнения заданий), так и принудительным (при окончании лимита времени).

Если авторы-составители теста специально не упорядочили тестовые задания по степени трудности, не разделили тест на автономные по целям выполнения и видам речевой деятельности разделы-субтесты, то допустимо выполнение теста в произвольном порядке. В противном случае пропуск отдельных, например показавшихся трудными, заданий и возврат к ним запрещаются компьютерной программой.

После выполнения заданий теста наступает этап обработки ответов и подсчета баллов. Согласно классификации В. И. Нардюжева, И. В. Нардюжева обработка может быть:

локальной, выполняемой на месте проведения тестирования;

удаленной, осуществляемой за пределами места проведения сеансов тестирования;

формальной, если возможно простое сравнение с ключами;

экспертной, если подобное сравнение невозможно и требуется привлечение экспертов, специалистов (например, для оценки развернутого устного или письменного ответа);

оперативной, позволяющей продемонстрировать результаты сразу же после тестирования;

отложенной по причине сложного алгоритма расчетов баллов или необходимости получения заключения рейтера, эксперта.

Использование компьютера позволяет осуществлять статистический анализ информации, т. е., с одной стороны, дать информацию об участниках тестирования, с другой - что наиболее важно на современном этапе развития лингводидактического тестирования - собрать данные о качестве тестовых материалов.

В первом случае алгоритм анализа предполагает:

)выбор объекта статистического анализа (субтеста);

)определение количества участников тестирования данного уровня;

)ранжирование тестируемых по числу набранных баллов;

)определение процента правильных ответов на каждое задание теста;

)построение по цифровым данным графиков;

)при необходимости сравнение результатов тестирования по различным объектам.

Во втором случае статистический анализ осуществляется через:

)определение минимального, среднего, максимального значения тестовых результатов;

)установление статистических параметров задания: уровня трудности, дифференцирующей способности (способности задания отличать сильных учащихся от слабых);

)анализ работы дистракторов, включающий определение частоты выбора ответов всеми, а также слабыми и сильными;

)определение независимости заданий в тесте .

Компьютерное тестирование возможно при наличии специально разработанного программного обеспечения, которое реализует предлагаемую авторами информационно-педагогическую модель тестирования.

Компьютерное обеспечение существенно влияет как на содержание тестовых заданий (например, использование звукового сопровождения предполагает оборудование компьютера звуковой картой), так и на способ реализации информационно-педагогической модели (например, подключение компьютеров к Интернету позволяет организовывать и проводить тестирование в режиме реального времени).

Компьютерные программы для проведения тестирования по иностранному языку можно классифицировать в зависимости от способа программирования. Программа может быть линейной: в этом случае предусматривается единственно возможное направление работы с тестом независимо от качества ответа учащихся на конкретный вопрос или задание. Например, тестируемый должен выбрать один из вариантов ответа, выполняя задания на проверку понимания прочитанного текста:

Линейная программа может быть осложнена этапом корректировки (например, при выполнении заданий на проверку грамматических навыков). В таком случае при неправильном ответе компьютер возвращает тестируемого к исходному заданию, инструкции или правилу.

В разветвленной программе предусмотрены разъяснение, дополнительные, наводящие вопросы, указания, помогающие выполнить исходные задания и получить разрешение на последовательное движение или движение через кадр.

Программы, сочетающие в себе линейные и разветвленные участки, относят к группе смешанных или комбинированных. Они обеспечивают и большую гибкость контроля, и приспосабливают работу к индивидуальным возможностям обучающихся. Вместе с тем компьютерное тестирование по иностранному языку имеет свою специфику и свои требования к презентации контролируемого материала и к выполнению заданий. Одной из основных задач является максимальное использование всех каналов подачи информации, привлечение для этого мультимедиатехнологий (графиков, анимационных клипов, видеоизображения), а также различных ссылок на документы и ресурсы (справочники, лексические минимумы, интонационные контуры и т. д.). В свою очередь, использование компьютерной дидактической наглядности, моделирующей ситуации общения и организующей выполнение заданий и корректировку ответа, повышает продуктивность контролирующих компьютерных программ и мотивацию тестируемых к овладению иностранным языком.

Возможности компьютерного тестирования

Сегодня в мире существуют различные организации, занимающиеся не только разработкой проблем, но и систем компьютерного тестирования. В их ряду Educational Testing Service (ETS) - Служба тестирования в образовании (#"justify">), которая с 1970 г. занимается вопросами компьютерного тестирования и предлагает на данный момент компьютерные варианты TOEFL (#"justify">) - Test of English as a Foreign Language. Этот тест по английскому языку как иностранному используется при поступлении в колледжи США и Канады.

Во Франции Национальный центр дистанционного обучения (Centre national denseignement à distance) предлагает компьютерный вариант теста по английскому языку как иностранному: Test FLE - Test de Français langue étrangère et seconde - niveau général (élémentaire, intermédiaire, avancé): compréhension écrite, grammaire, vocabulaire, compréhension orale (#"justify">). Тест позволяет определить уровень владения английским языком как иностранным. Английская языковая школа "LEcole des Trois Ponts" также предлагает выполнить в интерактивном режиме тесты на общее владение английским языком (#"justify">).

В России компьютерным тестированием одними из первых начали заниматься сотрудники кафедры гуманитарных технологий МГУ. Были разработаны технологии компьютерного дистанционного тестирования, в которых функции образовательного или психологического тестирования распределены между локальным компьютером пользователя ("клиентом") и центральным компьютером разработчика ("сервером"). Эта новая информационная технология обеспечивает быстрое и широкое распространение тестов, отвечающих международным научным стандартам. Ежегодно во время весенних каникул проводится телекоммуникационная олимпиада "Телетестинг" для выпускников (#"justify">). На указанном выше сайте можно в интерактивном режиме потренироваться в выполнении некоторых заданий (с выбором ответа) демонстрационных вариантов тестов разных лет, в том числе и по английскому языку.

Компьютерное тестирование по английскому языку проводят также различные языковые школы в России. Например, языковые школы BKC-International House (#"justify">), Transparent Language (#"justify">) предлагают тесты на определение уровня владения английским языком.

Компьютеризированная система контроля открывает широкие возможности для индивидуализации процесса усвоения знаний обучаемыми. Принцип индивидуализации обучения лежит в основе адаптивного тестирования. Адаптивное тестирование - это контроль, который позволяет регулировать трудность и число предъявляемых заданий каждому учащемуся в зависимости от его ответа на предыдущее задание: в случае правильного ответа учащийся получит более трудное следующее задание, в случае неправильного ответа - задание легче предыдущего . Режим адаптивного тестирования (и не только тестирования, но и обучения) предполагает набор заданий в тестовой форме, требующих от учащегося работы на пределе своих возможностей и обеспечивающих тем самым максимальный эффект. Использование заданий, соответствующих уровню подготовки ученика в адаптивном тестировании, повышает точность измерений, сокращает время индивидуального тестирования.

На основе анализа результатов адаптивного тестирования можно строить процесс обучения с позиций личностно ориентированного подхода, т. е. отбирать учебные задания на оптимальном уровне трудности для каждого ученика. Известно, что легкие задания не способствуют развитию, а трудные - снижают мотивацию обучения. Поэтому оптимальным уровнем трудности4 заданий в тестологии считается 50%.

Компьютеризация образования, развитие теории педагогических измерений позволяют создать рейтинговую систему контроля для более объективной и точной оценки знаний, навыков и умений учащихся. Рейтинговая оценка обученности дает возможность с большой степенью достоверности охарактеризовать качество подготовки учащегося по данному учебному предмету. "Рейтинг" в переводе с английского - это оценка, некоторая численная характеристика какого-либо качественного понятия. Обычно под рейтингом понимается "накопленная оценка" или оценка, учитывающая "предысторию".

Модульное обучение предполагает жесткое структурирование учебной информации, содержания обучения и организацию работы учащихся с полными, логически завершенными учебными блоками (модулями). Модуль по своему содержанию совпадает с темой изучения учебного предмета. Например, модуль изучения темы "География Англии и Америки". Однако в отличие от темы в модуле все измеряется, все оценивается: выполнение каждого задания, работа на занятии, посещение занятий, стартовый, промежуточный и итоговый уровни подготовки учащихся. В модуле четко определены цели обучения, задачи и уровни изучения данного модуля, названы навыки и умения.

Учащиеся при модульном обучении всегда должны знать перечень основных понятий, навыков и умений по каждому конкретному модулю, включая количественную меру оценки качества усвоения учебного материала. На основе этого перечня составляются вопросы и учебные задания, охватывающие все виды работ по модулю, и выносятся на контроль после изучения модуля. Как правило, в модульной технологии обучения используется тестовая форма контроля.

Учебные модули и тесты могут быть легко перенесены в компьютерную среду обучения. Многие российские институты дистанционного образования строят свои учебные программы именно на основе модулей.

В модульном обучении оценивается в баллах каждое задание, устанавливаются его рейтинг и сроки выполнения (своевременное выполнение задания тоже оценивается соответствующим количеством баллов), т. е. основной принцип рейтингового контроля - это контроль и оценка качества знаний, навыков и умений с учетом систематичности работы учащихся.

После окончания обучения на основе модульных оценок определяется общая оценка, которая учитывается при определении результатов итогового контроля по предмету.

Итак, компьютерное тестирование наряду с обучением является сегодня одним из основных методов новой информационной технологии оценки уровня владения иностранным языком.