Делает ли ЕНТ лучших выпускников школ глупыми?

В апреле-мае 2016 г. Университет Нархоз провел конкурс Narxoz Challenge по всей стране среди 4 300 выпускников школ. Для того чтобы оценить интеллектуальные способности участников, мы организовали для них тест в Алматы, Кызылорде, Семипалатинске, Атырау, Шымкенте, Павлодаре и Таразе. Участвовали также выпускники школ других городов. Участники соревновались за 105 грантов от Булата Утемуратова и группы компаний "Верный капитал".

Тест на проверку интеллекта был подготовлен казахстанскими профессионалами в сфере интеллектуальных соревнований (Лига интеллектуального спорта РК – разработчики вопросов для телевизионного проекта "Интеллектуальные олимпиады") и состоял из вопросов, проверяющих критическое мышление, умение решать проблемы, уровень IQ и кругозор.

Максимальный балл, который мог получить участник, – 100. Для того чтобы попасть в последний тур конкурса, выпускники должны были набрать минимум 60 баллов. Дальнейшим условием было набрать не менее 50 баллов по ЕНТ и справиться с ещё одной задачей: снять небольшое видео о себе и загрузить на YouTube. В финал были отобраны 115 студентов, прошедшие все три этапа конкурса.

Затем мы проверили у участников соотношение между их результатами по ЕНТ и Narxoz Challenge (IQ тест) (см. Диаграмму 1).

Диаграмма 1. Соотношение между результатами по ЕНТ и Narxoz Challenge(IQ тест) у лучших участников конкурса

Диаграмма иллюстрирует интересный результат. Как оказалось, в среднем студенты с наивысшими баллами по ЕНТ имели низкие баллы по тесту конкурса. Корреляция составляет -0.2. Это означает, что ЕНТ не является верным методом для отбора лучших выпускников школ, а наоборот: чем выше балл ЕНТ, тем ниже интеллектуальный потенциал обладателей этого балла.

Мы решили проверить, сохранится ли данный результат для всей группы участников конкурса. В октябре 2016 г. был проведён телефонный опрос 182 участников Narxoz Challenge 2016 методом случайного выбора. Результаты опроса представлены в диаграмме 2.

Диаграмма 2. Процентное распределение результатов по IQ-тесту (0-100) и результатов по ЕНТ (0-125)

Распределение результатов по ЕНТ в нашей выборке схоже с тем, что представляется для всего контингента учащихся, сдающих ЕНТ (более 80 тысяч). В частности, более 90% выпускников преодолели пороговый балл (50 из 125), что позволило им поступить в вузы РК. Однако совершенно другая картина сложилась с их баллами за IQ тест: только 28% учащихся преодолели порог в 50 баллов (из 100), а средний балл составил 41. Соотношение между результатами по ЕНТ и Narxoz Challenge (IQ тест) представлено ниже, в диаграмме 3.

Диаграмма 3. Соотношение между результатами по ЕНТ и Narxoz Challenge (IQ-тест) у случайных участников конкурса

В данном случае мы получили положительную корреляцию 0.34. Это означает, что в среднем те студенты, что имели высокий балл ЕНТ, показали также высокий интеллектуальный потенциал на конкурсе. Однако после рассмотрения результатов для подвыборки только тех учащихся, что получили от 60 и выше баллов по IQ-тесту, мы вновь получили негативную корреляцию, подтверждающую первоначальный вывод.

Что это значит? ЕНТ хорошо работает как общее правило для выявления сильных и слабых учащихся среди всех выпускников школ. Однако когда дело доходит до отбора лучших, ЕНТ плохо помогает. В действительности балл ЕНТ не следует использовать как показатель для отбора победителей государственного гранта, так как учащиеся с высоким потенциалом на самом деле могут получить балл ЕНТ ниже, чем их менее талантливые коллеги.

Во время телефонного опроса мы задавали четыре дополнительных вопроса, посредством которых старались определить факторы, предсказывающие результаты по ЕНТ и IQ-тесту:

1) Опишите ваши уроки по математике в старших классах (скучные/по-разному/ интересные).

2) Какой у вас уровень английского (базовый, базовый+, средний, продвинутый).

3) Сколько книг у вас в доме?

4) Сколько книг, не относящихся к школьной программе, вы прочитали за последний год?

Вопросы и распределение ответов представлены в диаграмме 4.

Диаграмма 4. Дополнительные вопросы участникам Narxoz Challenge 2016 и распределение ответов (%)

Опрос показал, что большинство выпускников школ охарактеризовали свои уроки математики как интересные; уровень их английского – базовый; в доме у них есть от 50 до 100 книг, а за последний год они прочитали менее 5 книг.

Наша рабочая гипотеза заключается в том, что учащиеся, у которых были интересные уроки математики, хороший уровень английского, много книг в доме и кто много читает, получают хорошие результаты как по ЕНТ так и IQ тесту. Соотношения показаны в диаграммах 5 и 6.

Диаграмма 5. Соотношение между ответами на опрос и результатами IQ-теста

Диаграмма 6. Соотношение между ответами на опрос и результатами ЕНТ

Мы также провели формальный эконометрический анализ того, как различные характеристики студента, взятые вместе, влияют на его результаты по ЕНТ и IQ-тесту. Результаты представлены в таблице 1 ниже. Для тех, кто не знаком с эконометрикой, поясню, как читать данную таблицу. Переменные, обозначенные (*) являются статистически важными, что говорит об их значимости в интерпретации результатов IQ-теста и ЕНТ. Число (*) говорит о силе значимости: чем больше (*), тем значимее переменная. Число само по себе показывает, насколько варьируется результат IQ-теста или ЕНТ студента в среднем, если увеличить значение данной переменной на одну единицу. Например, в среднем результат студента по ЕНТ выше почти на 7 баллов, если уровень его английского поднимается вверх на одну категорию (с базового до среднего уровня).

Tаблица 1. Результаты оценки эконометрической модели

Так о чём говорят нам все эти данные? Впечатления студентов об их уроках математики не влияют на IQ-тест, но те студенты, чьи занятия по математике были интересными, показывают более высокие результаты по ЕНТ. Студенты, хорошо владеющие английским, также хорошо справляются как с IQ-тестом, так и с ЕНТ, но сильнее знание языка влияет на ЕНТ.

В Казахстане уровень преподавания английского языка в средних школах низкий, в связи с этим часто ученики из состоятельных семей ходят на дополнительные частные занятия. Таким образом, уровень знания английского языка может служить верным показателем как качества преподавания в школе, так и уровня дохода семьи.

Интересно то, что результаты со всего мира о взаимосвязи количества книг в доме и успеваемости студента также подтверждаются и в Казахстане. Студенты, у которых больше книг в доме, добиваются лучших результатов по обоим тестам. Количество книг, прочитанных за последний год, оказалось статистически не значимым.

Пока описанные результаты следует рассматривать как предварительные, однако они тем не менее уже указывают на необходимость реформы в отношении ЕНТ. Полагаясь на опыт Narxoz Challenge 2016, мы рекомендуем следующее:

1. Использовать общие результаты ЕНТ для определения группы учащихся, которой следует соревноваться за государственные гранты.
2. А вот для выбора победителей гранта, рассматривать только результаты дополнительного IQ-теста (проверяющего на наличие критического мышления и умения решать проблемы).
3. При разработке вступительных экзаменов университетам следует уделять большее внимание английскому языку, даже в случае студентов, поступающих на казахское или русское отделение.
4. Для определения интеллектуального уровня и потенциала студента следует принимать во внимание такой показатель как количество книг в его домашней библиотеке.