Новости космоса и технологий. » Технологии » Искусственный интеллект может прогнозировать результаты обучения учащихся на основе твитов

Искусственный интеллект может прогнозировать результаты обучения учащихся на основе твитов

Опубликовал: Admin, 23-10-2020, 01:01, Технологии, 44, 0

Искусственный интеллект может прогнозировать результаты обучения учащихся на основе твитов

Иван Смирнов, ведущий научный сотрудник лаборатории вычислительных социальных наук Института образования НИУ ВШЭ, создал компьютерную модель, с помощью которой можно отличить отличников от других на основе их публикаций в социальных сетях. Модель прогнозирования использует математический текстовый анализ, который регистрирует словарный запас пользователей (его диапазон и семантические поля, из которых берутся концепции), символы и символы, длину сообщения и длину слова.

Каждое слово имеет свой рейтинг (своего рода IQ). Научные и культурные темы, английские слова, а также более длинные слова и сообщения имеют большое значение и служат показателями хорошей успеваемости. Обилие смайликов, слов или целых фраз, написанных заглавными буквами, а также словарный запас, связанный с гороскопами, вождением и военной службой, указывает на более низкие оценки в школе. В то же время сообщения могут быть довольно короткими - даже твиты довольно информативны. Исследование поддержано грантом Российского научного фонда (РНФ), а статья с подробным описанием результатов исследования была опубликована в EPJ Data Science .

Зарубежные исследования уже давно показали, что поведение пользователей в социальных сетях - их сообщения, комментарии, лайки, характеристики профиля, изображения и фотографии пользователей - можно использовать для составления их исчерпывающего портрета. Поведение человека в социальных сетях можно проанализировать, чтобы определить его образ жизни, личные качества, индивидуальные характеристики и даже состояние его психического здоровья. Также очень легко определить социально-демографические характеристики человека, включая его возраст, пол, расу и доход. Здесь появляются изображения профиля, хэштеги Twitter и сообщения Facebook.

Лайки пользователя в Facebook могут раскрыть их религиозные и политические взгляды, сексуальную ориентацию, личные качества и уровень удовлетворенности жизнью. Комментарии пользователя в Facebook могут показать уровень их агрессивности, а твиты пользователя в Twitter могут указать, страдает ли он депрессией. Сообщения в блогах также много говорят о личностях их авторов. Даже картинки и изображения (например, в Instagram) - отличный источник цифровой психометрии.

Но цифровые трассировки предоставляют богатый материал не только на индивидуальном, но и на агрегированном уровне. Например, вы можете рассчитать электоральные предпочтения жителей города, используя данные из Google Street View - функции, которая позволяет просматривать панорамы улиц города и видеть, на каких транспортных средствах ездят жители. Оцифрованные книги можно использовать для определения уровня национального субъективного благополучия в разных странах.

Однако очень мало исследований было посвящено составным, более сложным характеристикам, таким как студент успеваемость и успеваемость в школе, которые зависят от многих факторов. «В нашем новом исследовании мы попытались спрогнозировать успеваемость старшеклассников и студентов на основе их сообщений в ВКонтакте и Twitter», - говорит Иван Смирнов. «Способность к обучению - очень сложная человеческая характеристика. На него влияют не только черты характера, но и психологическое самочувствие. Увы, в отличие от академической успешности, которая доступна в открытом доступе, в учебных заведениях нет механизмов для измерения последней ».

Казалось бы, интуитивно ясно, что если студент пишет о квантах, теории струн, Ньютоне, Шекспире и Набокове в социальных сетях, он, по крайней мере, мотивирован учиться. Если бы вы взглянули на табель успеваемости этого студента, вы, вероятно, увидели бы «А» и «Б». И если подросток пишет посты о гороскопах или автомобильных авариях, в которых много орфографических ошибок, скорее всего, он не особенно сильный ученик. Но чтобы интуиция не превратилась в когнитивную предвзятость, всегда лучше подтверждать это числами. Например, можно математически вычислить, какие слова «умнее».

Однако наиболее важным аспектом использования цифровых данных является то, что многие аспекты подростков трудно определить с помощью традиционных методов исследования, таких как опросы и интервью. Эти методы исследования часто содержат личные вопросы, на которые подростки могут не отвечать или не отвечать правдиво. Подростки, как правило, более замкнуты, поэтому учёным труднее учиться. Но цифровые данные могут дать более глубокое представление об этой возрастной группе и раскрыть ранее неизвестные аспекты их жизни.

В исследовании Смирнова использовалась репрезентативная выборка данных лонгитюдного когортного панельного исследования НИУ ВШЭ «Образовательные и карьерные траектории» (TrEC). В исследовании прослеживается карьерный рост 4400 студентов из 42 регионов России из вузов, участвующих в программе PISA (Программа оценки иностранных студентов). Данные исследования также включают данные об учетных записях студентов в ВК (3483 студента-участника дали согласие на предоставление этой информации).

«Поскольку такие данные в сочетании с цифровыми трассировками получить сложно, они почти никогда не используются», - говорит Смирнов. Между тем, такой набор данных позволяет разработать надежную модель, которую можно применить к другим параметрам. И результаты могут быть экстраполированы на всех остальных учеников - старшеклассников и учеников средней школы.

В качестве обучающей выборки использовались сообщения с общедоступных страниц ВКонтакте - всего 130575 сообщений от 2468 субъектов, прошедших тест PISA в 2012 году. Тест позволил исследователю оценить академические способности студента, а также их способность применять свои знания на практике. В исследование были включены только общедоступные сообщения ВКонтакте от согласившихся участников.

При разработке и тестировании модели из теста PISA в качестве индикатора академических способностей использовались только оценки учащихся по чтению, хотя всего существует три теста: чтение, математика и естественные науки. PISA определяет грамотность чтения как «понимание, использование, размышление и взаимодействие с письменными текстами для достижения своих целей, развития своих знаний и потенциала, а также для участия в жизни общества». Экзамен состоит из шести уровней владения языком. Учащиеся, набравшие 2 балла, считаются отвечающими только базовому минимальному уровню, а те, кто набрал 5 или 6 баллов, считаются сильными учениками.

В ходе исследования неконтролируемое машинное обучение с векторным представлением слов было выполнено в пост-корпусе ВКонтакте (всего 19 миллиарда слов, с 25 миллионами уникальных слов). Он был объединен с более простой моделью машинного обучения с учителем, которая была обучена на отдельных должностях и обучена прогнозированию результатов PISA.

«Мы представили каждый пост как 300-мерный вектор, усредняя векторные представления всех составляющих его слов», - пишет Смирнов. «Эти представления сообщений использовались для обучения модели линейной регрессии для прогнозирования оценок авторов сообщений PISA».

Под «прогнозированием» исследователь подразумевает не прогнозирование будущего, а корреляцию между рассчитанными результатами и реальными баллами, полученными учащимися на экзамене PISA, а также их результатами ЕГЭ (которые общедоступны в Интернете в агрегированной форме, т. Е. , средний балл по школе). На предварительном этапе модель научилась предсказывать данные PISA. В итоговой модели расчеты сверялись с результатами ЕГЭ выпускников средних школ и абитуриентов.

Предполагалось, что окончательная модель сможет достоверно распознать, написал ли сильный ученик или слабый ученик конкретный пост в социальной сети, или, другими словами, дифференцировать предметы в соответствии с их успеваемостью. После периода обучения модель смогла различать сообщения, написанные студентами, получившими высокие или низкие баллы по PISA (уровни 5-6 и уровни 0-1) с точностью 937%. Что касается сопоставимости PISA и ЕГЭ, хотя эти два теста различаются, исследования показали, что результаты учащихся по этим двум тестам сильно коррелируют друг с другом.

«Модель была обучена с использованием данных PISA, и мы рассмотрели корреляцию между прогнозируемыми и реальными оценками PISA (которые доступны в исследовании TrEC)», - поясняет Смирнов. «С ЕГЭ все усложняется: поскольку модель ничего не знает об объединенных экзаменах, она, как и раньше, предсказывала баллы PISA. Но если предположить, что ЕГЭ и PISA измеряют одно и то же - академическую успеваемость, то чем выше чем прогнозируются результаты PISA, тем выше должны быть результаты ЕГЭ ». И тот факт, что модель научилась предсказывать одно, а может предсказывать другое, интересен сам по себе, отмечает Смирнов.

Однако это также требовало проверки, поэтому модель затем была применена к 914 русским средним школам (расположенным в Санкт-Петербурге, Самаре и Томске; этот набор включал почти 39000 пользователей, которые создали 11 миллиона сообщений) и 100 крупнейших университетов России. (115800 человек; 6.5 миллионов сообщений) для измерения успеваемости студентов в этих учреждениях.

Оказалось, что «прогнозируемая успеваемость во многом зависит от результатов ЕГЭ», - говорит Смирнов. «Коэффициент корреляции составляет от 049 до 06. А в случае университетов, когда сравнивались прогнозируемая академическая успеваемость и баллы абитуриентов ЕГЭ (информация доступна в текущем исследовании по мониторингу качества приема в вузы НИУ ВШЭ), то результаты также показали, что сильная связь. Коэффициент корреляции 083 что значительно выше, чем для средней школы, потому что данных больше ".

Но можно ли применить эту модель к другим сайтам социальных сетей? «Я проверил, что будет, если вместо постов в ВК мы будем давать модельные твиты, написанные теми же пользователями», - говорит Смирнов. «Оказалось, что качество модели существенно не ухудшается». Но поскольку достаточное количество аккаунтов в Твиттере было доступно только для набора данных университета (2836), анализ проводился только на этом наборе.

Важно, чтобы модель успешно работала с наборами данных различных сайтов социальных сетей, таких как VK и Twitter, тем самым доказывая, что она может быть эффективной в разных контекстах. Это означает, что его можно широко применять. Кроме того, эту модель можно использовать для прогнозирования самых разных характеристик, от успеваемости учащихся до доходов или депрессии.

Во-первых, Смирнов выделил общие текстовые особенности сообщений по отношению к академической успеваемости их авторов (рис. 1). Было обнаружено, что использование заглавных слов (-008), эмодзи (-006) и восклицаний (-004) отрицательно коррелирует с успеваемостью. С другой стороны, использование латинских символов, средняя длина сообщения и слова, размер словарного запаса и энтропия пользовательских текстов положительно коррелируют с академической успеваемостью (от 007 до 016 соответственно).

Также было подтверждено, что учащиеся с разным уровнем успеваемости имеют разный словарный запас. Смирнов исследовал получившуюся модель, выбрав 400 слов с наибольшим и наименьшим баллами, которые встречаются в обучающем корпусе не менее 5 раз. Тематические кластеры были идентифицированы и визуализированы (рис. 2).

Кластеры с наивысшими баллами (выделены оранжевым) включают:



Английские слова (сверху мол, ваш, должен);



Слова, относящиеся к литературе (Брэдбери, Фаренгейт, Оруэлл, Хаксли, Фолкнер, Набоков, Бродский, Камю, Манн);



Понятия, связанные с чтением (прочитать, опубликовать, книгу, том);



Термины и названия, относящиеся к физике (Вселенная, квантовая, теория, Эйнштейн, Ньютон, Хокинг);



Слова, относящиеся к мыслительным процессам (мышление, запоминание).

Кластеры с низкими баллами (отмечены зеленым цветом) включают слова с ошибками, названия популярных компьютерных игр, понятия, относящиеся к военной службе (армия, присяга и т. Д.), Термины гороскопа (Овен, Стрелец) и слова, связанные с вождением и автомобильными авариями (столкновение , ГАИ, диски, тюнинг).

Смирнов рассчитал коэффициенты для всех 25 млн слов векторной модели и предоставил их для дальнейшего изучения. Интересно, что даже слова, которые редко встречаются в наборе обучающих данных, могут предсказать академическую успеваемость. Например, даже если имя «Ньют» (как у персонажа Гарри Поттера, Ньют Скамандер) никогда не появляется в наборе обучающих данных, модель может присвоить более высокий рейтинг сообщениям, которые его содержат. Это произойдет, если модель узнает, что слова из серии романов используются учениками с высокими достижениями, и посредством обучения без учителя «интуитивно» поймет, что имя «Ньют» относится к этой категории (то есть слово близко расположено к этой категории). другие концепции из Гарри Поттера в векторном пространстве).

Почему эта модель важна?

Предложенная модель может быть применена к широкому кругу областей, таких как литература, еда, политика и многое другое. Например, исследователи в области образования заинтересованы в понимании того, что отличает успешные школы от средних школ. Но если, скажем, посмотреть на особенности школ с высокими баллами ЕГЭ, это мало что скажет, но очевидно, что в этих школах учатся сильные, лучше подготовленные ученики.

«Было бы хорошо, если бы исследователи посмотрели на школы, которые показывают наибольший рост оценок», - говорит Иван Смирнов. «И теоретически наш метод можно использовать для измерения этого увеличения, а затем посмотреть на факторы, связанные с ним на уровне школы». В целом, поскольку модель «не зависит от конкретного языка, источника текстов или целевой переменной, - отмечает он, - ее можно применять к широкому спектру настроек».

Примечательно, что в России никогда не проводилось столь представительного исследования, которое бы коррелировало академические данные студентов и их активность в социальных сетях. Однако есть исследования, также проведенные Иваном Смирновым, которые подходят к этому. Три года назад он показал, что страницы и группы старшеклассников, которые следят в ВК, коррелируют не только с их интересами, но и с их успеваемостью.

В предыдущем исследовании Смирнов построил модель это позволяет определять оценки учащихся PISA на основе страниц, на которые они подписаны в социальных сетях. Как потом выяснилось, у сильных и слабых учеников разные интересы, что отражается на страницах, которые они выбирают. Таким образом, более сильные ученики часто посещают страницы, посвященные науке, технологиям и культуре, а более бедные ученики с большей вероятностью посещают страницы юмора и гороскопов. Как тогда прокомментировал исследователь, сильные студенты «ищут в Интернете контент, который носит образовательный, а не развлекательный характер».

Цифровой анализ следов чрезвычайно популярен, и исследования всегда вызывают большой интерес, но главный вопрос, касающийся того, как они проводятся, - их этика - еще не решен. Допустимо ли использовать данные из социальных сетей с моральной точки зрения? «Надо взвесить все« за »и« против »и решить, что перевешивает другое, - говорит Смирнов.

Хотя вся информация является общедоступной, существуют важные факторы, которые могут препятствовать ее использованию. «Например, не все пользователи могут понять, что информация о них доступна, и не все пользователи обладают техническими навыками для загрузки информации, что создает неравенство», - говорит Иван Смирнов. «Никто не задумывается дважды, просматривая чужой профиль, потому что это может делать каждый, но только теоретически каждый может загрузить информацию».

«Наверное, не все люди думают, что, заходя на чью-то страницу ВКонтакте, они делают то же самое, что и исследователи или частные компании: отправляют запрос на серверы социальной сети и сохраняют информацию о человеке на своем компьютере», - говорит Смирнов. «Просто они делают это не через собственный скрипт, как мы, а с помощью готовой программы - браузера». Однако технически эти действия идентичны; различия только в масштабе. Хотя также вполне возможно просматривать страницы нескольких тысяч человек без каких-либо скриптов.

Есть также факторы, которые могут склонить чашу весов в пользу «профи». «В отличие от частных компаний, некоторые из которых скачивают весь сайт ВКонтакте каждый день, наша деятельность носит некоммерческий и публичный характер», - отмечает исследователь. «Мы пытаемся получить новые полезные знания о мире, и все, что мы делаем, общедоступно».

И если пользователь, например, прочитал статью на IQ.HSE и рассердился, что за ним «наблюдают», это означает, что он получил пользу от исследования. «Теперь они знают, что их данные в ВК могут быть использованы, и они будут защищаться, используя настройки конфиденциальности сайта. Не только мы, исследователи, но и злоумышленники, не сможем получить к ним доступ», - говорит Иван Смирнов.

Однако исследование Смирнова не нарушает ни моральных норм, ни личных границ. Во-первых, он использовал только общедоступные сообщения. Во-вторых, администрация ВКонтакте особо предупреждает, что «личная информация, размещенная Пользователем, может стать доступной другим Пользователям Сайта и пользователям Интернета, копироваться и распространяться такими пользователями».

«Наши исследования были оценены этической комиссией и приняты в ведущие журналы.[This methodology]Сейчас считается нормой», - говорит Иван Смирнов.

Более того, методы, использованные в исследовании, не предназначены для работы на индивидуальном уровне. «Наши результаты[in a number of recent projects]Носят общий характер: родители упоминают своих сыновей чаще, чем дочерей, в социальных сетях, а ученики с аналогичным уровнем успеваемости чаще дружат друг с другом», - говорит Иван Смирнов. «И когда я говорю, что мы можем использовать этот метод для отслеживания успеваемости учащихся, я не имею в виду на индивидуальном уровне».


Источник


У данной публикации еще нет комментариев. Хотите начать обсуждение?

Написать комментарий
Имя:*
E-Mail:
Введите код: *
Кликните на изображение чтобы обновить код, если он неразборчив


Поиск по сайту
Полезные ссылки
Оцените работу сайта

TEHNONEWS

Новости космоса технологий нанотехнологий физики и химии