Я попросил 4 нейросети найти мне 20 источников по педагогике 2023–2025 и проверил каждый вручную

Сегодня студенты (да что лукавить, не только они, но и аспиранты и даже опытные и авторитетные ученые) при подготовке исследовательских материалов или написании тех или иных работ прибегают к современным цифровым инструментам и решениям. Они используют целенаправленно: для экономии времени и сил, автоматизации типичных процессов, упрощения исследовательского процесса. Но, как показывает практика, не всегда задействование современных компьютерных благ оказывается уместным и эффективным.

Команда DissHelp решила продемонстрировать наглядно возможности и эффективность применения нейросетей для подбора литературы в педагогическом исследовании. Мы протестировали 4 наиболее популярные нейросети среди студентов и аспирантов педагогических профилей. Ниже мы расскажем, чем увенчался это эксперимент и к каким выводам мы пришли.

Суть эксперимента

В последние пару лет студенты и аспиранты стали чаще обращаться к нейросетям для подбора информационной базы курсовой, дипломной или научной работы. Мы решили лично опробовать 4 наиболее доступные и популярные (по статистике и многочисленным соцопросам) ИИ: ChatGPT, Yandex GPT, Claude, Gemini.

Суть эксперимента проста: оценить качество подобранной нейросетью литературы мы конкретизировали условия и критерии подбора в промте:

• Источники информации должны быть актуальными. В идеале дата публикации должна приходится на 2023-2025 годы;
• Количество источников, которые требовалось подобрать – 20;
• Направление литературы – педагогика (в промте указали конкретную тему по педагогике).

На основе опыта. Наши эксперты смогут не только оценить возможности и скорость работы популярных нейросетей. Но и определить сильные и слабые стороны каждого инструмента, оценить результаты поиска и сформулировать четкие рекомендации для пользователей.

Наши эксперты решили действовать в рамках следующей программы эксперимента:

1. Выбор конкретных 4 программ на основе искусственного интеллекта, которыми чаще всего (по статистике) пользуются универсанты в учебных целях. В нашем случае мы остановились на вышеуказанных вариантах: ChatGPT, Yandex GPT, Claude, Gemini. Притом мы использовали сугубо бесплатный (то есть максимально доступный) инструментарий.
2. Формулировка запроса для каждой нейросети с учетом общих рекомендаций и правил пользования. Наши специалисты постарались сформулировать четкий промт для каждого сервиса. В каждом запросе была отмечена тема «педагогика», требования к дате публикации, количество искомых источников информации.
3. Анализ списка литературы, рекомендованного каждой нейросетью: проверка источников на такие параметры, как тематическая приверженность, актуальность, количество, реальность и достоверность.
4. Формулировка выводов по результатам опыта, обобщение, констатация фактов.

Наш эксперимент призван показать возможности и условия качественного применения нейросетей в исследовательском процессе, а также выделить ошибки, нюансы, и риски. Мы не против цифровых технологий, но их задействование должно быть эффективным и полезным.

К сожалению, как показывает практика. Студенты и аспиранты в 80% случаев полностью доверяют ИИ как поиск литературы, так и написание текста, не проверяя полученный результат. Такое делегирование чаще всего оборачивается как минимумом кучей замечаний и серьезной доработкой.

Эксперимент: подбор литературы по педагогике с помощью ChatGPT, Yandex GPT, Claude, Gemini

Итак, начнем наш эксперимент. В рамках каждой из упомянутых нейросетей мы указали промт: найди 20 источников информации по педагогике за 2023-2025 годы. Запрос был конкретизирован (в рамках конкретной темы исследования). Давайте посмотрим. Что мы получили.

ChatGPT

ChatGPT – одна из самых популярных онлайн-площадок, которая помогает получить ответ на любой вопрос. Также студенты нередко используют ее для поиска научной, учебной и иной литературы.

Мы также опробовали ее и получили следующие результаты:

• Наш эксперт просил найти 20 источников информации по педагогике (на заданную тему). Проанализировав сгенерированный список, мы поняли, что нейросеть выполнила запрос не полностью. Он подобрал лишь 18 инфоресурсов. То есть с поставленной задачей справился на 90%.
• Оценив актуальность подборки, напрашивается вывод: основная часть литературы является актуальность. Дата ее публикации укладывается в отмеченный диапазон. Так, данная нейросеть предложила 12 актуальных материалов, оставшиеся 6 – не архивные, но более ранние публикации (2019-2022 года).
• Собранный перечень разнообразен. ChatGPT включил и научные статьи, и материалы конференций, фрагменты из монографий и диссертаций последних лет, статистические данные для аналитики и пр. В этом части претензий нет и задача выполнена на 100%.
• Описание источников информации вызывало шквал вопросов. Во-первых, оно везде производилось не по одной схеме: где-то не указан автор, где-то нет названия или номера журнала (в котором опубликована статья), не везде отмечена дата публикации (поэтому понят, актуален материал или нет сразу не удалось). DOI было отмечено только в отношении 8 источников. Из-за неполного библиографического описания, возникают вопросы и сомнения относительно качества подборки.
• Нейросеть подобрала аннотации к 10 источникам информации.
• Около 15% источников информации – иностранные, переведенные, с отсылкой на оригинал. Но проверить качество перевода не удалось.

Проанализировав в целом работу ChatGPT по подбору источников информации по педагогике, мы пришли к выводу: работает быстро, тематически старается придерживаться критериев поиска, но не все материалы все-таки раскрывают суть запрос аи темы. Около трети материалов можно отнести к смежным, поверхностным.

При оценке достоверности подборки, наши эксперты заметили, что в 8 случаях информация о первоисточнике некорректная: название и авторы – реальные, а остальное описание – журнал, дата, ISSN или DOI вымышленные.

Если оценить эффективность работы данного ИИ в целом, то мы пришли к выводу: 12 источников можно считать релевантными и качественными, доступными. Но их описание не всегда оказывается достоверным.

Yandex GPT

Вторым экспериментальным «образцом» стал Yandex GPT. Наш эксперт также указал четкий промт-запрос, с акцентом на поиск литературы по педагогике. Результаты поиска не заставили себя долго ждать.

Буквально через пару минут нейросеть выдала следующее:

• В списке собранных материалов наблюдалось лишь 18 источников из необходимых 20.
• Доминирующая часть литературы приходилась на работы российских ученых. Иностранная литература сведена к минимуму – буквально 3-4 статьи;
• По актуальности информации вопросов не возникло. 16 указанных рукописей были опубликованы согласно параметрам поиска – в 2023-2025 годах. Оставшиеся 4 ресурса были очень разношерстными: 2 из них опубликованы в 2017-2022 годах, еще 2 – намного раньше, архивная информация.
• Около 75% подборки приходилось на публикации в ВАК-журналах. То есть основная часть ресурсов – научные статьи и обзоры, научные доклады. Фактически, здесь наблюдается более монотонный подбор данных. Но тематически все они находятся в одной плоскости, раскрывают заявленную тему: треть материалов – бегло затрагивают те или иные аспекты, но в большей степени на основе подборки тему можно развить достаточно глубоко.
• Практически все источники информации имеют ссылку на публикацию в РИНЦ, КиберЛенинка или eLibrary. Но при проверке ссылок выяснилось, что около трети из них – неактивны, еще треть – приводят к совершенно иной публикации.
• К наибольшей части первоисточников приложены тезисы или краткое описание материала. Притом характеристика содержания вполне адекватная, корректная. Около четверти подборки не имеют такой характеристики.
• Библиографическое описание источников – слишком обобщенное. Нейросеть решила отметить только основное: автор, название работы, дата публикации. Не везде был отмечен первоисточник (где был опубликован материал), уточнен номер журнала или страницы статьи, в отношении половины списка не указано DOI.

В целом, Yandex GPT справился с поиском материалов для педагогического исследования неплохо. Но при оценке актуальности публикаций, наша эксперты выявили, что в 3 случаях дата была просто изменена. На самом деле материал был опубликован гораздо раньше. Так нейросеть, видимо, «обновила» и актуализировала список.

Также из погрешностей поиска данных можно выделить дублирование информации. Наша команда заметила, что одна и та же ситуация. Факт, мнение описывается в 2 источниках, но с разными датами публикации, в разных изданиях. Суть не искажена, все изложено грамотно и достойно, но сам факт дублирования налицо. Поэтому качественно, количество подходящих ресурсов сокращается на 2 единицы.

Помимо этого, команду DissHelp смутила монотонность подборки. Нейросеть включила в перечень преимущественно научные статьи из ВАК-журналов (притом отметила квартили изданий К1 и К2). Но тема по педагогике может быть раскрыта гораздо интереснее, если разнообразить источники. На основе статей и обзоров нельзя категорично что-то утверждать.

При проверке качества и достоверности материалов, было выявлено, что около трети данных 0 вымышленные. То есть отмеченная ссылка некорректна или приводи к совершенно иной публикации, другому автору и пр. Поэтому возникают сомнения относительно качества подборки.

Claude

Claude также продемонстрировал некие успехи и погрешности при подборе литературы по педагогике. Несмотря на уточненный запрос, настройку фильтров, конкретизацию параметров поиска, были получены следующие результаты.

1. Данная нейросеть составила список из 15 ресурсов. То есть запрос был выполнен частично. ИИ не смогла подобрать 20 материалов по заданной теме. Видимо, ее база данных – более узкая.
2. В плане оценки актуальности публикаций, на первый взгляд – все 15 источников укладываются в рамки указанного диапазона. Материалы, согласно библиографическому описанию, опубликованы строго в 2023-2025 годах это прямо порадовало глаз.
3. Содержательно перечень очень разнообразен. Данная нейросеть включила в подборку не только научные статьи и ВАК-статьи. Здесь отмечены диссертации (защищенные сравнительно недавно), и статистические материалы, методические рекомендации, различные отчеты и пр. Более того, данная нейросеть включила даже препринты из arxiv. В целом, на основе такой информации тему можно раскрыть глубоко, интересно, с конкретными примерами и фактами.
4. Также ИИ осмелилась взять на себя оценку релевантности и качества материала. Напротив каждого источника была выставлена оценка качества информации. Отметки были сугубо положительными: 4 и 5. То есть Claude постарался не просто собрать, все что есть, но и помочь в ранжировании материалов.
5. Но самое интересное, что напротив каждого материала ИИ привел емкое обоснование (почему он выбрал и чем может быть полезен материал). Это в значительно степени упрощает поиск и контекстуальный разбор источника. Пользователь может сразу понять, как можно и как лучше применять информацию отсюда и пр.
6. Ссылки на материал были все действующие. Но при проверке выяснилось, что 3 из них – приводят не к оригиналу, а к сторонним ресурсам, схожим по теме. То есть риск подлога также присутствует.

В целом, Claude – довольно ответственный ИИ-инструмент, который не просто формирует список подходящих материалов по педагогике. Он помимо подборки, сразу же оценивает и формирует своего рода мини-рекомендации по применения каждого ресурса. Да, возможно, акая схема работает не всегда, не в каждом промте. Но все же она облегчает работу с текстом в дальнейшем.

Честно сказать, данный инструмент с качественной стороны нашим консультантам понравился больше. Но при доскональной оценке литературной подборки. Все же вскрывались некоторые нюансы: неполное библиографическое описание, вымышленные DOI, пара источников информации оказалась с некорректной датой публикации (на самом деле они вышли в свет гораздо раньше).

Gemini

Данная нейросеть напрямую связана с Google и Google Scholar. Именно привязка к Академии Гугл чаще всего становится основанием для выбора этого инструмента. Студенты полагают, что связь с таким хранилищем гарантируем качественный подбор научной литературы.

К каким результатам привело использование для подбора литературы по педагогике с помощью Gemini? Давайте разбираться.

Во-первых, эта нейросеть предложила список из 22 источников, то есть запрос был даже перевыполнен. С этой задачей и частью промта сервис справился на все 110-120%. Это, пожалуй, единственный ИИ-инструмент, который в целом просто пренебрег ограничениями и предпочел предоставить пользователю больше выбора.

Во-вторых, на каждый источники информации была приведена сгенерированная ссылка на оригинал. Это позволяло быстро проверить качество материала и достоверность библиографического описания. При оценке этих параметров было выявлено, что 1 ссылка была неактивна совсем (страница заблокирована), вторая – приводила к статье с тематическим сходством, но ее публикация была раньше заявленного временного диапазона (примерно 2016 год).

Также следует отметить, что ссылки были сгенерированы нейросетью то в стиле АРА, то в рамках ГОСТ. Но в целом. Они были понятны и выделены. Напротив каждого ресурса присутствовать ссылка. ИИ так, видимо, подчеркивал, проверяемость данных.

В-третьих, доминирующая часть информационного перечня от ИИ состояла из научных статей, обзоров, научных докладов. Но также Gemini включил в подборку 2 препринта. Это подчеркивает умение не только собирать существующие публикации, но и предварительные данные по теме. В целом, содержательная сторона материалов была весьма разнообразна и позволяла провести глубокий анализ темы, опираться на статистические и научные факты и пр. Материалы были собраны не только на базе внутренней базы Google Scholar. Здесь наблюдались тексты из Scopus, wos, ERIC, РИНЦ и др.

В-четвертых, более 80% из инфоподборки приходится на русские рукописи. Доля иностранной литературы крайне мала – всего 3-5%. Притом иностранные источники сразу приведены в переводе на русский. А при оценке качества информации. Консультантам показалось, что тематически зарубежная литература с трудом связана с педагогикой. Эти материалы больше носят справочный или смежный характер, их связь с запросом весьма косвенна.

В-пятых, почти все материалы можно считать актуальными. 20 из подобранных 2022 удовлетворяют промту. Но 2 сверхнормы ресурса при проверке актуальности оказались «текстами из будущего» — препринты 2026 года.

При проверке списка литературы, было выявлено, что в целом вымышленных источников информации в нем нет. Ссылки действующие. Одна хоть и привела не к оригиналу, но тематически может быть использована в исследовании.

Результаты эксперимента и общие выводы

Итак, к чему же пришли эксперты DissHelp по результатам данного опыта? Предлагаем вам сравнить результаты поиска литературы и выделить соответствующие тенденции.

Критерий	ChatGPT	Yandex GPT	Claude	Gemini
Объем выборки, количество источников	18	18	15	22
Актуальность материалов согласно запросу, количество актуальных ресурсов	12	16	15	20
Разнообразие первоисточников	Высокое	Среднее	Высокое	Выше среднего
Качество библиографической характеристики источников	Среднее	Высокое	Высокое	Высокое
Дополнительные материалы к списку литературы (тезисы. Аннотации)	Частично есть	Есть не всегда	Есть	Есть не всегда
Вымышленные источники	Есть	Есть	Есть	Есть

Мы старались использовать один и тот же промт для всех ИИ, редко его перефразируя, уточняя под требования и правила сервиса. В целом мы получили следующие тенденции.

Все нейросети в целом вполне успешно ищут нужную литературу. Тематически они подбирают ресурсы вполне корректно. Бывают отклонения от заданного курса, появляются вторичные или смежные материалы. Но в целом подборка позволяет раскрыть суть исследования и разобраться в основных вопросах довольно глубоко.

Каждый из сервисов по возможности указывает основные характеристики для каждого источника. Н не всегда библиографическое описание оказывается корректным, а указанная ссылка на оригинал – достоверной и работающей.

Вымышленная литература присутствует практически в каждой подборке. Притом, если включить в этот перечень все искаженные данные: некорректная дата публикации, придуманный DOI, отражение другого журнала, отражение некорректных данных об авторе, ресурсы-дубликаты и пр. То в общей сложности выясняется, что более половины подборки оказывается придуманной! По факту, либо такой источник есть, но опубликован в другом месте. В другое время, либо такого материала вовсе нет, и ссылка приводит к совершенно другой рукописи, другому автору и пр.

Но в целом, все сгенерированные списка литературы были довольно разнообразными. Да, наблюдалось преобладание сугубо научной литературы, но при этом она была представлена в виде нескольких форматов: статьи, обзоры, доклады, диссертации, монографии и пр. Где-то преобладал 1 вид информации, где-то несколько. Притом чаще всего нейросети отдают предпочтение работам соотечественникам. Доля иностранной литературы невелика.

Рекомендации по применению нейросетей для подбора источников информации

На основе результатов проведенного нами эксперимента, мы подготовили несколько советов для пользователей (студентов, аспирантов, исследователей), которые помогут избежать ошибок и погрешностей.

Во-первых, старайтесь составить четкий, однозначный промт. Укажите в нем основные требования к искомой литературе: дата публикации, тема и ключевые слова, количество, по необходимости – место публикации, тип или формат рукописи и пр. Учтите особенности составления промта для каждого ИИ-сервиса.

Во-вторых, используйте несколько нейросетей одновременно (или параллельно). У каждого сервиса действует своя «аза знаний», доступ к определенной информации. Работают они в целом идентично, но результаты могут отличаться. Так вам будет проще скооперировать из 4 сгенерированных списков 1, но более качественный и надежный.

Чаще всего студенты для поиска ответа на типичные вопросы и сомнения используют ChatGPT, Yandex GPT, а для более глубокого поиска – Claude или Gemini.

В-третьих, доверяй, но проверяй. Фактчекинг никто не отменял. Лучше всего проверить каждый источник вручную: перейти по ссылке, открыть оригинал согласно библиографическому описанию. Так вы убедитесь в качестве информации и ее оригинальности. В каждой нейросети наблюдаются «галлюцинации» и сфантазированная часть первоисточников, дублирование материалов. Проверка поможет исключить такие ресурсы из исследования, повысить его качество.

Оценивайте не только визуально (существует такая работа или нет), но и качественно (контекст, содержание, описание и пр.).

Лучше всего использовать нейросети для первичного подбора информации по теме исследования, а не для формирования окончательного списка литературы.