Как мы проверяем эмпирические расчёты клиентов после того, как они использовали ChatGPT для статистики

Сегодня (в век цифровых и IT технологий) исследователи стараются максимально эффективно пользоваться новыми благами. Так, аспирантам и даже опытным ученым не чуждо применение нейросетей. С их помощью они в значительной степени ускоряют поиск информации, а также некоторые операции (расчетные, аналитические). Но не всегда авторы диссертаций замечают нестыковки, противоречия или сомнительные моменты в сгенерированном тексте.

Эксперты DissHelp.ru часто сталкиваются с заказами по проверке подготовленных рукописей. Особое внимание они уделяют мониторингу и контролю эмпирической части, где присутствуют расчеты на основе статистических данных. Студенты и аспиранты стали чаще пользоваться открытыми ИИ-сервисами, но не все вузы одобряют этот шаг. Сегодня мы расскажем, как проходит проверка таких работ, где привлекался ChatGPT.

Почему нужно проводить проверку эмпирических расчетов особенно после ChatGPT?

ChatGPT– один из современных и наиболее популярных инструментов среди студентов, аспирантов и ученых. С его помощью можно не просто быстро подобрать информацию в рамках изучаемой темы. Данный сервис предоставляет широкий спектр услуг. Если их грамотно адаптировать под запросы и потребности, то можно в значительной степени упростить и ускорить исследовательский процесс.

Нередко при написании диссертации для обоснования темы и проблемы авторам приходится производить эмпирические расчеты. В последнее время они стали чаще доверять эту задачу ChatGPT. Искусственный интеллект берет на себя самые разные полномочия:

• Поиск статистической и иной эмпирической информации по теме для проведения анализа. В данном случае может быть рассмотрена общая ситуация для обоснования актуальности выбранного направления, изучение определенного объекта и обоснование проблемы, отражение значимости исследования в глобальных и частных масштабах и пр.
• Описание, разъяснение и уточнение. ChatGPT с помощью наводящих или уточняющих вопросов поможет пользователю разобраться в тех или иных статистических данных, формулах, методах.
• Автоматизация простейших или рутинных задач. Нейросети – отличные помощники, которые действуют по конкретному алгоритму. Им смело можно доверить проведение расчетов (указав нужную формулу). Риск ошибок в этом случае минимален, а скорость вычислений – высокая. То, над чем студент или исследователь, будет сидеть часами, ИИ выполнит за считанные минуты.
• Обработка и выделение тенденций на основе большого объема данных. Аспиранту или соискателю приходится тратить не один год на то, чтобы собрать актуальную информацию по теме или ситуации, актуализировать материал и грамотно его преподнести: вписать свежие или новые факты в текущий контекст, провести дополнительные расчеты или прогнозы, сравнить отдельные показатели в предшествующих периодах с текущими и пр. Порой авторам приходится работать с колоссальным информационным потоком: проводить различные опросы, эксперименты, замеры, затем приводить данные в универсальный или пригодный для анализа вид и формат, далее сопоставлять и выделять тенденции и пр. На это уходит уйма времени и сил. Нейросети же справляются с такими задачами гораздо быстрее.
• Интерпретация данных. ChatGPT– не просто отличный и эрудированный собеседник, который поможет уточнить те или иные вопросы, но и предложи различные варианты для отражения полученных результатов. Это сервис поможет грамотно сгруппировать полученные данные, обобщить их и преобразовать в визуально понятный вид: таблицы, графики, рисунки, диаграммы и пр. С его помощью показать и подчеркнуть тот или иной тренд не составит труда.

Казалось бы, рассматриваемая нейросеть – незаменимый помощник для автора диссертации, который может упростить изучение темы и проведение научного исследования, подготовку научной работы к защите. Но не всегда такая помощь оказывается во благо.

Ниже мы представим несколько весомых оснований для проверки проекта после использования ChatGPT.

Во-первых, нейросеть не гарантирует, что собранная им информационная база диссертации, статистические данные достоверны и корректны. Модель может как просто собирать доступную информацию и обобщать ее, выделяя основные показатели, так и фальсифицировать, «подбивать» данные под тему, гипотезу, конкретную позицию или методологию.

Во-вторых, ChatGPT нередко допускает так называемые «галлюцинации». Они проявляются в том, что сервис создает заведомо ложные данные для статистического анализа (адаптируя их под выбранный метод или подход). Такой ход не просто вводит читателей и экспертов в заблуждение, создает иллюзию научного исследования, но и фактически нарушает принципы академической этики.

В-третьих, модель предельно точно может рассчитать показатели согласно формулам, но не всегда анализ полученных результатов оказывается корректным, надежным, лингвистически грамотным. Часто ошибки возникают при проведении сложных расчетов и интерпретации результатов. Нейросети не всегда отмечают причинно-следственные связи. Вместо этого они либо просто описывают каждый показатель, либо обобщают итоги и описывают совершенно иную картину.

В-четвертых, эффективность ChatGPT напрямую зависит от корректности и точности формулировки промта. Если пользователь неопытен и не перепроверяет ответ от ИИ, то он рискует получить неверные представления и подготовить сомнительные выводы, рекомендации.

Когда наш эксперт слышит или видит пометку о том, что диссертация написала с применением ChatGPT, он засучивает рукава повыше и потуже, так как ему предстоит тщательно проверить материал и убедиться, что он соответствует действительности. Особое внимание уделяется анализу эмпирической части.

Как определить кто производил эмпирические расчеты в диссертации: человек или нейросеть? (признаки)

Получая на руки материал, специалист DissHelp первым делом проводит его глубокую вычитку, чтобы понять: кто на самом деле писал его – нейросеть или человек. Конечно, определить истинного автора «на глаз» с уверенностью в 100% невозможно. ИИ-сервисы дошли до совершенного уровня и способны генерировать человекоподобный текст. Но все же некоторые признаки могут поставить под сомнение заявление о том, что рукопись подготовлена самостоятельно.

Признак 1. Шаблонность и применение сложной терминологии, иноязычных слов. ChatGPT, как и любая иная нейросеть, пишет тексты по определенному алгоритму. Но она не заменяет сложные научные категории на более простые синонимы. Более того, в ИИ-текстах преобладают шаблоны, канцеляризмы, связки и подобные вводные слова повторяются.

Признак 2. Глубина анализа. ИИ интеллект описывает ситуацию в целом. Он не стремится выделить конкретную тенденцию с опорой на проблему, выделить причины и следствия. На основе располагаемых данных, проведённых расчетов он просто обобщает данные в целостную картину. Поэтому анализ ситуации получает больше поверхностным. При таком подходе страдает обоснование (слабые аргументы), отсутствует детальный обзор одной существенной тенденции. Диссертация не сужается к конкретному исследовательскому вопросу, а превращается в обзор.

Признак 3. Нарушение логики текста. ИИ-текст получается обычно сухим и волнообразным. В нем нет плавных переходов, подчёркивающих связь между этапами или результатами. В диссертации, где использовали ChatGPT или другие нейросети, наблюдается логическая нестыковка текста, некие информационные «островки», которые между собой не связаны.

Признак 4. Неестественные формулировки. Несмотря на продвинутость, нейросети пока так и не научились писать естественные и живые тексты. В диссертациях они сложно описывают результаты расчетов или наоборот слишком раздуто поясняют ход расчета и результат. Притом в анализе они задействуют такую терминологию. Которую простой человек или даже ученый использовал бы не всегда.

Признак 5. Ошибки в методологии. ChatGPT полагается на конкретные правила и формулы, адаптируя под них располагаемую информацию. Порой ему проще сфальсифицировать или «подбить» те или иные данные, чтобы подставить в схему и получить результат. Также он может использовать метод, который на первый взгляд подходит. Но у него есть некоторые ограничения, условия (а их нейросеть решила почему-то не учитывать).

Признак 6. Орфография, пунктуация, стилистика. Данный признак очень субъективный и не всегда указывает на то, что расчеты или анализ проводился ИИ. Но чаще всего тексты, сгенерированные цифровыми помощниками, написаны без единой ошибки, описки. Все знаки педантично стоят по местам и пр. Аспирант и даже опытный исследователь при подготовке диссертации (а ее объем составляет в среднем 150-250 страниц) так или иначе допускает мелкие описки, стилистические ошибки (используя не совсем корректный синоним и пр.), пропускает или неверно расставляет знаки препинания и т.д. Поэтому, если текст отшлифован, нет ни единой описки, помарки, это вызывает некие сомнения в его «человечности».

Признак 7. Чрезмерная структуризация текста. ChatGPT привык группировать материал и преподносить его упорядоченно. Поэтому в оформлении научной работы после него преобладают всевозможные таблицы, списки, графики, а анализ данных – слишком скомканный, обобщённый и слабо аргументированный. Посредством преобразования материалов в графические и табличные форматы, ИИ старается повысить уникальность работы. Человек старается распределить материал равномерно, а нейросети не следят за этим.

Согласитесь, что указанные признаки не всегда способны с уверенностью на 100% указать на то, что текст был подготовлен не человеком, а ChatGPT или другим сервисом. Они очень субъективны. Но можно узнать истинного автора с помощью ИИ-детектора (как платного, так и бесплатного). Разные программы могут указать на разные фрагменты, но тем самым они точно подчеркнут присутствие искусственного интеллекта в научной работе в том или ином фрагменте, месте, если эмпирическая часть была выделена, то это лишний повод провести ее тотальный контроль.

Какие ошибки допускает ChatGPT в эмпирических расчетах и статистическом анализе?

Какой бы совершенной и полезной не казалась модель ChatGPT, при подготовке эмпирической части диссертации она все же допускает некие ошибки.

Во-первых, эмпирическая часть научной работы чаще всего выстроена на статистической информации. Ее необходимо не просто собрать и проанализировать, а преобразовать: качественные данные в количественный вид, просчитать некие показатели согласно выбранной методологии и пр. Несмотря на то, что ИИ просто подставляет собранные данные в конкретную схему. Алгоритм, формулу, она может допустить математические просчеты и ошибки. Притом этот изъян не из мира фантастики, все вполне логичною

ChatGPT обучен работать с текстовой информацией и математика для него второстепенна. Он не всегда способен грамотно и качественно обработать качественный материал, преобразовать его в количественный вид и произвести сложные расчеты. Как показывает статистика, данный сервис в 30% случаев допускает ошибки в расчетах, когда требуется умножить несколько многозначных чисел. Точность – не его конек.

Во-вторых, ChatGPT не всегда правильно и корректно воспринимает статистические данные. То есть модель может неверно описать те или иные показатели, растолковать их не совсем верно. Более того, если нужно провести математические расчеты с теми или иными показателями, то он не всегда синтезирует нужную информацию: может спутать похожие коэффициенты, не учесть какие-либо нормы или отклонения, ограничения по применению тех или иных формул, возможности замены и пр. То есть он просто следует заданной инструкции, невзирая на качество и совместимость материалов.

В-третьих, рассматриваемая ИИ-модель может некорректно истолковать и описать полеченные результаты. Данная ошибка особенно ярко выражена, если при расчетах искусственный интеллект использовал вымышленную или сфальсифицированную, непроверенную информацию. При таком раскладе могут возникнуть не просто сомнения, а существенные противоречия между результатами анализа и реальными данными, экспертными мнениями, исходными данными и результатами исследования.

В-четвертых, ChatGPT не гарантирует точной и правильной интерпретации данных. Она быстро генерирует различные схемы, таблицы, картинки, рисунки, но не всегда они оказываются корректными и соответствующими отмеченным данным. Также может хромать оформление: резкая или яркая цветовая схема, нечеткие линии, лишние символы на графиках и пр.

То есть преобразование текстовой информации (результаты опросов, описание показателей) не всегда происходит корректно и правильно. На графике могут быть отмечены совершенно иные числа, отмечены несвязные между собой коэффициенты и др.

Фактически, нейросети (и рассматриваемая нами модель) не совершенны и им не чужды ошибки в эмпирических расчетах, работе со статистикой при подготовке диссертации. Поэтому очень важно не верить сгенерированному тексту на 100%, а тщательно его перепроверять.

Пошаговый гайд проверки материала: контроль эмпирических расчетов после применения ChatGPT, критерии, этапы мониторинга

Написание диссертации требует не только грамотности, но и точности в описании полученных результатов. При работе с эмпирическими данными, статистикой нужно быть предельно аккуратными.

Если автор привлекал для расчетов ChatGPT, то ему обязательно нужно провести следующий пошаговый мониторинг:

1. Проверка исходной информации, контекстуальный анализ.

Если вы просили нейросеть подобрать статистические данные по теме (указав критерии поиска), то первым делом нужно убедиться в их качестве. Для начала удостоверьтесь, что предоставленная информация соответствует теме научного исследования.

Затем оцените ее актуальность. Обязательно лично зайдите на сайт Росстата и иных статистических служб, компаний, сравните представленную информацию от ИИ с реальными данными: как минимум тенденции должны совпадать. Количественные показатели должны находиться примерно на одном и том же уровне (погрешности никто не отменял).

Обязательно перепроверьте ссылки на источники информации. Они должны приводить к оригиналам, а не к сторонним источникам. Более того, на их основе можно оценить актуальность сведений, корректность их описания и применения согласно утвержденной методике.

Исключите из диссертации данные, которые были взяты из неоткуда: их нет ни в одном из приведенных статистических отчетов или документов. Скорее всего, ChatGPT их выдумал.

Помимо этого, в ходе вычитки следует обратить внимание на доступность и ясность повествования: какая терминология задействована и укладывается л она в тематические рамки, все ли теории и модели, мнения учтены, насколько корректна выборка, учтены ли внешние и внутренние факторы, верно ли истолкованы расчетные данные и пр.

1. Анализ формул и логики.

На данном этапе эксперты DissHelp внимательно изучают описанный методологический аппарат с акцентом на работу со статистическими данными, соотносят его с располагаемой информационной базой. На данной стадии особое внимание уделяется следующим моментам:

• Уместность и возможности применения выбранных методов: подходят ли располагаемые материалы под соответствующие приемы, есть ли какие-то ограничения и нюансы их применения, корректно ли подобрана выборка и др.);
• Все ли факторы учтены, насколько точно выбранная методика позволяет получить результат, сформулировать рекомендации и пр.;
• Есть ли сложности или нюансы при проведении расчетов: все ли математические законы соблюдены, нет ли ошибок в подсчетах, все ли факторы учтены (исходя из темы исследования: сезонность, скидки, нормы и пр.);
• Результаты статистического анализа позволяют ли принять конкретное решение и добиться намеченной цели и пр.

Если нет четкого обоснования выбранной методологии, а статистическая информация требует других подходов для оценки ситуации или часть данных сфальсифицирована, то потребуется серьезная доработка диссертации.

1. Сравнение с реальными данными, мнениями, нормативами.

Расчетные данные от ChatGPT следует сопоставить с историческими данными, фактическими показателями (рассчитанными Росстатом, ведущими аналитиками и пр.). В данном случае нужно проверить следующие соответствия.

Во-первых, ИИ-информация не должна противоречить текущей реальной обстановке. Убедитесь, что представленная нейросетью информация согласуется с текущей динамикой, тенденциями. Если есть противоречия и нестыковки – это лишний подо еще раз перепроверить расчеты и достоверность статистической информации, учет правил и условия воспроизведения методологии.

Во-вторых, следует убедиться, что описанные тенденции не противоречат научным подходам и канонам, нормативам. ChatGPT не гарантирует контекстуальной и логической точности. Представленный анализ данных может быть некорректно истолкован, могут быть не учтены детали или дополнительные требования, параметры и пр. Поэтому следует проводить параллель между аналогичными исследованиями (актуальные работы, недавно защищенные и пр.).

1. Дополнительный контроль и проверки.

Наиболее важные показатели следует перепроверить вручную. На основе указанной информации самостоятельно рассчитайте коэффициенты и убедитесь, что они совпадают с ИИ-версией. Также можно использовать Эксель или SPSS. Так вы сможете убедиться, что располагаемой информации достаточно для расчетов и анализа, нейросеть верно подсчитала значение показателей и пр.

Убедитесь, что оформление расчетных операций соответствует требованиям ГОСТ. ChatGPT нередко пропускает важные математические символы в описании формул или при непосредственном подсчете данных: интегралы, дифференциалы, степени и пр.

Соотнесите исходные данные с результатами исследованиями. Обратите внимание: важно, чтобы цель была достигнута, гипотеза – проверена, а выводы – обоснованы.

Рекомендации по использованию ChatGPT для эмпирических расчетов и статистического анализа

Написание диссертации – процесс индивидуальный и самостоятельный. Автор не должен полностью перекладывать на ChatGPT ее подготовку, так как это нарушает нормы академической этики.

Используйте ИИ-модели в научном исследовании целенаправленно и ограниченно. При этом не стоит забывать указывать данный факт в разделе Методы или Благодарности, а в основной части делать ссылку на ИИ.

Обязательно перепроверяйте информацию, собранную с помощью нейросетей. Убедитесь в ее достоверности. Проверяйте ее лично.

Обязательно обратите внимание на математические формулы и расчеты в эмпирической части научной работы. Сверьте их с учебниками. Убедитесь, что ИИ-модель использует корректные обозначения и в точности воспроизводит выбранный метод.

Проанализируйте и перепроверьте все выводы, сгенерированные искусственным интеллектом. Убедитесь, что они результативные, понятные, указывают на причины и следствия, проблему и решение.