Б.С. Горячкин1, Д.К. Карпов2

1,2 Московский государственный технический университет им. Н.Э. Баумана (Москва, Россия)
1 bsgor@mail.ru, 2 dkkarpov@gmail.com

Постановка проблемы. При любом опыте работы с большими объемами текстовых данных внимание человека может рассеиваться, что влечет за собой ошибки. Однако, например, при проверке преподавателем ответов на вопросы контрольной работы, ошибки в оценивании правильности этих ответов крайне нежелательны. В таком случае будет крайне эффективно использование средств автоматической проверки ответов.

Цель. Определить оптимальный набор методов и правил, позволяющих пользователям интернета производить проверку развернутых ответов на абстрактный вопрос вне зависимости от темы и языка.

Результаты. Рассмотрены существующие GPT модели с точки зрения проверки расширенных ответов на вопросы. Проведена апробация модели на наборе данных с англоязычными вопросами. Разработаны и обоснованы принципы формирования запросов к большим языковым моделям.

Практическая значимость. Обоснованы принципы формирования запросов к большим языковым моделям, которые позволят упростить процесс проверки и оценки развернутых ответов на вопросы, а также формулирование принципов формирования запросов к большим языковым моделям для наибольшей оптимизации работы с таковыми.

Горячкин Б.С., Карпов Д.К. Разработка и обоснование принципов формирования запросов к большим языковым моделям // Наукоемкие технологии. 2024. Т. 25. № 6. С. 60−68. DOI: https://doi.org/10.18127/j19998465-202406-09

1. Терехов В.И., Канев А.И. Система извлечения информации из текста для метаграфовой базы знаний // Динамика сложных систем – XXI век. 2020. № 3. С. 57–66. DOI 10.18127/j19997493-202003-0.
2. Большие языковые модели (LLM). URL: https://habr.com/ru/articles/768844/ (дата обращения: 30.11.2023).
3. 200,000+ Jeopardy! Questions. URL: https://www.kaggle.com/datasets/tunguz/200000-jeopardy-questions (дата обращения: 30.11.2023).
4. Карпов Д.К. Проверка текстовых заданий с помощью больших языковых моделей // Тенденции развития науки и образования. 2023. № 103. Ч. 8. С. 150–156. DOI 10.18411/trnio-12-2023-p8.
5. GPT-4 против GPT-3. URL: https://appmaster.io/ru/blog/gpt-4-protiv-gpt-3#:~:text=Основные%20различия%20между%20GPT-4,при%20работе%20с%20длинными%20последовательностями (дата обращения: 10.12.2023).
6. На что способна нейросеть GPT-3. URL: https://trends.rbc.ru/trends/industry/cmrm/602c161c9a79474c3372027c (дата обращения: 10.12.2023).
7. История нейросети ChatGPT. URL: https://workspace.ru/blog/istoriya-chatgpt-chto-umeet-chat-gpt-4-i-chego-zhdat-ot-gpt-5/#:~: text=количество%20параметров%20—%20175%20миллиардов%3B,96%20слоев (дата обращения: 7.12.2023).
8. GPT-4 уже не за горами. Что мы о нем знаем. URL: https://habr.com/ru/companies/cloud4y/articles/667278/ (дата обращения: 30.11.2023).
9. Учимся делать правильные запросы для использования в маркетинге. URL: https://habr.com/ru/articles/729420/ (дата обращения: 7.12.2023).
10. Бахман А.А., Васюнин М.А., Галкин В.А., Гапанюк Ю.Е. Подход к генерации текстов программ на основе нейросетевых алгоритмов // Динамика сложных систем – XXI век. 2023. № 3. С. 58–63. DOI 10.18127/j19997493-202303-08.