| Форма представления | Статьи в российских журналах и сборниках |
| Год публикации | 2024 |
| Язык | русский |
|
Данилова Юлия Юрьевна, автор
|
|
Акимов Дмитрий Андреевич, автор
|
|
Голиков Алексей Александрович, автор
|
| Библиографическое описание на языке оригинала |
Голиков А.А., Данилова Ю.Ю., Акимов Д.А. Применение больших языковых моделей для решения лингвистических задач: сравнительный анализ на материале тестовых заданий по русской лексикологии // Интернет и современное общество: сборник тезисов докладов. Труды XXVII Международной объединенной научной конференции «Интернет и современное общество», IMS-2024, Санкт-Петербург, 26-28 июня 2024 г. – СПб: Университет ИТМО, 2024. – С. 12-16. |
| Аннотация |
Интернет и современное общество |
| Ключевые слова |
большая языковая модель; бенчмарк; сравнительный анализ; лингвистика; русский язык; лексикология |
| Название журнала |
Интернет и современное общество
|
| URL |
https://ojs.itmo.ru/index.php/IMS/article/view/1460 |
| Пожалуйста, используйте этот идентификатор, чтобы цитировать или ссылаться на эту карточку |
https://repository.kpfu.ru/?p_id=319076 |
Полная запись метаданных  |
| Поле DC |
Значение |
Язык |
| dc.contributor.author |
Данилова Юлия Юрьевна |
ru_RU |
| dc.contributor.author |
Акимов Дмитрий Андреевич |
ru_RU |
| dc.contributor.author |
Голиков Алексей Александрович |
ru_RU |
| dc.date.accessioned |
2024-01-01T00:00:00Z |
ru_RU |
| dc.date.available |
2024-01-01T00:00:00Z |
ru_RU |
| dc.date.issued |
2024 |
ru_RU |
| dc.identifier.citation |
Голиков А.А., Данилова Ю.Ю., Акимов Д.А. Применение больших языковых моделей для решения лингвистических задач: сравнительный анализ на материале тестовых заданий по русской лексикологии // Интернет и современное общество: сборник тезисов докладов. Труды XXVII Международной объединенной научной конференции «Интернет и современное общество», IMS-2024, Санкт-Петербург, 26-28 июня 2024 г. – СПб: Университет ИТМО, 2024. – С. 12-16. |
ru_RU |
| dc.identifier.uri |
https://repository.kpfu.ru/?p_id=319076 |
ru_RU |
| dc.description.abstract |
Интернет и современное общество |
ru_RU |
| dc.description.abstract |
В настоящее время большие языковые модели находят все большее применение в различных отраслях знаний, при этом для оценки качества работы больших языковых моделей применяются те или иные виды тестирования, бенчмарков (наборов задач, на которых тестируются модели и сопоставляются ответы). Одним из наиболее распространенных бенчмарков для тестирования больших языковых моделей на сегодняшний день является бенчмарк MMLU, который предполагает ответы моделей на вопросы из разных областей знаний в формате выбора одного правильного ответа из нескольких вариантов. Однако в данном и иных основных используемых бенчмарках не тестируется способность моделей глубоко понимать русский язык, его единицы (лексемы и фразеологизмы), их дифференциальные признаки, лексико-семантические варианты, внутреннюю форму, системные связи, социолингвистическую обусловленность. В данной работе производится сравнительный анализ качества работы основных зарубежных и отечественных больших языковых моделей для решения лингвистических задач в виде тестовых заданий по курсу «Лексикология современного русского языка» в системе высшего филологического образования. В итоге было выявлено, что наилучшие результаты как суммарно, так и по отдельным блокам вопросов продемонстрировала модель Claude 3 Opus от компании Anthropic, за ней следуют GPT-4 от OpenAI и GigaChat Pro от Сбера. Анализ результатов по тематическим блокам показал, что наибольшие трудности у моделей вызвали задания по фразеологии, а наилучшие результаты были достигнуты в блоке вопросов по лексикографии. |
ru_RU |
| dc.language.iso |
ru |
ru_RU |
| dc.subject |
|
ru_RU |
| dc.title |
Применение больших языковых моделей для решения лингвистических задач: сравнительный анализ на материале тестовых заданий по русской лексикологии |
ru_RU |
| dc.type |
Статьи в российских журналах и сборниках |
ru_RU |
|
EN 
中文 
ES 
Карта сайта
