Введение
Профессиональная идентичность может быть рассмотрена как важный элемент профессиональной готовности выпускника вуза. Готовность к профессиональной деятельности проявляется в разных аспектах. В работе Н. Л. Захаровой и И. Н. Гарифовой проведен обширный теоретический анализ понятия «психологическая готовность к профессиональной деятельности» [1]. Авторами обобщены, выделены и охарактеризованы основные компоненты готовности к деятельности:
− мотивационно-ценностный компонент (направленность личности на конкретную сферу деятельности и ценность отдельных ее характеристик);
− когнитивный компонент (критическое мышление и способность к антиципации);
− операционально-деятельностный компонент (необходимые для выполнения деятельности навыки);
− эмоционально-оценочный компонент (переживания субъекта и оценка им факторов трудовой деятельности);
− регулятивный компонент (способность к саморегуляции).
Н. В. Лежнева и др. в своей работе используют модель психологической готовности, включающую три основных компонента: мотивационный (установочный); когнитивный компонент – система знаний и представлений о профессиональной деятельности, о себе; конативный компонент – коммуникация, эмоции, саморегуляция [2]. Б. П. Яковлев и Т. Б. Думова, рассматривая вопрос о структуре и динамике психологической готовности к деятельности, отмечают системный характер самого феномена готовности и подчеркивают значимость процесса трансформации субъекта. Психологическая готовность рассматривается как специфическое состояние самопреобразования [3]. Отсюда следует вопрос о том, как и за счет чего происходит самопреобразование субъекта. Можно предположить, что профессиональная идентичность обуславливает самопреобразование субъекта.
Анализируя понятие профессиональной идентичности, остановимся на нескольких работах. В статье Т. В. Малютиной [4] выделены два основных аспекта: профессиональная идентичность как процесс профессионального развития, сопряженного с профессиональной самооценкой, самоопределением; второй аспект – профессиональная идентичность как свойство личности, включающее когнитивные, мотивационные, ценностные компоненты. В. Б. Никишина и Е. А. Петраш [5] предлагают следующую структуру профессиональной идентичности:
1. Образ «Я» как система представлений о себе, самоотношение, самовосприятие, рефлексия и саморегуляция.
2. Ценностно-смысловая и мотивационно-потребностная сферы, определяющие ориентации и направленность личности.
3. Ролевые представления отражающие систему представлений о деятельности, о правилах и нормах профессионального поведения.
Как отмечает Е. П. Ермолаева, в любой профессиональной деятельности есть три основные функции: инструментальная, индивидуальная и социальная. Связь личности профессионала с каждой из трех функций представляет собой три основных компонента идентичности [6]. Л. С. Бурлаченко, рассматривая профессиональную идентичность с позиции субъектно-бытийного подхода, обращает внимание на важные проявления: структурирование основных смысловых ориентиров; обеспечение процесса социализации; самоактуализация и развитие личности [7]. Данные характеристики, как и некоторые негативные аспекты, возникающие в процессе профессионализации, описывают идентичность как динамическое явление.
Е. Н. Корчагин, проведя обзор зарубежных подходов по вопросу профессиональной идентичности, описал, что ее формирование связано с подражанием специалистам; согласованностью субъективных представлений и объективных проявлений деятельности; с принятием ценностей; идентификацией себя с профессиональным сообществом и дифференциацией от других профессий. Сформированная профессиональная идентичность, как правило, определяет более высокий уровень стрессоустойчивости специалистов, большую гибкость и возможности совладания с неопределенностью [8]. Таким образом, можно говорить о том, что развитие профессиональной идентичности является процессом качественного преобразования субъекта и формирования у него свойств и качеств, позволяющих управлять собственной деятельностью. Профессиональная идентичность является важным механизмом профессионального становления личности, а утрата идентичности, как на это указывает М. Ш. Кадырова, приводит к появлению профессиональной маргинализации [9].
Учитывая вышесказанное, можно провести теоретическое сопоставление компонентов профессиональной готовности и компонентов профессиональной идентичности, где идентичность представляет ядро готовности к деятельности (табл. 1).
Таблица 1
Соотношение компонентов психологической готовности к деятельности и профессиональной идентичности
|
Компоненты психологической готовности |
Компоненты и функции профессиональной идентичности |
Результат трансформации |
|
Мотивационные компоненты (мотивы, цели) |
Переход от внешней мотивации к внутренней |
Деятельность становится осмысленной и целенаправленной |
|
Ориентационные компоненты (знания о деятельности) |
Преломляются через ролевые представления и образ «Я». Интериоризация предметных знаний |
Действия приобретают осмысленность в контексте профессиональной деятельности |
|
Операциональные компоненты (навыки, умения) |
Соподчинены ценностям. Навык применяется не автоматически, а избирательно, в зависимости от контекста |
Активность становится подчиненной целостному образу профессиональной деятельности, а не отдельной задаче |
Примечание: подготовлена авторами в процессе собственного исследования.
Таким образом, профессиональная идентичность обуславливает профессиональное развитие личности. Профессиональная идентичность трансформирует формально закрепленные знания, навыки, компетенции в целенаправленную, осмысленную, регулируемую профессиональную деятельность.
Признавая значимость профессиональной идентичности в процессе становления специалиста, следует отметить недостаточное количество инструментария для ее диагностики. Существующие психометрические процедуры не всегда учитывают все описанные компоненты структуры идентичности, зачастую необходимо прибегать к дополнительным тестам, что увеличивает время и сложность проведения оценочных процедур. Все это актуализирует потребность поиска (разработки) новых оперативных, качественных способов диагностики профессиональной идентичности студентов вузов. Большие языковые модели (Large Language Model, LLM) в данном случае могут стать эффективным способом нетестовой оценки профессиональной идентичности.
Цель исследования – обосновать целесообразность использования и предложить практические рекомендации применения технологий LLM для проведения автоматизированной оценки профессиональной идентичности студентов вуза – будущих психологов.
Задачи:
− Разработать и апробировать развернутую систему категорий и признаков для проведения контент-анализа эссе для оценки профессиональной идентичности с помощью LLM.
− Разработать структуру и содержание промптов (инструкций) к языковым моделям и провести на этой основе первичное сравнение их эффективности.
− Изучить взаимосвязи между LLM-оценками и реальными данными тестовой оценки профессиональной идентичности и академической успеваемости студентов.
− Провести предварительный разведочный факторный анализ структуры профессиональной идентичности на основе LLM-данных с целью более четкой детализации категорий оценки.
Материалы и методы исследования
Испытуемые – студенты направления «Психология», обучающиеся по программам бакалавриата и магистратуры, участники конкурса эссе – 10 чел. (6 девушек, 4 юноши): 6 чел. – студенты бакалавриата (2-й и 3-й курс), 4 чел. – студенты магистратуры (1-й и 2-й курс). В рамках выполнения конкурсных работ студенты писали эссе по общей теме «Психология будущего». В работах авторам предлагалось поразмышлять о том, как изменится психология в ближайшие десятилетия, как поменяются техники и подходы, какой путь они пройдут сами в своем профессиональном становлении, что поможет им стать успешными и востребованными профессионалами.
Ключевым критерием отбора работ был результат проверки эссе в системе антиплагиат. Минимальная граница – 85 %. В выборку отобраны работы с уровнем оригинальности от 87,42 до 99,51 %. Среднее значение 93,69 %; коэффициент вариации – 0,04. Присутствующие в работах «заимствования» представлены типовыми выражениями, названиями работ и т. п.
Тестовая оценка профессиональной идентичности проводилась с использованием методик: методика исследования профессиональной идентичности (МИПИ) Л. Б. Шнейдер [10]; опросник профессиональной идентичности студентов-психологов У. С. Родыгина [11].
Реализация оценивания с помощью LLM выполнена с использованием методов промпт-инжиниринга (например, И. С. Лукинский и др. [12], Lin Z. и др. [13]). При разработке экспериментального промпта опирались на общие рекомендации по составлению промптов (А. В. Ковалевский [14], О. Б. Попова и др. [15]). Средой экспериментальной проверки выступила большая языковая модель – DeepSeek.
Результаты исследования и их обсуждение
Разработка промптов для проведения оценивания
Промпт представляет собой текстовую инструкцию для LLM, на основе которой модель дает ответы пользователю, ведет с ним диалог и выполняет иные действия, связанные, с обработкой информации. При проведении исследований разработана структура функциональных блоков промптов, то есть запросов-инструкций к языковой модели, управляющих работой языковой модели при обработке материалов студенческих эссе и выставлении оценок.
Общая структура промпта представлена следующими функциональными блоками (табл. 2).
На основе данной структуры предложено два способа оценивания с использованием LLM. Первый вариант – простой промпт (вариант 1) с просьбой оценить предложенные работы и дать количественную оценку; второй вариант – развернутый промпт (вариант 2), содержащий описание оцениваемых параметров профессиональной идентичности и указания на способ оценки и представление результатов.
Содержание промптов приведено в табл. 3, 4.
Таблица 2
Структура функциональных блоков промпта LLM
|
Наименование функционального блока |
Описание назначения блока |
|
Роль языковой модели |
Дает общее описание решаемой задачи, предопределяет общее поведение модели и характер вывода результатов |
|
Решаемая задача |
Детально описывает задачу, которую должна выполнить LLM |
|
Способы обработки информации и расчетов |
Описывает правила обработки информации, формулы и критерии для оценивания |
|
Дополнительные условия и ограничения* |
Определяет форму выдачи ожидаемого результата, дополнительные условия и ограничения |
Примечание: подготовлена авторами в процессе собственного исследования.
*Блок является опционным, его содержание и необходимость определяются в ходе экспериментальной проверки работоспособности промпта
Таблица 3
Содержание промпта «Вариант 1»
|
Наименование функционального блока |
Текстовое содержание промпта |
|
Роль языковой модели |
Специальная роль не задана |
|
Решаемая задача |
В приложенном файле содержатся работы студентов-психологов, написанных в рамках конкурса эссе. Проведи анализ и дай количественную оценку уровня сформированности профессиональной идентичности авторов этих работ |
|
Способы обработки информации и расчетов |
Предоставляется полная свобода в выборе способа оценивания |
|
Дополнительные условия и ограничения |
Не заданы |
Примечание: подготовлена авторами в процессе собственного исследования
Таблица 4
Содержание промпта «Вариант 2»
|
Наименование функционального блока |
Текстовое содержание промпта |
|
Роль языковой модели |
Ты психолог, эксперт по контент-анализу |
|
Решаемая задача |
Провести контент-анализ представленных эссе и дать количественную оценку проявления каждой из категорий, характеризующих уровень профессиональной идентичности |
|
Способы обработки информации и расчетов |
При проведении анализа используй следующую систему категорий и признаков: 1. Образ профессии и профессиональные стереотипы: – содержание труда; – социальный статус и восприятие; – стереотипный портрет психолога; – тип профессии по Холланду. 2. Мотивы выбора профессии и ценностные ориентации: – внутренние мотивы (ценностно-смысловые); – внутренние мотивы (деятельностные); – внешние мотивы; – Профессиональные ценности 3. Образ себя как будущего профессионала (Я-профессиональное): – самооценка компетенций; – соответствие идеалу/стереотипу; – профессиональные черты и Я-концепция; – профессиональная самоэффективность. 4. Эмоциональное отношение и удовлетворенность выбором: – позитивные эмоции; – негативные эмоции и кризисы; – амбивалентность. 5. Деятельностно-поведенческий компонент: – активность в обучении; – практический опыт; – профессиональные интеракции. 6. Временная перспектива и профессиональные планы: – прошлый опыт (обоснование выбора); – настоящее (текущий этап); – будущее (планы и страхи); – целостность/разорванность пути. 7. Границы и пространство профессии: – дифференциация от смежных областей; – понимание этических норм; – представление о профессиональном сообществе |
|
Дополнительные условия и ограничения |
Результат оценки представь в виде сводной таблицы для всех испытуемых (шаблон заполняемой таблицы) |
Примечание: подготовлена авторами в процессе собственного исследования
Результаты экспериментов
Для каждого промпта использовалась серия из пяти генераций, имитирующих работу разных оценщиков. В конечных расчетах использовались средние оценки по всем генерациям. Методы статистической обработки: описательная статистика, корреляционный, факторный анализ. Анализ результатов осуществлялся с использованием программ JASP 0.95.4.0, Jamovi 2.7.17.0 и Statistica 10.
Сравнение промптов. Развернутый промпт «Вариант 2» дает более стабильные и детализированные оценки. Краткий промпт «Вариант 1» показывает большую вариативность и использует один обобщенный показатель идентичности.
На данных, полученных с использованием развернутого промпта, возможно осуществить факторный анализ. Критерий КМО – 0,5, что считается минимальной границей применимости данных. Тест Бартлета на сферичность при p < 0,001 указывает также на возможность применения факторного анализа. Выделена пятифакторная модель, описывающая 86,1 % общей дисперсии. Факторные нагрузки переменных указаны в табл. 5.
Таблица 5
Результаты факторного анализа
|
Переменные |
Факторы |
||||
|
1 |
2 |
3 |
4 |
5 |
|
|
Позитивные эмоции |
0,975 |
||||
|
Амбивалентность |
-0,975 |
||||
|
Настоящее (текущий этап) |
0,975 |
||||
|
Профессиональная самоэффективность |
0,690 |
||||
|
Негативные эмоции и кризисы |
-0,685 |
||||
|
Профессиональные черты и Я-концепция |
0,775 |
||||
|
Профессиональные ценности |
0,720 |
||||
|
Понимание этических норм |
0,700 |
||||
|
Самооценка компетенций |
0,656 |
||||
|
Активность в обучении |
0,66 |
||||
|
Будущее (планы и страхи) |
0,966 |
||||
|
Содержание труда |
-0,894 |
||||
|
Внутренние мотивы (ценностно-смысловые) |
0,892 |
||||
|
Практический опыт |
0,642 |
||||
|
Прошлый опыт (обоснование выбора) |
0,864 |
||||
|
Представление о профессиональном сообществе |
-0,648 |
||||
Примечание: подготовлена авторами в процессе собственного исследования
Учитывая входящие в структуру факторов переменные, мы можем дать им следующую интерпретацию. Фактор 1: «Эмоционально-регулятивные характеристики» – данный двухполюсный фактор включает компоненты эмоциональной положительной и отрицательной оценки, соотносимые с деятельностью. Фактор 2: «Ценностно-нормативное ядро» – однополюсный фактор отражает соотношение образа Я и представлений о профессиональной деятельности. Фактор 3: «Деятельностная ориентация на будущее» – однополюсный фактор указывает на интеграцию стратегий обучения и представлений о будущем. Фактор 4: «Деятельностно-смысловая интеграция» – двухполюсный фактор представляет соотношение исполняемой деятельности с набором ценностей и имеющимся опытом. Фактор 5: «Источники формирования идентичности» – двухполюсный фактор, включающий собственный опыт и систему представлений о профессиональном сообществе.
Данная факторная модель вполне сопоставима с теми теоретическими представлениями, которые описаны выше. В материалах эссе можно зафиксировать мотивационно-потребностные и ценностно-смысловые представления; ориентационные представления о себе, о профессии и сообществе; операционально-регулятивные представления о деятельности.
Корреляционный анализ показал, что обобщенный показатель профессиональной идентичности, сформированный при использовании простого промпта, не дает никаких значимых корреляций с показателями тестов. Результаты оценки с использованием второго развернутого промпта обнаруживают две корреляции с реальными тестовыми данными. Шкала опросника профессиональной идентичности «отрицательные эмоции» положительно коррелирует с переменной контент-анализа «социальный статус и восприятие» (r = 0,64; p ≤ 0,05). Здесь можно полагать, что при восприятии своей профессии как не очень значимой будут расти отрицательные переживания, связанные со своим пребыванием в этой сфере деятельности. Шкала опросника профессиональной идентичности «Позиция активного отношения» положительно коррелирует со сводной оценкой по первому фактору «Эмоционально-регулятивные характеристики» (r = 0,76; p ≤ 0,05). Данная корреляция может отражать связь между активным включением в профессиональную подготовку и проявлениями саморегуляции в деятельности. Конечно, данные корреляции с учетом выборки надо понимать как некоторые общие тенденции, но и это показывает большую состоятельность структурированного промпта в оценке профессиональной идентичности.
Проведенное пилотное исследование показало, что, по существу, LLM может быть использована для нетестовой оценки профессиональной идентичности студентов. Полученные результаты с использованием LLM соответствуют (в основном) «ручному», применению теоретических моделей для оценки профессиональной идентичности. Использование развернутой системы оценки для автоматического контент-анализа эссе дает возможность для дальнейшего обобщения параметров и построения факторной модели оценки профессиональной идентичности. Анализ полученных результатов позволяет говорить о достаточно высоком потенциале больших языковых моделей и программных приложений на их основе для автоматизации и ускорения процессов психологического оценивания.
На основе анализа результатов предложена следующая структура действий (фреймворк) для создания системы оценивания на базе LLM:
– постановка задачи оценивания;
– определение характера и форматов материалов, которые будет обрабатывать LLM;
– разработка содержания промптов согласно поставленной задаче, используемым моделям, правилам и критериям оценивания;
– применение LLM с разработанными промптами для решения поставленной задачи оценивания;
– синтаксический (формальный) и содержательный (смысловой) анализ полученных результатов в целях оценки применимости используемых промптов и LLM. При необходимости доработка промптов и повторение экспериментальной серии;
– разработка прототипа системы оценивания на базе выбранной LLM и опытная эксплуатация на реальных данных (кейсах).
Заключение
LLM демонстрирует потенциал как инструмент для структурированного контент-анализа материалов в форме эссе для оценки профессиональной идентичности. Результаты применения LLM во многом определяются качеством (составом и содержанием) разработанных промптов. Структурированный промпт с четкими категориями и инструкциями по оценке повышает надежность и точность оценок. При этом необходима экспериментальная работа, которая на достаточном наборе тестовых кейсов позволит проверить валидность и надежность используемых промптов. Полученная на данных LLM факторная структура в целом соответствует теоретическим моделям профессиональной идентичности и поддается содержательной интерпретации.
Перспективы: разработка автоматизированной системы оценки профессиональной идентичности на основе LLM для использования в образовательном процессе и карьерном консультировании.