МАГ v2.0 · Полная версия
Методология цифровых профилей
Это техническое описание для кураторов, методологов и независимых экспертов. Краткое изложение для участников — на странице О платформе. Все формулы и пороги реализованы в коде (src/lib/scoring.functions.ts) и продублированы в журнале сессии для аудита.
1. Подход: почему именно эта методология
Цифровой профиль участника МАГ должен выдержать три испытания: сохранять валидность, даже когда человек пытается «угадать правильный ответ»; замерять компетенции по реальному поведению, а не по словам о себе; давать основу для решения — распределения по направлениям, а не просто общий портрет.
Поэтому диагностика устроена как мульти-источниковая по принципу Campbell & Fiske (multitrait-multimethod): каждая компетенция замеряется минимум тремя независимыми методами (SJT-кейс, шкальный профиль, NLP-оценка свободного текста), а валидность каждой попытки проверяется отдельным 4-компонентным Индексом искренности до того, как профиль попадёт в руки куратора.
Общий объём — 5 модулей, около 94 заданий, длительность 48–55 минут. Возможны одна сессия или две по ~25 минут с перерывом 1–3 дня.
2. Пять модулей теста
Каждый модуль использует отдельный психометрический инструмент. Цель — собрать сигнал о компетенциях по максимально разнородным каналам, чтобы случайное искажение в одном из них не определяло результат.
Что измеряет. Базовые поведенческие тенденции по Big Five (экстраверсия, нейротизм, добросовестность, открытость опыту, доброжелательность). Плюс встроенные L-шкала (13 пунктов на социальную желательность) и реверсивные пары (для проверки согласованности).
Почему именно так. Жёсткий таймер не оставляет времени на «социально желательный» ответ — фиксируется первая реакция. Возврат к предыдущим пунктам невозможен. Это даёт сигнал о поведенческих тенденциях, очищенный от рационализации.
Как считается. L-пункты («я никогда не опаздывал», «никогда не злился без причины») собираются в индекс социальной желательности. Реверсивные пары (одно утверждение и его инверсия) ловят случайные или фальсифицированные ответы.
Что измеряет. 10 компетенций через поведенческий выбор в реалистичных рабочих ситуациях: противоречивые данные, сложный партнёр, дефицит ресурсов, неопределённость цели, ловушка согласия, конфликт в команде и др.
Почему именно так. SJT — мировой стандарт прогнозирования рабочего поведения (мета-анализы McDaniel et al. показывают валидность r ≈ 0.34 относительно реальной производительности). Ранжирование 4 альтернатив заставляет различать «хорошее» и «лучшее» — нельзя выбрать одну социально приемлемую опцию.
Как считается. Каждый вариант имеет «индикативную силу» (0..1), заданную экспертами. Балл за кейс: Σ (позиционный вес × индикативная сила) / 1.9 · 100. У кейса может быть основная и вторичная компетенция (вторая — с весом 0.5).
Что измеряет. Ценностный профиль, гражданские установки, отношение к авторитету/инициативе/традиции, мотивационные ориентации — те зоны, где прямой опрос даёт максимум искажений.
Почему именно так. Полупроективные техники (парный образ, оценка сцены) обходят рационализацию — участник не знает, какой выбор «правильный». MaxDiff (best-worst scaling) даёт принудительную приоритизацию: нужно одновременно выбрать «самое важное» и «наименее важное» из трёх. Это устраняет тенденцию «ставить всё одинаково важным».
Как считается. Парные образы дают бинарный сигнал между двумя архетипами (например: коллективное vs индивидуальное, традиция vs новаторство). Сцены оцениваются по 5-балльной шкале нормативности. Тройки MaxDiff дают шкалу относительной важности ценностей.
Что измеряет. Лидерский стиль под давлением (трансформационный / транзакционный / laissez-faire по модели FRL Басса и Аволио), реакция на «ловушку авторитета» (когда вышестоящий предлагает «спасительный» путь), способность принимать решения при нехватке информации и в бинарных развилках без компромисса.
Почему именно так. Стиль лидерства, который человек реально применит в кризисе, надёжно ловится только в симуляции с временным давлением, неполной информацией и эскалирующимся контекстом. Самоотчётный опросник «какой вы лидер» (типа MLQ self) в этой задаче не работает из-за высокой социальной желательности темы.
Как считается. Сценарий выбирается автоматически по возрасту участника (вариант А: 18–22, вариант Б: 23–30). Точки трёх типов: стандартные (4 опции), бинарные «третьего варианта нет» и открытые сообщения команде. Открытые сообщения анализируются языковой моделью на стилевые маркеры.
Что измеряет. Рефлексию и способность к самокритике (вопрос о реальной ошибке), независимость суждения (контринтуитивное мнение поколения), способность к прогнозированию рисков (премортем будущего провала).
Почему именно так. Открытый текст даёт сигнал, который невозможно получить из закрытых шкал — структуру мышления, связность аргументации, наличие реального опыта (vs обобщений), аутентичность языка. Финальная оценка — комбинация автоматического NLP-анализа и экспертной проверки куратором.
Как считается. Минимум 5 предложений на вопрос, автосохранение каждые 5 секунд, возврат после отправки невозможен. Языковая модель выдаёт баллы по 10 компетенциям, маркеры искренности (вставки, паузы, переключения вкладок) и красные флаги.
3. Индекс искренности
Перед выдачей профиля система проверяет, можно ли ему доверять. Индекс собирается из четырёх независимых сигналов — каждый ловит свой тип искажения.
L_normРасчёт. доля ответов ≥4 среди L-пунктов
Что это ловит. Классические L-пункты невозможно подтвердить честно («я никогда не опаздывал», «никогда не злился без причины»). Высокая доля согласия означает попытку выглядеть лучше, чем есть.
R_normРасчёт. доля несогласованных пар (Δ > 2 по шкале 1–5)
Что это ловит. Пары пунктов, сформулированные с противоположным знаком. Расхождение в оценках больше 2 баллов означает невнимательность, случайные ответы или фальсификацию.
T_consistencyРасчёт. средняя сходимость SJT / Style / NLP по каждой компетенции: 1 − 2·SD
Что это ловит. Если по одной и той же компетенции SJT даёт 80, шкальный профиль — 30, а NLP-оценка — 60, профиль внутренне противоречив. Большой вес (35%) отражает: триангуляция — главная страховка от подделки.
RT_normalityРасчёт. доля выбросов > 2σ на пунктах с таймером ≤8 сек
Что это ловит. Аномально долгие или короткие реакции на критических пунктах сигнализируют о подсказках, копировании или невнимательности. Если данных меньше 3 — используется нейтральный дефолт 0.75.
Категории и решение по профилю
| Значение ИИ | Категория | Код | Действие |
|---|---|---|---|
| ≥ 0.85 | Высокая искренность | use | Профиль используется без оговорок. |
| 0.70 – 0.85 | Норма | use | Профиль используется. |
| 0.55 – 0.70 | Сниженная искренность | use_with_warning | Используется с предупреждением для куратора. |
| 0.40 – 0.55 | Низкая искренность | conditional_retest | Условный ретест: пересдача через 30+ дней. |
| < 0.40 | Невалидный профиль | invalid | Не используется. Требуется ретест. |
Отдельный флаг: cross-check L × CQT
Не входит в формулу ИИ, но фиксируется отдельно. Поднимается, если по контрольным CQT-пунктам согласовано ≤ 1 ответа, а по L-шкале согласовано ≥ 5 ответов — severity warning. При L ≥ 7 — severity critical. Этот флаг сигнализирует о систематической подстройке под социально желательные ответы при низкой содержательной точности.
4. Триангуляция компетенций
Каждая из 10 компетенций — взвешенная сумма трёх независимых источников. Пропорции отражают эмпирическую валидность каждого метода: SJT даёт самый сильный сигнал о поведении, шкальный профиль — о тенденциях, NLP — о структуре мышления.
Шкала результата: 0–100 по каждой компетенции. Если какой-то источник отсутствует (например, NLP-отчёт ещё не сгенерирован), формула автоматически ренормируется по фактическим весам. Например, без NLP: (0.60·SJT + 0.25·Style) / 0.85. Это позволяет не блокировать расчёт при частичных данных, но в журнале сессии сохраняется метка «частичный балл».
5. Матрица 6 × 7: компетенции → направления
Каждое направление МАГ задано матрицей весов H/M/L по 10 компетенциям (из них 6 активных на направление по схеме 2H + 2M + 2L). Совпадение участника с направлением j рассчитывается как взвешенная сумма его компетенций:
| Направление | Стратегия | Коммуникация | Управление | Данные | Результат | Адаптивность | Креатив | Тех. | Эмпатия | Ценности |
|---|---|---|---|---|---|---|---|---|---|---|
Аналитико-исследовательское analytics | H 0.4 | — | — | H 0.4 | M 0.27 | L 0.12 | L 0.12 | M 0.27 | — | — |
Управленческо-проектное management | M 0.27 | M 0.27 | H 0.4 | — | H 0.4 | L 0.12 | — | — | L 0.12 | — |
Медийно-коммуникационное media | L 0.12 | H 0.4 | — | — | L 0.12 | M 0.27 | H 0.4 | M 0.27 | — | — |
Цифрово-технологическое digital | L 0.12 | — | — | H 0.4 | M 0.27 | M 0.27 | L 0.12 | H 0.4 | — | — |
Идеолого-просветительское ideology | M 0.27 | H 0.4 | L 0.12 | — | — | — | L 0.12 | — | M 0.27 | H 0.4 |
Социально-демографическое social | — | H 0.4 | M 0.27 | — | L 0.12 | M 0.27 | — | — | H 0.4 | L 0.12 |
Спортивно-патриотическое sport | — | L 0.12 | M 0.27 | — | H 0.4 | M 0.27 | — | — | L 0.12 | H 0.4 |
Названия в таблице — внутренние коды технической схемы. На странице О платформе показан список из семи направлений МАГ (соответствие техническим бакетам ведёт куратор).
6. Классификация профилей и бипрофиль
Когда баллы по направлениям близки, навязывать одно направление методологически некорректно. Поэтому используется доверительный интервал на основе SEM (Standard Error of Measurement) — стандартной ошибки измерения. Порог близости:
SEM хранится в app_settings.scoring_sem (дефолт 5.5 для пилота → порог ≈ 10.8 баллов). Меняется без релиза кода по мере накопления данных.
specialistbiprofilemulti_profilegeneralist7. Антифрод и контроль валидности
- Таймеры 7–15 секунд на каждом пункте Модуля 1 — нет времени на «правильный» ответ.
- Бинарные точки в Модуле 4 («третьего варианта нет») — невозможна стратегия «галочек по центру».
- Мониторинг переключения вкладок и потери фокуса окна в Модуле 2 (SJT-кейсы); сбор времени реакции с точностью до 100 мс.
- Блокировка возврата к предыдущим пунктам в Модулях 1 и 5.
- Защита от копирования и автозаполнения открытых ответов, автосохранение каждые 5 секунд.
- Все компоненты ИИ и per-source баллы сохраняются в test_sessions.scoring_breakdown (jsonb) и продублированы в session_events с типом scoring_computed — для постфактум-аудита.
- NE-собирается: данные о движении курсора, содержимое других вкладок, скриншоты экрана. Это зафиксировано в информированном согласии.
8. Прогнозная симуляция общества
Цифровой профиль участника МАГ — это не только инструмент распределения по направлениям. Это структурная заготовка для интеллектуального агента в симуляции общества. Когда платформа накопит критическую массу валидных профилей, появится возможность прогнозировать реакцию репрезентативной выборки молодёжи на гипотетические инициативы, нарративы, образовательные программы и нововведения до их публичного запуска.
МАГ-симулятор — собственная инновационная разработка. Концептуально близкие исследования ведут единичные академические лаборатории при ведущих технологических университетах мира, однако ни одна из существующих систем не построена на национальной выборке валидированных психометрических профилей. Это даёт МАГ-симулятору принципиальное преимущество в точности прогноза — агенты строятся не на абстрактных персонажах, а на реальных валидированных цифровых профилях участников.
Как это устроено
Каждый агент в симуляции — это композит из четырёх слоёв одного валидного профиля:
- Компетенции (10 баллов 0–100) определяют, как агент рассуждает о практических ситуациях.
- Ценностный профиль из MaxDiff Модуля 3 определяет приоритеты при оценке инициатив.
- Big Five из Модуля 1 определяют темперамент, тональность реакции, склонность к согласию или конфронтации.
- Стилевые маркеры из открытых ответов Модуля 5 определяют манеру речи агента, регистр и характерные обороты.
Языковая модель получает системный промпт типа: «Ты — человек со следующим профилем: [Comp], [Values], [Big Five], [стиль]. Ответь на это сообщение или инициативу так, как ответил бы реально такой человек». Агенты могут отвечать индивидуально, обсуждать между собой (если включена сетевая динамика), формировать коалиции и контр-нарративы. В перспективе для роли «движка» агентов используется собственная локальная языковая модель, обученная на доменной выборке (см. дорожную карту).
Что становится возможным
Условия запуска
Симулятор не включается «по щелчку» — для статистически осмысленного прогноза нужны минимальные пороги:
| Условие | Минимум | Почему |
|---|---|---|
| Минимум профилей | ≥ 500 валидных | С Индексом искренности ≥ 0.70 — иначе синтетическая популяция нерепрезентативна. |
| Покрытие направлений | все 7 + сегменты | Каждое направление представлено хотя бы 50 профилями, плюс срезы по возрасту и региону. |
| Калибровочный набор | ≥ 3 реальных запуска | Для оценки точности прогноза: симулированный отклик vs реальный отклик на уже проведённые инициативы. |
| Версионирование | snapshot + seed | Каждый запуск симуляции воспроизводим: фиксируется версия популяции, промпт, параметры LLM и random seed. |
Самообучение системы
Симулятор без обратной связи — это генератор красивых, но неподтверждённых сценариев. Поэтому встроенный контур обучения работает по схеме симуляция → реальный запуск → сравнение → калибровка:
- Куратор запускает симуляцию на гипотетическую инициативу X, фиксирует прогнозируемое распределение реакций.
- Инициатива реально выпускается (опрос, голосование, мероприятие, публикация). Собирается реальный отклик участников МАГ.
- Реальный отклик сравнивается с симулированным. Метрики расхождения (по сегментам, направлениям, возрастам) логируются в журнал калибровки.
- При накоплении 10+ калибровочных пар подкручиваются веса агентов и параметры LLM-промптов. Качество прогноза растёт от запуска к запуску.
- Платформа показывает не только результат симуляции, но и текущий уровень её достоверности (на основе истории калибровок).
Ограничения и этика
Симуляция общества — мощный инструмент с понятными границами. Они зафиксированы в методологии, а не оставлены «на усмотрение оператора»:
- Симуляция — не предсказание. Это инструмент сценарного мышления: «что вероятнее произойдёт при таких условиях», не «что точно произойдёт».
- Индивидуальные профили никогда не используются для микро-таргетинга в симуляции. Агенты строятся как статистические аппроксимации, а не «цифровые двойники» конкретных людей.
- Языковые модели вносят свой bias: проверка на эхо-камеру обязательна — несколько LLM с разными системными промптами, кросс-валидация результатов.
- Калибровка по реальным реакциям — условие доверия. Без замкнутой петли «симуляция → реальный запуск → сравнение» прогнозы дрейфуют.
- Прозрачность и журналирование: каждый запуск (промпт, версия популяции, агрегированный результат) фиксируется. Закрытые «черные» симуляции исключены процедурно.
- Согласие на использование профиля в симуляциях — отдельный пункт информированного согласия, добавляется к моменту запуска фазы 1.
Дорожная карта симулятора
9. Опираемся на
Методология не изобретает новых психометрических инструментов — она комбинирует валидированные мировые методики, региональные школы СНГ и Азии и прикладной опыт оценки кадров под высокую ответственность. Источники сгруппированы по слою методологии.
Международная психометрика
Базовые методики, на которых построены модули теста и формулы скоринга.
Likert R. (1932). A Technique for the Measurement of Attitudes.
Archives of Psychology, 22(140), 1–55.
Базовая шкала согласия 1–5 для Модуля 1.
Motowidlo S. J., Dunnette M. D., Carter G. W. (1990). An alternative selection procedure: The low-fidelity simulation.
Journal of Applied Psychology, 75(6), 640–647.
Методология SJT для Модуля 2. Мета-анализ McDaniel et al. (2007) подтверждает валидность r ≈ 0.34 для прогноза рабочего поведения.
Louviere J. J., Flynn T. N., Marley A. A. J. (2015). Best-Worst Scaling: Theory, Methods and Applications.
Cambridge University Press.
Методика MaxDiff для ценностных троек в Модуле 3.
Bass B. M., Avolio B. J. (1994). Improving Organizational Effectiveness through Transformational Leadership.
Sage Publications.
Модель Full Range Leadership для оценки лидерского стиля в Модуле 4.
Eysenck H. J., Eysenck S. B. G. (1975). Manual of the Eysenck Personality Questionnaire.
Hodder & Stoughton.
L-шкала (Lie scale) — источник методологии для оценки социальной желательности в Индексе искренности.
Campbell D. T., Fiske D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix.
Psychological Bulletin, 56(2), 81–105.
Принцип триангуляции (мульти-метод × мульти-черта) — теоретическая основа формулы Comp = 0.60·SJT + 0.25·Style + 0.15·NLP.
AERA, APA, NCME (2014). Standards for Educational and Psychological Testing.
American Educational Research Association.
Стандарт расчёта SEM (стандартной ошибки измерения) и доверительных интервалов для классификации профилей (бипрофиль / specialist / generalist).
Региональные школы — СНГ и Азия
Местные традиции психодиагностики и адаптации международного инструментария к русскоязычной, белорусской и восточно-азиатской выборкам.
Собчик Л. Н. (2003). СМИЛ: Стандартизированный многофакторный метод исследования личности.
СПб: Речь. 219 с.
Российская валидизированная адаптация MMPI с собственными нормами. Активно применяется в кадровой работе российских и белорусских организаций (ОПК, авиация, медицина, госслужба). Основа для нашей шкалы валидности профиля.
Капустина А. Н. (2007). Многофакторная личностная методика Р. Кеттелла.
СПб: Речь.
Русскоязычная адаптация 16PF (16 личностных факторов Кеттелла) со стандартизацией на российской выборке. Совместима по концепции с Big Five-слоем Модуля 1.
Леонгард К. — Шмишек Г. (1976). Опросник акцентуаций характера.
Адаптация Шмишек, рус. изд. Бодалёв.
Типология 10 акцентуаций (демонстративный, застревающий, педантичный, возбудимый, гипертимный и др.) — стандартный инструмент российской и белорусской профдиагностики. Используется как интерпретационный слой при работе куратора с профилем.
Бузин В. Н. (1992). Краткий ориентировочный тест (КОТ).
М: Смысл.
Российский экспресс-тест общих умственных способностей (адаптация Wonderlic Personnel Test). 50 заданий за 15 минут. Широко применяется в кадровом отборе РФ и Беларуси.
Янчук В. А., Фурманов И. А. и др. Психодиагностическая школа БГУ.
Сборник трудов кафедры психологии БГУ.
Институциональная белорусская традиция: адаптация международного психодиагностического инструментария к белорусскоязычной выборке, разработка профессиограмм и методик оценки управленческого потенциала молодых специалистов. Кафедра психологии БГУ, ОИПИ НАН Беларуси.
Cheung F. M. et al. (2003). The Chinese Personality Assessment Inventory-2 (CPAI-2).
Hong Kong: Chinese University Press.
Кросс-культурная методика, добавляющая 4 культурно-специфических фактора Interpersonal Relatedness (гармония, защита лица, гуаньси, бережливость), которые отсутствуют в Big Five. Методологический ориентир для понимания, как культурный контекст требует расширения западных моделей.
Yatabe Y., Guilford J. P. (1957). Yatabe-Guilford Personality Inventory (YG).
Tokyo: Takei Scientific Instruments.
Японская адаптация опросника Guilford-Zimmerman (12 шкал × 120 пунктов), до сих пор применяется в кадровом отборе крупных японских корпораций. Пример многолетней корпоративной валидации одного инструмента в восточно-азиатской деловой культуре.
Прикладная аналитика и кадровый отбор
Серьёзный опыт оценки людей под высокую ответственность — военная психология, отбор операторов сложных систем, методология прогнозной аналитики.
Heuer R. J. (1999). Psychology of Intelligence Analysis.
Washington: Center for the Study of Intelligence, CIA.
Рассекречено CIA, в открытом доступе. Систематизация когнитивных искажений аналитика и структурированных аналитических техник (проверка альтернативных гипотез, ACH). Релевантно для куратора, интерпретирующего цифровой профиль: как не «достроить» в голове несуществующие связи.
Tetlock P. E., Gardner D. (2015). Superforecasting: The Art and Science of Prediction.
New York: Crown Publishers.
На основе IARPA Good Judgment Project (финансирование разведсообщества США). Эмпирически выявленные характеристики «суперпрогнозистов»: вероятностное мышление, регулярная переоценка, дробление вопроса. Прямо применимо к контуру калибровки симуляции (раздел 8).
Караяни А. Г., Сыромятников И. В. (2006). Прикладная военная психология.
СПб: Питер. 480 с.
Учебник для военных вузов РФ. Систематизация методов психологического обеспечения деятельности и кадрового отбора в Вооружённых силах. Источник по методологии оценки в условиях высокой ответственности и стресса — релевантно для Модуля 4 (лидерский стресс-тест).
Бодров В. А. (2001). Психология профессиональной пригодности.
М: ПЕР СЭ. 511 с.
Школа отбора операторов сложных систем (космонавтика, авиация). Институт психологии РАН + Институт медико-биологических проблем. Методология оценки человека под высокую нагрузку, неопределённость и риск — концептуальная основа для стрессовых модулей теста.