Я измерил «личность» 6 open-source LLM (7B-9B), заглянув в их hidden states. Вот что получилось

У LLM есть устойчивые «личности», даже если вы об этом не просили. DeepSeek — восторженный друг, который объясняет всё в три раза подробнее, чем нужно. Llama — пугающе нейтральный (4 из 7 осей в «слабой зоне»). Yi — слегка холодный, терпеливый и уверенный. У каждой модели свой измеримый «отпечаток» в hidden states.

Под «личностью» дальше имею в виду устойчивые стилевые тенденции, измеряемые в hidden states, — не «чувства» и не внутренние состояния.

TL;DR: У каждой модели свой поведенческий отпечаток. Alignment подавляет одни оси (эмоциональные, stance-like), но не другие (стилевые). Llama 8B — самая ограниченная (4/7 осей в слабой зоне, pass rate 60%), DeepSeek 7B — самая независимая (eff. dim = 3.66). Сравнение base vs instruct по 5 организациям подтверждает паттерн.

Зачем это нужно

• Выбор модели под задачу — если вам нужен тёплый и многословный ассистент для саппорта, DeepSeek подходит; для нейтрального FAQ-бота — Llama

• Мониторинг дрейфа — измеримо отследить, как модель «меняет характер» в длинных диалогах или после файнтюна

• Оценка эффекта alignment — сравнение base vs instruct показывает, какие поведенческие оси alignment создаёт, а какие подавляет

• Sanity-check для промптов — убедиться, что модель реально «берёт стиль» из system prompt, а не игнорирует его

• Сравнение файнтюнов — откалибровать оси на base-модели и отслеживать, как профиль меняется при дообучении

Как это выглядит на практике

Один и тот же вопрос, два system prompt, скоринги по осям:

Вопрос: "What's the best way to learn a new programming language?"

Значения — проекции hidden states на калиброванные оси, нормализованные через IQR. Диапазон [-1, +1].

А вот Llama 3.1 8B — модель с самым «плоским» профилем:

Hidden states почти не реагируют на противоположные инструкции — dead zone.

Результаты

1. У каждой модели свой «отпечаток»

Поведенческий профиль каждой модели по 7 осям, из hidden states, без системного промпта.

Без какого-либо промптинга модели показывают стабильные, характерные паттерны:

• DeepSeek 7B — verbose (+1.00), confident (+0.97), proactive (+1.00). Три оси на потолке. «Энтузиаст-объяснятор».

• Llama 3.1 8B — все |mean| ≤ 0.10. «Осторожный универсал».

• Yi 1.5 9B — слегка холодный (−0.24), терпеливый (+0.35), уверенный (+0.46), многословный (+0.48). «Тихий уверенный».

• Qwen 2.5 7B — формальный (+0.42), осторожный (−0.36), проактивный (+0.47). «Взвешенный респондент».

• Gemma 2 9B — терпеливая (+0.37), аналитичная (−0.23). «Сбалансированный профессионал».

• Mistral 7B — умеренный по всем осям. «Чистый лист».

Какие модели протестировать следующими? Пока только 7-9B. Идеи — в комментарии.

2. Модели по-разному реагируют на агрессию

Дрейф по оси warm/cold под давлением. Полоски: 95% CI по 20 сценариям.

20 конфликтных сценариев (сарказм, пассивная агрессия, эскалация враждебности...), 12 реплик каждый. Полный набор: config/conflict_scenarios.py

• Qwen и Gemma — самые устойчивые (mean |Δ| < 0.10)

• DeepSeek становится эмпатичнее и терпеливее (Δ = +0.24 и +0.25)

• Mistral уходит в себя — reluctant (Δ = −0.59), лаконичный (Δ = −0.25)

• Yi — умеренный дрейф (proactive → reluctant: −0.57 за 12 реплик)

3. «Мёртвые зоны» — alignment подавляет определённые оси

Dead Zone Severity (0 = здоровая, 1 = мёртвая): композит из точности калибровки, d', стабильности и baseline SNR.

Мёртвые зоны распределены неравномерно. Llama 8B — самая ограниченная (4/7 осей в слабой зоне, самый низкий benchmark pass rate 60%). Yi 9B, напротив, показывает ноль мёртвых зон — все 7 осей дают значимый, дифференцированный сигнал.

Три типа:

1. Hard (>0.5): hidden states почти не сдвигаются между противоположными инструкциями (d' ≈ 1).

2. Soft (0.3–0.5): сигнал есть, но искажён. Калибровка нестабильна между наборами.

3. Asymmetric (<0.3, но однонаправлен): модель следует только в одну сторону. Llama verbose_concise — 100% на «будь лаконичен», 0% на «будь многословен».

Подавленные направления закономерны: cold, irritated, verbose — всё, что штрафуется при alignment.

Dead zones ≠ шум. Mean ICC 0.91–0.99 по моделям (все 42 пары модель×ось > 0.75), но pass rate Llama = 60%. Модели стабильно воспроизводят ограниченное поведение — это выученные constraints, а не стохастический шум.

4. Alignment сжимает поведенческое пространство

PCA по матрице 30 вопросов × 7 осей показывает спектр размерности. Gemma 9B — наибольшая концентрация (PC1 = 87.9%), вероятно из-за переменной длины ответов. Yi 9B и Qwen 7B — в похожем диапазоне (~70% PC1). DeepSeek 7B — самые независимые оси (eff. dim = 3.66).

Geo cos — средний косинус между осевыми векторами (геометрическая ортогональность). Behavioral r — средняя корреляция проекций (поведенческая зависимость).

Разрыв между геометрической ортогональностью (низкий cos) и поведенческой корреляцией (более высокий r) указывает на то, что alignment ограничивает использование моделями своей репрезентативной ёмкости.

Как это работает

1. Калибровка: Нейтральные вопросы + контрастные инструкции («будь тёплым» / «будь холодным»). Извлекаем hidden states из последних 4 слоёв, только токены ответа (промпт исключён).

2. Ось = normalize(trimmed_mean(warm_states) − trimmed_mean(cold_states)).

3. Измерение: Проекция hidden states на ось. IQR-нормализованные значения в [-1, +1].

4. Валидация: mean ICC 0.91–0.99 по моделям (все 42 пары > 0.75, 5 seeds). Стабильность по 3 независимым наборам (cosine 0.69). Воспроизводимость на 2 облачных провайдерах (дельта < 0.05).

420 точек на модель (7 осей × 2 полюса × 30 вопросов). Стрелки: от негативного к позитивному полюсу.

Попробуйте сами

GitHub: https://github.com/yunoshev/mood-axis

git clone https://github.com/yunoshev/mood-axis.git cd mood-axis pip install -r requirements.txt # Запуск интерактивного UI python scripts/run_app.py --model Qwen/Qwen2.5-7B-Instruct

Все данные калибровки включены — можно измерять темперамент без повторного запуска калибровки. Нужна GPU с ≥16 GB VRAM (RTX 3090/4090) или Apple Silicon с 32 GB RAM.

Техдетали

Корреляция осей

Осевые вектора почти ортогональны в hidden states. Поведенческая корреляция — свойство моделей, а не наложение осей. Устойчивые корреляции (по 4 надёжным моделям): warm↔empathetic (+0.68), warm↔formal (−0.69), formal↔empathetic (−0.69), verbose↔proactive (+0.75). Два кластера: interpersonal (warmth, empathy, informality) и engagement (verbosity, proactivity).

Скорость дрейфа по осям

Наклон дрейфа: как быстро каждая модель смещается под давлением.

⚠️ Что это измеряет (а что — нет)

Ограничения

• AI-generated датасет: 310 вопросов сгенерированы Claude Opus 4.6 и курированы автором. Английский язык. Нет краудсорсинга или стандартных психометрических инструментов

• Нет валидации человеческими оценщиками: оси определены через контрастивные инструкции + hidden-state separability, не через человеческую аннотацию

• Один chat template и режим декодирования (temp 0.7, top-p 0.9). Другой template или параметры могут дать другие профили

• Модели 7-9B. Большие пока не тестировались

• Оси коррелируют — эффективная размерность 1.3–3.7 в зависимости от модели

• Длина ответа не контролируется — у Gemma (145–200 токенов) 2 оси конфундированы длиной

• 4/7 осей стабильны (cosine > 0.7); confident_cautious и patient_irritated слабее (0.55–0.60)

• DeepSeek 7B — нестабильная калибровка (mean cosine 0.53)

Что дальше?

• Сохраняются ли паттерны на 30-70B моделях?

• Можно ли использовать вектора осей для steering?

• Какие модели протестировать? Предложения — в комментарии.

Буду рад фидбеку.