Дизайн исследования

Контекст

Гала — внутренняя база знаний ВкусВилла. Пользователь задаёт рабочий вопрос и получает ответ, сформированный AI на основании статей и материалов базы знаний.

В Гале можно искать ответы на разные типы вопросов:

• операционные и бытовые вопросы сотрудников розницы;

• HR- и административные вопросы;

• инструкции по внутренним системам;

• процессные и бизнесовые вопросы.

Сейчас у Галы есть несколько пользовательских поверхностей:

1. Основная Гала
2. Гала внутри Элли
3. Гала в боте

Исследование должно рассматривать Gala не только как интерфейс, а как сервис получения рабочего знания.

Цель исследования

Понять, насколько сотрудники могут с помощью Галы самостоятельно получить надёжный ответ на рабочий вопрос и совершить нужное действие.

Главный пользовательский путь

Возник вопрос → выбрал, где искать → сформулировал запрос → получил ответ → оценил его → при необходимости проверил источник или уточнил вопрос → совершил действие.

Дополнительный путь

Ответа нет / ответ сомнительный → пользователь распознал проблему → понял, что делать дальше → восстановился и нашёл другой способ получить информацию.

Аудитории

Предварительно:

Розница?

5–8 сотрудников (какие роли? нужны ли разные когорты).

Проверяем ли Милю?

Проверяем ли ГЛ?

Офис?

Только читатели или ещё создатели?

Основные исследовательские вопросы

1. Где сотрудник ищет информацию

• Что сотрудник делает, когда у него возникает рабочий вопрос?

• Где ищет информацию в первую очередь?

• В какой последовательности использует разные источники?

• Когда спрашивает коллегу или руководителя?

• Когда идёт в чат, документ, Элли или Галу?

• Знает ли вообще о Гале?

• В какой ситуации Гала становится естественным выбором?

Важно исследовать это до демонстрации интерфейса.

2. Как пользователь формулирует запрос

• Пишет ли естественный вопрос или пытается подбирать ключевые слова?

• Насколько подробно описывает ситуацию?

• Понимает ли, что можно общаться с Галой как с диалоговым AI?

• Что делает, если первый запрос не дал нужного результата?

3. Как пользователь воспринимает AI-ответ

• Понимает ли, что текст ответа сформирован AI?

• Понимает ли отличие AI-ответа от текста оригинальной статьи?

• Получает ли из ответа достаточно информации для действия?

• Может ли пересказать, что именно ему нужно сделать?

• Насколько уверен в полученном результате?

4. Как пользователь работает с источниками

• Замечает ли наличие источников?

• Понимает ли связь между ответом и статьёй?

• Когда считает необходимым открыть первоисточник?

• Может ли найти нужную информацию внутри статьи?

• Понимает ли интерфейс нескольких источников?

• Замечает ли изображения и документы?

5. Как пользователь продолжает диалог

• Понимает ли, что вопрос можно уточнить?

• Ожидает ли, что Gala сохранит контекст предыдущего вопроса?

• Может ли дополнить условия задачи без повторного описания всей ситуации?

• Понимает ли разницу между уточнением текущего вопроса и новым вопросом?

6. Как пользователь воспринимает ошибки

Проверить несколько типов ошибок:

• информации в базе действительно нет;

• Гала нашла нерелевантные статьи;

• AI сформировал неполный ответ;

• AI сформировал сомнительный или ошибочный ответ;

• найдено несколько потенциально противоречащих источников;

• пользователь задал слишком широкий или неоднозначный вопрос.

Нужно понять:

• замечает ли пользователь проблему;

• продолжает ли доверять ответу;

• понимает ли, что информации недостаточно;

• знает ли, что делать дальше.

Гипотезы: Гала внутри Элли

Точка входа

1. Пользователь понимает, что раздел базы знаний предназначен для получения ответа на рабочий вопрос.

2. Стартовый экран в нулевом состоянии даёт достаточно информации для начала работы.

3. Пользователь воспринимает интерфейс как диалог, а не как классический поиск по базе знаний.

Формулирование запроса

4. Пользователь формулирует вопрос естественным языком.

5. Пользователю не требуется знать название статьи, раздел базы знаний или специальные ключевые слова.

Ответ

6. Пользователь понимает основной AI-ответ и способен на его основании выполнить задачу.

7. Пользователь понимает, что ответ сформирован на основании материалов базы знаний.

Источники

8. Пользователь замечает возможность ознакомиться с источником ответа.

9. Пользователь понимает связь между AI-ответом слева и статьёй справа.

10. При наличии нескольких источников пользователь понимает, что табы справа относятся к разным документам.

11. Пользователь замечает изображения и вложенные документы и понимает, как ими воспользоваться.

Диалог

12. Пользователь понимает, что после первого ответа можно задать уточняющий вопрос.

13. Пользователь ожидает сохранения контекста внутри текущего диалога.

14. Пользователь понимает назначение действия «Задать новый вопрос».

Оценка ответа

15. Пользователю понятно, что именно он оценивает лайком или дизлайком

Ошибки

16. Пользователь способен отличить отсутствие информации от найденного ответа.

17. Нерелевантные материалы при отсутствии хорошего ответа не создают ложного ощущения, что Гала действительно нашла решение.

18. Если ответ выглядит сомнительным, пользователь понимает, как его проверить или что сделать дальше.

Предварительные зоны исследования основной Галы

Финальный набор гипотез по основной Гале сформируется совместно с командой.

На встрече необходимо разобрать следующие направления.

Сценарии юзабилити-тестирования

Для тестирования необходимо использовать реальные рабочие ситуации.

В задании нельзя указывать, какой элемент интерфейса нужно использовать.

Вместо:

«Найдите в базе знаний инструкцию по списанию».

Используем:

«Вы обнаружили товар с истёкшим сроком годности. Вам нужно понять, что теперь делать».

Сценарий 1. Простой рабочий вопрос

Пример:

Вы обнаружили просроченный товар. Вам нужно понять, что с ним делать и как правильно оформить списание.

Проверяем:

• где пользователь начинает поиск;

• как формулирует запрос;

• может ли получить ответ;

• понимает ли инструкции;

• готов ли действовать.

Сценарий 2. Вопрос, где важен первоисточник

Выбрать процесс, где есть:

• несколько шагов;

• исключения;

• критичные правила;

• документы или инструкции.

После получения ответа не просить открыть статью.

Наблюдать, возникнет ли такая потребность самостоятельно.

Дополнительные вопросы:

• Насколько вам достаточно этого ответа?

• Вы бы сейчас начали действовать?

• Насколько уверены в информации?

• Откуда, по вашему мнению, взялся этот ответ?

• Хотели бы вы что-то проверить?

Сценарий 3. Уточнение контекста

Например:

Как оформить отпуск?

После первого ответа добавить новое условие:

А если до начала отпуска осталось меньше двух недель?

Проверяем:

• продолжит ли пользователь текущий диалог;

• ожидает ли сохранения контекста;

• начнёт ли новый поиск;

• насколько понятен follow-up.

Сценарий 4. Несколько источников / вложение

Выбрать реальный запрос, по которому:

• используется несколько статей;
  или

• есть изображение;
  или

• есть вложенный документ.

Проверяем:

• замечает ли пользователь источники;

• понимает ли вкладки;

• понимает ли связь ответа и документов;

• может ли открыть нужный материал.

Сценарий 5. Нет ответа

Использовать вопрос, ответа на который в базе заведомо нет.

Проверяем:

• понимает ли пользователь, что Gala не располагает информацией;

• принимает ли случайно найденные материалы за ответ;

• что делает дальше;

• как пытается переформулировать вопрос;

• кому или куда идёт после Галы.

Сценарий 6. Сомнительный ответ

По возможности подобрать реальный кейс, где:

• ответ частичный;

• найден не тот процесс;

• несколько документов дают разные сигналы.

Проверяем способность пользователя не только найти ответ, но и распознать ненадёжный ответ.

Подготовка тестовых кейсов

До начала исследования для каждого тестового вопроса необходимо зафиксировать:

• исходную ситуацию;

• ожидаемый корректный ответ;

• источник истины;

• статьи, которые Gala должна использовать;

• наличие вложений;

• ожидаемое поведение AI;

• известно ли, что ответ сейчас работает корректно;

• намеренно ли используется failure case.

Это позволит разделить проблемы пользователя и проблемы самой системы.

Дизайн сессии

Продолжительность: 45–60 минут.

1. Контекст — 5–10 минут

До показа интерфейса:

Представьте, что прямо сейчас на работе у вас возник вопрос и вы не знаете, как поступить. Что вы будете делать?

Исследуем текущий информационный путь.

2. Основные задачи — 20–25 минут

2–3 рабочих сценария.

3. Ошибочные кейсы — 10 минут

• отсутствие ответа;

• плохой ответ;

• уточнение;

• несколько источников.

4. Рефлексия — 5–10 минут

• Где ожидали бы иметь такой инструмент?

• Когда стали бы им пользоваться?

• Чему доверяли?

• Что хотелось проверить?

• В какой ситуации всё равно спросили бы человека?

Критерий успеха исследования

По итогам исследования мы должны суметь разделить:

пользователь не пришёл в Галу→ пользователь не смог воспользоваться Галой → Гала нашла плохую информацию → Гала неправильно сформировала ответ → пользователь не смог понять или проверить ответ.

И на основании этого определить отдельные продуктовые задачи для UX, AI и базы знаний.