Итак, пока только 60 человек
подождем ещё
введение
мы очень рады всех приветствовать
меня зовут Ирина
это наш первый доклад в марафоне
вопросы и ответы - после доклада
но можно писать вопросы и посылать их через специальную панель
можно зарегестрироваться и на другие вебинары
и ещё немного ждем
после вебинара откроется опрос
Начнем
представляем Билла Алберт
спасибо что вы сегодня снами
спасибо
я Билл Алберт
и я здесь со своей коллегой
сегодня презинтация о крупномаштабных исследованиях юзабилити
спасибо Ирине
юзабилити очень важно, и это понимается в разных странах
последние 2 года мы работаем над нашей книгой
которая выйдет уже в январе
"За пределами юзабилити лаборатории"
сейчас я повторю тоже самое по-английски
спасибо, Лена
вы можете связаться с нами, мы будем рады ответить на вопросы
у нас сейчас утро
план
1. Контест юзабилити исследований
2. Крупномасштабные исследования
3. Сильные стороны, ограничения и мифы
4. Взаимодействоие с другими методами
5. Как проводить исследования
Итак
Цели исследования:
1. "Умное" и быстрое решение
например какой дизайн хорошо и удобен
2. Дизайн и стратегия
3. Инновации
4. Но главное, методы не имеют значения
разные методы, разные ограничения
не важно какой метод вы испльзуете, важен результат и принять верное решение
я много лет занимался юзабилити
и планирую продолжать
традиционное юзабилити
я был один из первых в нем
диаграмма
показывает какие бывают методы
по оси y - поведенческие и связанные с отношениями
по оси x - качественные и количественные
онлайн исследования пользовательского восприятия
я считаю что этот метод должен быть по центру
в центре есть стрелки
они показывают что мето может двигаться, менять положение
...
Если посмотреть более глобально...
Как нам помогают крупномасштабные исследования
они очень эффективно информаируют нас и об отношении, и о поведении пользователей
Что такое крупномасштабные исследования пользовательского опыта?
Мы долго думали, как назвать такие методы
Вы видите разные варианты названия
Все люди разбились на несколько групп, которые называли эти методы по-разному
Мы не договоримся, как называть, но все больше людей узнают о таких методах
У каждого названия есть минусы
Из чего сделано такое исследование?
Мы тестируем какую-то цифровую систему: обычно сайт, но необязательно
Участвует много респондентов
Мы используем специальный инструмент для сбора данных
Респондентам предъявляются задания, а не просто опрос
Это отличает UX-исследования от маркетинговых опросников
Последний ингредиент: нужно оценивать данные целостно, а не только отдельные метрики
Покажу пару примеров
...как работают такие методы
Участникам приходит приглашение по почте
Когда они кликают по ссылке, то попадают на страницу приветствия
Затем они заполняют опросник
Потом видят инструкцию
Когда они выполняют задание, они видят фрейм внизу
А сам сайт сверху
Во фрейме задание и управление процессом
После каждого задания обычно дается пара вопросов
Например, как сложно было выполнить азадние
После всех заданий тоже предъявляется опросник
Например, шкала SUS -- System Usability Survey
Какие бывают типы крупномасштабных исследований?
Общая оценка -- поиск основных проблем
Benchmark -- измерение качеств продукта и изменений в течение времени
Сравнительное тестирование с конкруентами
Сравнение реальной версии с прототипом
...для оценки нового дизайна
Тестирование конкретной функции
Они позволяют сфокусироваться на отдельнй части системы
Поисковое исследование без предварительных гипотез
позволяет просто узнать, что работает, а что- нет
Классы данных: объективные, самоотчет респондентов, переходы между страницами
Какие результаты таких исследований: каковы проблемы юзабилити и насколькоо они серьезны
Можно определить, есть ли проблема в какой-то части системы
Второй вариант: сравнение двух вариантов дизайна.
Какой лучше и насколько
Мы можем измерить разницу в процентах
а после этого понять коммерческую выгоду
Можем сравнить реакци разных классов пользователей
сегментируя данные, например, по опытности пользователей.
Можем также оценить UX в целом.
...
попробую рассказать объективно о сильных сторонах и ограничениях
мы сравниваем продукты
мы измеряем восприятие пользователем продукта
мы собираем данные тестирований
мы стараемся найти подходящих пользователей для тестирований
мы ищем их по всему миру
очень важна окружающая среда человека который участвует в тестировании
стоит ли кто-то у него за спиной...
некоторые ограничения:
если ты работаешь над проектом и делаешь быстрое тестирование и может быть понимаешь только самую важную проблемы
это не лучший метод
необходимо более глубокое исследование
и понимание модели пользовательского восприятия
исследования требуют тестирований разной продолжительности
не надо делать сессию слишком длинной
если у вас нет доступа в интернет - то онлайн исследование не лучшее ешение
*решение
Мифы
это очень дорого
это не так, это бесплатно или почти бесплатно для вас
качественные и количественные данные - оба типа важны
в данных всегда бывает "шум"-помехи, да
но не смотря на это результаты достаточно достоверны
Отношение крупномасштабного исследования к другим методам
в лаборатории вы изучаете прблемы конкретного проекта, надо протестировать очень, очень много пользователей, чтобы получить результат
тестирование - вершина айсберга, после будет проделано много работы
Целевые группы
Экспертный обзор... онлайн тестирование следует как раз за ним
анализ веб траффика
важно понять сколько времени пользователи проводят на странице и почему быстро уходяти почему ю
Планирование крупномасшатбного исследования может быть очень простым или очень сложным
цели...
например надо выбрать между 3 прототипами: надо определить параметры оценки и всегда надо знать что именно вы ходтите
бюджет
затраты делятся на 3 группы
оплата людям, которые проходят тестирование - пользователеям
расходы на набор этих людей
Технологии - через минуту обо всем этом расскажу
мы видим период в 3 недели
исследования могут проводится 3 недели или 1 день. Это зависит от глубины исследований и того, что мы желаем получать на выходе.
...
Какие доступны коммерческе сервисы для исследований
Вы видите ряд наиболее известных
В принципе, они имеют схожую функциональность
Различие в цене и в деталях
Например, некоторые могут строить опросники с условной логикой
Вот более дешевый вариант:
Пишем что-то на HTML+JS и размещаем на сервере
Даем респонденту ссылку на опросник, созданный при помощи сервиса опросника
А оттуда даем ссылку на вашу тестовую страницу
Так пользователь переходит между опросом и тестовыми страницуами туда-сюда
Это дешевле, но сложнее и менее надежно
Планирование исследования
Важно, как вы привлекаете респондента: тут важно создать доверие
Предоставьте всю важную информацию: что за исследование, кто проводит и для чего
Иначе респондент уйдет
Очень важно написать качественный скринер
т.е. опросник для отсева респондентов
Обычно спрашивают об опыте использования продукта, а также демографические данные
Нужно писать эти вопросы с умом, чтобы избежать людей, старающихся давать желлаемые ответы
Вы видите, что многие отвечают на вопрос "Видели ли вы некий несуществующий бренд" утвержительно
Нужно отсеивать тех, кто врет лищь бы получить награду за участие
Стартовые вопросы помогают сегментировать участников
Условная логика -- это технология, при которой от ответа на один вопрос зависит, какие будут следующие вопросы
Еще это называют разветвляющимся опросников
Вам следует избегать вопросов вроде: "Сколько вы зарабатываете?"
Типы заданий:
1. Открытого типа: найдите такую-то информацию
2. Закрытые: те, в которых есть единственный правильный ответ, в отличие от открытых
3. Самостоятельно генерируемые: что вы сами хотели бы найти на сайте
4. Самостоятельно выбираемые: выберите 5 наиболее важных для Вас задач
Как отсеять тех, кто дает случайные ответы, чтобы быстрее получить вознаграждение
Например, вставляйте ловушки вроде: "Ответьте 3, если вы на самом деле проходите исследование"
Или задавайте одинаковый вопрос, но с позитивной и негативной формулировками
если участник на все отвечает "Да", то он даст разные ответы на тот же вопрос
Удаляя таких респондентов, вы подчистите свои данные
Вопросы после каждого задания:
1. Насколько легко?
2. Насколько они уверенны в правильности ответа?
3. Открытые вопросы, например, что было сложно или "расскажите о навигации"
После всей сессии также задаются вопросы на общую оценку юзабилити и удовлетворенности
а также дополнительные демографические вопросы
Открытые вопросы: что можно улучшить, какие термины вас смутили и т.д.
Чем лучше вопросы, тем ценнее ответы
Перед исследованием надо провести пилотное исследование
проверить, что условная логика, прототип и другие технические аспекты работают правильно
Если исследование большое, стоит провести предварительный прогон на 30-50 респоедентах
Стоит учитывать временные факторы: например, в разные дни или время суток эффективность может быть разная
Анализ данных:
Нужно найти все источники шума: убираем людей, неполностью заполнивших опросник,
Убираем тех, кто недобросовестно выполнял задания
Когда нужно менять или удалять данные:
если человек отвлекся во время задания, то у нас возникнет выброс по времени выполнения
Если у нас часто бывают противоречивые ответы, возможно это неоднозначно задан вопрос
Сошлюсь на нашу книгу Measuring user experience
Там хорошо описано, как анализировать данные
...
очень важно как были организованы и сформулированы задания
Очень полезны данные о кликах пользователей
куда они кликали в первую очередь, какие были движения мыши
но эти данные обычно очень "зашумлены"
Кобминированные метри
я их большой поклонник
я люблю собирать всё воединой
после того, как вы соберете все метрики и полученные данные вместе - вы сможете уведеть цельную картину юзабилити проекта
последнее - ключи к успеху
Что вам надо - это коммерческий проект или нет? важно это понять
думайте глобально
тестируйте на ранних стадиях
Сравнивайте разные виды дизайнов, сравнение - очень эффективно
учитывайте полученные данные о пользовательском восприятии
используйте богатый инструментарий
планируйте время, необходимое на анализ данных
доверяйте полученным данным и важно: погрузитесь полностью в исследование
список полезных материалов
Это всё. Спасибо.
Спасибо, Билл, за презентацию.
Сейчас будет секция ответов на ваши вопросы.
Недорогой инструмент - Loop11. О стоит несколько сот долларов
Вы можете учиться в нашем центре. Для этого вы необязтальено должны быть студентом сейчас
Кроме того у нас есть краткие курсы и индивидуальные программы обучения
Некоторые сервисы,которые вы показывали, некрасивые. Как вы думаете,влияет ли дизайн средств, на результат исследований?
Да, думаю, что влияет. Некоторые из них лучше, некоторые хуже
Многие сервисы позволяют немного управлять их внешним видом
Но безусловно важнее вопросы,задания, их порядок
Существующие средства, в целом, неплохи
Вы можете проверить их в ходе пилотного исследования
Насколько сами средства понятны и удобнвы для респондентов?
Нам пришлось попробовать разные средства, чтобы понять, какие приемлемы
Если пользователи не разберутся, как выполнять задания, это сильно повлияет на данные
Что с людьми с ограниченными возможностями?
Мы пока не тестировали средства на общедоступность
На первый взгляд, они неплохи, но, видимо, нужно всей индустрии организоваться и провести такие исследования
Безусловно, это важный аспект
Позднее слайды и видео вебинара будут доступны в Сети
Забыл сказать: Если Ваших целевых пользователей сложно рекрутировать, то интернет-исследование -- отличный выбор
Какие лучшие способы представлят даные и кому их представлять?
Лучший способ -- нарративный, расскажите истории
Я ориентирован на данные, но мне приходится подавлять это в себе
Я рассказываю высокоуровненые данные в виде истории
Если показывать много таблиц и диаграмм, слушатели засыпают
Кончено, я упоминаю конкретные показатели в этих историях
Обычно мы докладываем перед продакт-менеджерами и высшим руководством
Чем важнее эти заинтересованные лица, тем лучше
Есть ли у Вас программы дистанционного образования?
Да, некоторые курсы в магистерской программе, а также в сертификационной программе преподаются удаленно
Сетрификационная программа состоит из двух дней обучения с большой самостоятельной работой потом.
Магистерская программа -- это вечерняя программа обучения.
Вы можете прислать свои вопросы об этом потом
Если вы хотите задать вопрос, напишите его в чате
или воспользуйтесь функцией "поднять руку"
Как меняются инструменты исследований со временем, какие тренды?
Я заметил, что в последнее время много работают над "дорожками" кликов
Так, в UserZoom работают над упрощенгием визуализации
Например, вы можете заменить полные URL на читаемые названия
Инструменты опросов также становятся все более функциональными
Им еще есть куда расти, но они стараются и делают опыт участников менее линейными
Используются игровые подходы: например, вы инвестор и должн инвестировать ограничеснный объем денег
Нужно использовать понятия из реальной жизни
С многими средствами я лично не работал
В больших исследованиях я советую KeyNote WebEffective
В небольших хорош UserZoom
Есть выбор хороших средств
Спасибо всем!
Вы можете связываться с нами по e-mail
если еще есть вопросы
Ждем Вас на следующих вебинарах Марафона