частота детекции айтрекера 8 кгц какое количество вычислений точки взора произойдет за 10 мс
Айтрекинг: доступные решения и их особенности
Исследование движений глаз – саккад и фиксаций – является одним из наиболее интересных направлений анализа в нейронауках, включающих в себя и эмоциональную проблематику. Действительно, глаза – релевантный канал для сбора данных о текущем состоянии и реакциях человека на стимулы внешней среды, важный источник информации о физиологии, эмоциях, когнитивных аспектах жизнедеятельности в естественных, повседневных условиях, в контексте коммуникаций разного рода, происходящих между людьми. Без данных видеоокулографии говорить о мультимодальности в распознавании эмоций было бы затруднительно.
В целом в индустрии айтрекинга в последние несколько лет наблюдается феномен последовательного сокращения числа независимых игроков. Однако крупнейшие производители окулографических систем — вроде шведской компании Tobii и канадской SR Research (Eyelink) — успешно черпают дополнительные ресурсы из внешних источников и укрепляют свои полумонопольные позиции.
Параллельно с этим корпорации скупают компании и стартапы средних размеров. Например:
— Google приобрел Eyefluence,
— Facebook – EyeTribe,
— а Apple в июне 2017 года – немецкую компанию SMI с её брендированной технологией захвата и записи взгляда в режиме реального времени с частотой дискретизации до 120 Гц.
Случаются и будоражащие события. Так, совсем недавно рыночная стоимость компании Tobii всего за 48 часов ощутимо взлетела…Аналитики теряются в догадках и выдвигают конспирологические версии.
Мы в Neurodata Lab не только ведем регулярный мониторинг рынка и разрабатываем собственный софтовый айтрекер, но и накопили значительный опыт в работе со сторонними решениями. Их и обсудим подробнее.
В настоящее время айтрекинг (иначе называемый видеоокулографией) — популярный инструмент для изучения зрительного внимания человека. Многие психофизиологические процессы находят свое отражение в параметрах движений глаз, в динамике морганий и изменении ширины зрачка (усталость, когнитивная загрузка, эмоциональные реакции и др.). Сейчас в практических целях айтрекинг используется в основном для юзабилити исследований в нейромаркетинге. Кроме того, видеоокулография нашла свое применение в геймерских и ассистивных контроллерах для управления взглядом (например, Tobii4С или более ранняя модель TobiiEyeX). На базе айтрекинга активно разрабатываются системы контроля внимания водителей и диспетчеров (см. статьи Sampei et al., 2016; Dongare, Shah, 2016; Anguliar et al., 2017), элементы «умного дома», или вот Eye of Horus — проект создания очков для управления предметами.
Лабораторные айтрекеры представлены ограниченным числом брендов (наиболее известные среди них — EyeLink и Tobii) и не слишком доступны для широкого использования в связи с их заоблачной стоимостью. Сравнительно бюджетные коммерческие айтрекеры – это монтируемые под монитор трекеры GazePoint (стоимостью от 675$), но у них есть ряд недостатков: небольшой допустимый диапазон движений головы испытуемого — всего 25x11x15см — и достаточно «сырой» софт.
С учетом сложившейся ситуации на рынке и возрастающего интереса к видеоокулографии можно констатировать, что в наличии имеется большое разнообразие хенд-мейд решений (хардверных и софтверных) для дизайна исследований глазодвигательного поведения человека и анализа данных, а также разработки в области айтрекинга с использованием вебкамеры.
Айтрекер из подручных материалов
С практически полным списком опенсорсного софта и трекеров для самостоятельной сборки можно ознакомиться тут. В дополнение к нему стоит добавить Open Eyes, PupilLabs и PyGaze. Кстати, создатель PyGaze Эдвин Далмайер (Edwin Dalmaijer) опубликовал книгу “Python for experimental psychologists” c подробным руководством, рекомендуем добавить её в закладки.
Айтрекинг на базе веб-камеры
Айтрекинговые решения на базе обычной веб-камеры можно разделить на две категории: онлайн-платформы («заточенные» преимущественно на проведение юзабилити-тестирований) и любительские либо коммерческие SDK.
Онлайн-платформы предлагают создать аккаунт, сформировать эксперимент (например, загрузить набор изображений) и отправить ссылку участникам исследования. Испытуемому требуется разрешить доступ к своей веб-камере, подготовиться к эксперименту (снять очки, убрать яркие источники света подальше от камеры, провести калибровку и как можно меньше шевелиться). Очевидно, что проконтролировать поведение испытуемого и условия при таком дизайне эксперимента невозможно, поэтому точность варьируется и порой оставляет желать лучшего.
Итак, в порядке перечисления:
— EyesDecide (Xlabs): платформа с приемлемо грубой локализацией взора (при условии, что испытуемый не шевелится). Есть детекция лица (строится 3D-модель), калибровка по 30 точкам, каждая из которых предъявляется несколько раз + дополнительная калибровка в конце теста.
— WebGazer: есть детекция лица. Калибровка осуществляется самим испытуемым посредством перемещения курсора по экрану и фиксации взора на нем. Трекер нельзя назвать точным. К тому же в том случае, когда смотришь на одну часть экрана и двигаешь курсор у другой части, трекер при прочих равных предпочитает детектировать положение взора на курсоре.
— Eyezag: на этой платформе можно поставить краткий эксперимент. Тестирование начинается с калибровки (16 точек) и завершается ею же, но уже по 9 точкам. Системы отслеживания движений головы на данной платформе нет, поэтому время возможного эксперимента ограничено несколькими минутами и обычной просьбой к испытуемому не шевелиться. Результаты демо-тестирования направляются по запросу. Вполне подходит для задачи приблизительной локализации взора при большом количестве испытуемых и потоковом тестировании.
— User zoom и Sticky – еще две платформы для юзабилити-тестирования с помощью веб-камеры, но тестовые результаты нам посмотреть пока не удалось (User zoom – высылают примеры своих юзабилити-исследований, но демо-версией софта с нами не поделились; а вот в демо-версии Sticky можно попробовать задать рамки эксперимента, выделить зоны интереса на изображениях, запустить, но оценить итоговый результат в демо-версии нельзя в принципе. Процедура тестирования начинается с вопросов о положении компьютера пользователя, освещении и т.д., после чего калибровка – во всяком случае в предложенной демо-версии – не последовала).
Имеющиеся в свободном доступе любительские проекты и коммерческие SDK работают неудовлетворительно, но взглянуть на них любопытно. Упомянем некоторые из них:
— GazeRecorder: включает в себя систему распознавания лица, калибровку (от 5 до 17 точек). Калибровка по 17 точкам обрабатывалась довольно долго (почти 2 минуты) и уже спустя 3-5 секунд “сползла”.
-TrackEye: трекер на базе камеры, подключаемой через USB 2.0., также есть опция анализа загружаемого видео. Помимо основного видео при трекинге запускается несколько окон, показывающих работу алгоритма, на них отчетливо видно, что зрачок отслеживается некорректно.
— GazeTracker: есть настройки параметров детекции (зрачок, блик), контраста видео и калибровки (9, 12 и 16 точек; разрешено настраивать разную скорость). Калибровка не подстраивается под размер монитора, несмотря на то, что в опциях можно указать его разрешение. Алгоритм детекции зрачка неточный, даже если предварительно повозиться с настройками: вместо него иногда распознается что-то другое — темное и круглое, напоминающее зрачок (например, пожарная сигнализация на потолке или ноздри с определенного ракурса). Трекер не учитывает положение головы и «теряет» глаза при небольших поворотах.
— SentiGazeSDK: не учитывает положение головы, детекция лица ниже среднего. Во время моргания SDK выдает ошибку, оповещая о невозможности задетектировать лицо, вдобавок не работает при резких поворотах головы.
— InSightSDK (Sightcorp) – работает с загружаемым видео. Детектирует лицо на видео при фронтальной съемке, однако при поворотах происходит ошибочная детекция (при загрузке видео, где голова человека изначально повернута в сторону, – выдает ошибку). Детекция глаз тоже низкого качества (на загруженном видео, длительностью 18 секунд, где испытуемый был записан фронтально, — по координате Х потеряно 77,2% данных, по координате Y — 33,18%).
Несомненно, подобных проектов гораздо больше, чем перечислено в нашей статье. Пока такие разработки, конечно же, не могут заменить или превзойти лабораторные айтрекеры, однако проблема известна – и адекватное решение (по соотношению цена-качество) не за горами. Речь идет о комплексной, интересной задаче – и о рыночных перспективах, которыми не стоит пренебрегать.
Анализ движений глаз на самом обычном видео требует, как минимум, дополнительного трекинга движений головы, идеальной детекции лица, и усложняется тем, что зрачок занимает крайне небольшую площадь в кадре. Все эти нюансы несомненно будут учтены. Резюмируя, отметим, что создание такой технологии позволит досконально изучить поведение и составить детальную «карту эмоциональных реакций» человека в привычных условиях, особенно в эпизодах дву- и многосторонней коммуникации, а достичь этого при помощи айтрекеров-очков и сложных стационарных установок едва ли получится.
Над материалом работала:
Мария Константинова, научный сотрудник в Neurodata Lab, биолог, физиолог, специалист по зрительной сенсорной системе, окулографии и окуломоторике.
Чувствительность айтрекера и точность измерений положения глаз 1102
Барабанщиков В.А.
доктор психологических наук, Директор Института экспериментальной психологии, Московский государственный психолого-педагогический университет, Москва, Россия
e-mail: vladimir.barabanschikov@gmail.com
Окутина Г.Ю.
Институт психологии РАН, Центр экспериментальной психологии МГППУ (Москва)
e-mail: gu.okutina@gmail.com
Окутин О.Л.
Институт психологии РАН, Центр экспериментальной психологии МГППУ (Москва)
e-mail: ol.okutin@gmail.com
Эффективное использование айтрекеров требует от экспериментатора знаний общих принципов устройства аппаратуры, способов регистрации положений/движений глаз и их погрешностей, принципов графического отображения данных. Однако даже эти знания не гарантируют научную обоснованность получаемых окулограмм – необходима проверка аппаратуры в «деле», в практике реальных исследований. В данной работе приводятся некоторые результаты апробации возможностей высокоскоростной системы видеорегистрации движений глаз при выполнении наблюдателями зрительных и двигательных задач.
Процедура и методы
Испытания проводилась на установке iView X™ Hi-Speed-1250/500 немецкой компании SMI (HSSMI), предназначенной для высокоскоростной видеорегистрации движения глаз в инфракрасном диапазоне излучения. Она состоит из регистрирующей скоростной видеокамеры, источника инфракрасного света, стойки-колонны с упором головы и подбородником, двух мониторов для предъявления стимулов и отображения данных регистрации, персонального компьютера и пакета программного обеспечения. Оценка направленности движений глаз опирается на видеоинформацию об относительном расположении центров зрачка и роговичного блика (Pupil-center/corneal reflex метод). Частота видеосъемки поверхности глаз в монокулярном режиме – 1250 или 500 Гц; разрешающая способность (чувствительность) айтрекера – 0,01°; рабочая точность определения направления глаз – 0,25–0,5°; диапазон линейности – ±30° по горизонтали, 30° вверх, 45° вниз.
Решались три основные задачи: апробация оборудования HSSMI на неподвижном «взоре» манекена; изучение устойчивой фиксации наблюдателем центра миниатюрного кольца; анализ траекторий движений глаз при переводе взора с одного точечного объекта на другой.
Регистрировался левый глаз, правый глаз прикрывался светонепроницаемой повязкой. Частота видеорегистрации – 500 Гц и 1250 Гц.
На экране монитора испытуемым предъявлялись: 1) миниатюрное черное кольцо на белом фоне (в центре экрана монитора) размером 11х11 пикселей или 18’×18′ с белым внутренним кругом размером 5×5 пикселей или 8’×8′; 2) две черные точки (5’×5′) на белом экране, расположенные одна в центре, другая на периферии (на расстоянии ≈14°) по диагонали – в правом верхнем углу монитора.
В испытаниях приняли участие 5 человек в возрасте 20–49 лет с нормальным или корректируемым до нормального зрением.
Направленность взора (положения глаз относительно объекта восприятия) определялась по экранным координатам в пикселях. Данные о координатах глаза обрабатывались с помощью программы Excel. Результаты представлялись графически в двух видах: 1) развертки движений глаз во времени отдельно для горизонтальной (х) и вертикальной (y) составляющих; 2) перемещения глаза относительно поверхности экрана (х, у).
Апробация HSSMI на «взоре» манекена
Для установления величины чувствительности айтрекера испытания проводились на неподвижном глазе. Использовалась голова манекена, в глазных впадинах которой крепились протезы глазных яблок человека. Голова жестко фиксировалась в подбороднике стойки-колонны. Расстояние от левого искусственного глаза до экрана – 59 см.
По результатам испытаний средняя ширина области фиксации неподвижного глаза составляет 12 пикселей (19,2′), высота – не более 9 пикселей (14,4′); размеры экрана – 1280×1024 пикселей (34,1°×27,3°). Расчеты показывают, что детекция позиции взора, выполняемая аппаратурой, опирается на статистическую модель с определенными параметрами. Максимальное расстояние между двумя соседними точками при детекции «взора» манекена не превышает 7 пикселей (11′) по горизонтали и 3 пикселя (5′) по вертикали, что и задает границы чувствительности тестируемой аппаратуры.
Рис. 1. Область фиксации неподвижного «взора» манекена: а) в масштабе экрана монитора; б) увеличенный масштаб (х 40)
Метод искусственного «взора» позволяет установить диапазон значений координат глаза, при котором нивелируется «шум» от аппаратуры, заложенной в программе математической модели, а также от других источников осцилляций. Подобрав шкалу таким образом, чтобы стохастические значения координат области фиксации «взора» манекена на графике приобрели вид константы слабо осциллирующей во времени, можно эффективно реконструировать траектории микро- и макроперемещений глаз реальных испытуемых, выделяя феномены движения глаза на фоне «шума». В результате применения подобной процедуры открывается возможность использовать совокупность выходных данных без искажений, вызываемых «работой» математических фильтров, и статистической обработки исходной информации.
Рис. 2. Окулограммы фиксации испытуемым центра миниатюрного кольца: а) развертка во времени; б) траектория перемещения глаза на плоскости (х, у); в) область фиксации в масштабе экрана монитора. Время измерений – 200 мс
Регистрация микро- и макродвижений глаз
К числу важнейших технических характеристик HSSMI относится высокая частота видеосъемки поверхности глаза. Это является условием детальных исследований окуломоторики на интервалах от 0,8 мс, что невозможно на аппаратуре с низкой и средней дискретизацией изображения.
Согласно проведенным испытаниям, HSSMI удовлетворительно отображает основные виды движений глаза, в том числе микросаккады (от 10′ до 40′ – 1°), макросаккады (от 1° до 25°) и дрейфы (V = 10’/с – 6°/с). На рисунке 2 приведены окулограммы фиксационных движений.
На записях видны слабые осцилляции траектории взора, не превышающие 20′, что соответствует области фиксации взора, сопоставимой с аналогичными параметрами «взора» манекена и значениям, описанным в литературе (Андреева, Вергилес, Ломов, 1975; Барабанщиков, 1997; Гиппенрейтер, 1978; Ярбус, 1965).
Рис. 3. Примеры фликов на окулограммах испытуемых Е. Х. и О. О.: а), в) – горизонтальные составляющие (х); б), г) – вертикальные составляющие (у)
При длительной монокулярной фиксации испытуемыми неподвижного кольца зарегистрированы всплески окуломоторной активности, не подпадающие под известные описания феноменов движений глаз (рисунок 3). Это – отдельные флики, либо фликовые комплексы с параметрами: амплитуда – 10’– 2°, время выполнения – 1,6–4 мс, частота фликов в комплексе – 10–150 Гц. По частотным характеристикам флики находятся в диапазоне тремора, по амплитудным – на границе микро- и макросаккад. Флики появляются только при съемках живого глаза, имеют нерегулярный характер и варьируют от испытуемого к испытуемому.
Анализ сырых данных координат центра зрачка и центра инфракрасного блика показывает, что флики генерируются при изменении координат центра зрачка, но при практически неизменных координатах центра блика. Поскольку подвижность блика рассматривают как основной признак работы экстраокулярных мышц, зарегистрированные флики имеют не окуломоторную, а какую-то иную природу. Наиболее вероятно, что они обусловлены процессами, протекающими внутри глазного яблока, например микродинамикой зрачка во время длительных фиксаций, или особенностями работы математической модели, заложенной в основу программы обработки изображений глаз. В любом случае речь идет о внешних факторах, искажающих действительную картину окуломоторной активности.
На рисунке 4 представлена траектория перемещений глаз при переводе взора с одной точки на другую (по диагонали) и обратно: 1 – дрейф, сопровождающий фиксацию точки в центре экрана; 1–2 – диагональная саккада (амплитуда – ≈14°, скорость – ≈367°/с); 2–3 – дрейф, перемежающийся микросаккадами; 3–4 – возвратная саккада (амплитуда – ≈14°, скорость – ≈318°/с); 5 – дрейф (амплитуда – ≈1,3°, скорость – ≈2,26°/с), перемежающийся микросаккадами.
Рис. 4. Окулограммы саккад и дрейфов: а) горизонтальная составляющая (х); б) вертикальная составляющая (у); в) изображение на плоскости (х, у)
Рис. 5. Окулограммы регулярного перевода взора с точки на точку: а) горизонтальная составляющая (х); б) вертикальная составляющая (у)
Обратим внимание, что траектории саккад отображаются неравномерно и имеют вид каскада более мелких саккад. Скорость выполнения фиксационного поворота многократно разнонаправлено меняется. Это явно не соответствует динамике выполнения быстрых движений, хорошо описанных в литературе, и указывает на наличие внешних возмущающих воздействий. Не исключено, что регистрируемые искажения траектории и скоростного режима саккад вызваны теми же причинами, которые обусловливают появление фликов при устойчивой фиксации испытуемыми точечных объектов.
Окулограммы регулярного перевода взора с точки на точку представлены на рисунке 5. Анализ показывает, что общий вид окулограммы в целом соответствует образцам, приводимым в литературе (Андреева, Вергилес, Ломов, 1975; Барабанщиков, 1997; Гуревич, 1971; и др.) Как и ожидалось, повороты глаз имеет асимметричный характер и нередко состоят из нескольких саккад, однако дифференцировать коррекционные саккады и внешние возмущающие воздействия на фиксационный поворот затруднительно. Фиксационная привязка глаза к объекту внимания достаточно точна и стабильна.
Апробация оборудования HSSMI на фиксированном «взоре» манекена показала, что максимальный разброс направлений, детектируемый айтрекером, составляет по горизонтали ±11′, по вертикали – ±5′. Эти значения задают границы предельной чувствительности аппаратуры.
Хотя в целом айтрекер удовлетворительно воспроизводит микро- (верхний диапазон) и макро- (нижний и средний диапазон) движения глаз, существуют возмущающие воздействия, искажающие картину фиксаций и целенаправленных саккадических поворотов глаз.
Высокая частота видеосъемки поверхности глаз сама по себе недостаточна для адекватного отображения окуломоторных процессов. Необходима процедура сепарации собственно движений от совокупности событий, протекающих внутри глаза и на его поверхности.
Айтрекинг: 11 практических примеров + фишки
Какой предприниматель не мечтает взглянуть на свой сайт или вообще на свой маркетинг глазами клиента.
Узнать, где лучше разместить оффер или самый маржинальный товар. Но увы, об этом можно только мечтать. Или нет?! Сегодня обсудим инструмент, который в этом поможет, а называется он – айтрекинг.
что такое айтрекинг
Все, кто интересуется маркетингом, встречались с этим инструментом.
А даже если нет, то пользуются результатами исследований в этой области, возможно, даже сами не подозревая этого, на уровне интуиции. Но для начала давайте разберемся, что это вообще такое?
Айтрекинг – технология, фиксирующая движения глаз человека.
Проще говоря, это запись того, куда и как долго смотрел пользователь.
Вроде все понятно, а теперь давайте разбираться более подробно, как мы можем схватить клиента за глаза, и какие выгоды это странное действие нам даст.
Очки для айтрекинга
3 типа анализа
Сейчас будет еще немного теории. Мы же хотим разобраться, верно?Итак, благодаря этой технологии было установлено, что человек воспринимает текст не монотонно (плавно сверху-вниз), как считалось раньше.
А перемещаясь от области к области и задерживаясь на них какое-то время. Это называют точками фиксации.
Как же это происходит? На самом деле все просто, специальные устройства, чаще всего это очки или камера, записывают и измеряют показатели фиксации взгляда.
Показателей существует огромное множество, но использовать Вы будете лишь 1-2%, так что в теорию углубляться не будем.
Единственное скажу, что самое сложное – это интерпретировать полученные данные.
Информация обрабатывается специальным программным обеспечением на основе биг даты. А по результату выдаёт нам три варианта визуализации:
1. Тепловая карта (самый популярный вариант). На тестируемое изображение накладываются результаты в виде цветовых пятен. Чем теплее цвет, тем больше внимания было уделено этому элементу.
2. Туманная карта. Это подвид тепловой. Изображение заливают чёрным цветом, а точки фиксации остаются прозрачными, прям как в вебвизоре Яндекса.
3. Карта перемещений взора. Здесь видно какие точки привлекли больше внимания пользователя. А также саму схему перемещения взгляда.
Карта перемещений взора
Айтрекинг В маркетинге и рекламе
Не стоит сужать применение eye tracking только к юзабилити сайтов. Оно куда шире и выходит за рамки интересов интернет-маркетологов. Научное название этого метода исследований – окулография.
И она применяется в десятках направлениях, начиная от медицинских исследований – заканчивая видеоиграми.
Но мы с Вами тут бизнес строим, поэтому давайте ближе к делу. Коммерческое применение этой технологии тоже обширно.
Помимо уже упомянутого веб-юзабилити, корпорации используют eye tracking тестирование для разных направлений, начиная от вывода нового продукта на рынок – заканчивая мобильными приложениями.
Поэтому я сейчас я расскажу Вам о научных исследованиях, которые были проведены с помощью данного метода, но самое интересное будет в том, что с помощью них Вы узнаете, как можно улучшить Ваш бизнес.
Как мы использовали айтрекер для количественного эксперимента
Привет, Хабр. На связи UX-лаборатория Авито. Сегодня хотим рассказать об опыте использования айтрекера для проведения количественного эксперимента. Серьёзных инсайтов и уроков не обещаем, просто поделимся своими мыслями.
Расскажем, что вышло из идеи эксперимента, с какими проблемами мы столкнулись в процессе, как их решали и какие выводы сделали. Статья будет полезна исследователям и компаниям, в распоряжении которых есть айтрекер.
Что такое айтрекер
Айтрекер — это прибор, который устанавливается на компьютер и следит за движениями глаз человека перед монитором. Пользователь делает что-то на экране, а айтрекер наблюдает за взглядом и записывает, куда именно смотрел респондент.
Мы пользуемся айтрекером Tobii Pro X3-120
Он подключается по USB и крепится на нижнюю часть монитора с помощью специальной панели. Данные эксперимента записываем в программе Tobii Studio
Когда один и тот же эксперимент проходят много людей, прибор создает тепловые карты: красным цветом на них подсвечены места, куда смотрели больше всего людей, жёлтым — меньшее количество, а отсутствие цвета означает, что в эту часть экрана не смотрел никто. Например, если включить айтрекинг для читателей этой статьи, мы сможем узнать, какие её части привлекли больше внимания.
Тепловая карта из нашего эксперимента
В науке айтрекер используется как количественный инструмент, который собирает достаточно чувствительные метрики. Например, сколько времени человек смотрел сюда, сколько — туда, за сколько взглядов он добрался до целевого стимула, частоту, длительность моргания и многие другие показатели. Это объективные данные, которые могут подойти и для юзабилити-тестов: если много людей долго не могут найти нужную кнопку на экране, айтрекер поможет выявить, что дело именно в незаметности кнопки.
Отдельный плюс айтрекера — во время эксперимента с ним исследователь может позволить себе делать заметки и отмечать проблемы, потому что не вовлечён в общение с респондентом.
Какой эксперимент мы хотели провести
Одна из продуктовых команд хотела сравнить несколько вариантов дизайна, чтобы понять, какой сработает лучше. Варианты отличались только расположением элементов. Обычное юзабилити-тестирование не подошло бы, потому что речь не о качественных параметрах, а о количественной разнице в эффективности решения заданий. A/B-тесты в свою очередь требуют интерактивных страниц, и их разработка потребовала бы слишком много ресурсов. В результате мы решили воспользоваться айтрекером, с помощью которого давно хотели попробовать провести количественный эксперимент.
Мы решили сравнить дизайны карточек объявлений по эффективности выполнения пользователями целевых действий. Плюс такого эксперимента в том, что для него не нужны боевые интерфейсы, достаточно обычной картинки.
Айтрекер в UX-лаборатории Авито есть давно. Мы использовали его в основном для визуализации направления взгляда респондентов — так модератор задаёт меньше вопросов по ходу исследований. Когда у продуктовой команды появился запрос на измерение более чувствительных метрик, чем показывают A/B-тесты, мы поняли, что это идеальный момент для проверки айтрекера в количественном эксперименте.
Процесс исследования
Любое исследование проходит примерно одинаковые этапы. Наш процесс был таким:
О задаче мы уже поговорили, расскажу коротко о двух других важных этапах.
Подготовка макетов. Вместе с дизайнерами мы сделали четыре варианта карточки объявления с продажей автомобиля. Среди них был текущий дизайн Авито, немного изменённый, вариант с радикально другим подходом к размещению информации, а также страница объявления одного из конкурентов «Авто».
Контент во всех макетах был абсолютно одинаковым, отличалось только расположение блоков.
Ключевой узел двух вариантов дизайна для эксперимента. Слева — текущая страница объявления на Авито. Справа — вариант, в котором информация о марке, цене автомобиля и контакты продавца перенесены в левый блок
Проведение коридорных тестов. Коридорные тесты — это простой вид тестирования на своих же сотрудниках. С их помощью мы уточнили формулировки заданий, обкатали процедуру и обнаружили технические проблемы.
Проблемы процесса и их решение
Сколько взять респондентов. По идее респондентов для подобных экспериментов должно быть хотя бы 27. Сильно больше участников эксперимента мы не могли себе позволить, поскольку их поиск — дорогостоящая задача. В итоге остановились на 30.
Мы отбирали людей, которые не носят очки или линзы — это нужно для айтрекера, ищут машину на конкретных ресурсах и именно с десктопа. Последний момент был важен, потому что эксперимент проводился на десктопе.
Отличие от привычных UX-лаборатории юзабилити-тестов тут состояло как раз в количестве респондентов. Обычно в тестах участвуют 5 человек. Это условие породило отдельную сложность: 30 тестов — это минимум 15 часов, когда должна быть свободна лаборатория и исследователь. Поэтому десяток тестов мы проводили в выходные.
Какие задания давать респондентам. Чтобы сравнить дизайны, нужно давать респондентам конкретные задания. Мы не могли использовать свободные формулировки юзабилити-тестов, направленные на естественное исследование интерфейса. Например, задачи «посмотрите на это объявление и подумайте, купите ли вы эту машину» были бы бесполезны. На них мы бы просто увидели, что люди ведут себя по-разному, и не смогли бы подвести никакие количественные результаты.
Мы также понимали, что не можем формулировать задания в стиле «найдите кнопку “Показать телефон”». Это некорректно — надо адаптировать задания под интерес пользователя и наших продуктовых заказчиков. Пользователь в карточке объявления не ищет конкретную кнопку — он ищет информацию о пробеге автомобиля или как связаться с продавцом.
В итоге мы сошлись на том, что просили респондентов связаться с продавцом, добавить объявление в избранное, посмотреть характеристики машины, перейти в профиль продавца и узнать место сделки.
Отдельно мы думали над тем, как человек будет давать ответ, поскольку у нас простая картинка, а не интерактивная страница. В итоге сделали так, что респондент мог ответить, кликнув по любому месту экрана. Мы выбрали задания, которые предполагают наличие кнопки или ссылки в интерфейсе, чтобы клик был естественным решением.
Сколько целевых действий выбрать для респондентов. Дорогой подбор людей вызывал потребность показывать каждому все варианты дизайнов. От того, сколько заданий будет выполнять респондент, зависело время прохождения эксперимента. Быстрота здесь важна, потому что:
По итогам коридорных тестов мы оставили пять заданий с целевыми действиями. Каждое показывалось респонденту текстом перед карточкой объявлений. У респондента получалось 20 целевых действий: 5 заданий × 4 варианта дизайна. На прохождение эксперимента от и до с одним человеком уходило 25—30 минут.
Как не терять данные без модератора эксперимента. С одной стороны, чтобы эксперимент с айтрекингом прошел корректно, исследователь не должен находиться в поле зрения респондента и вообще как-либо отвлекать его внимание. С другой стороны, мы понимали, что упустим часть данных без возможности задавать вопросы в процессе. Например, не сможем понять, почему человек совершил ошибку или не выполнил задание: он его не понял, забыл или действительно не смог найти цель в интерфейсе объявления.
При этом мы не могли себе позволить показывать задания прямо на экране с дизайном. Человек смотрел бы на задание, а не на интерфейс, что испортило бы весь эксперимент. Мы придумали такое решение: сначала показывали задание, после него — промежуточную картинку с плюсиком в центре, чтобы сфокусировать внимание, за ней — вариант дизайна. Так взгляд респондентов всегда стартовал плюс-минус с одной точки, а модератор не вмешивался в ход эксперимента.
Когда проводишь юзабилити-тест, настолько детальная подготовка не требуется, потому что модератор сможет задать любые дополнительные вопросы. Наш же эксперимент требовал стопроцентной готовности к любым вариантам развития событий.
Проблему отсутствия модератора частично решили тем, что объясняли суть теста перед его началом. Отдельно советовали респондентам проговаривать про себя или вслух задания — их действительно можно забыть, это нормально. Тут нам сильно помогли предварительные коридорные тесты с коллегами, где мы придирчиво проверяли простоту и понятность устной инструкции и заданий. Так мы смогли понять, в какой момент говорить про какие детали, чтобы у человека не взорвался мозг, и эксперимент не был испорчен.
Мы внимательно отслеживали из комнаты все действия респондента, чтобы детально фиксировать ответы. Перед глазами исследователь держал пронумерованные в порядке прохождения респондентом задания и отмечал, ответил ли человек на задание, ответил правильно или неправильно и другие технические детали. Так мы уберегли себя от полного непонимания впоследствии, почему данные такие, как есть, и что в них происходит.
Технические проблемы с айтрекером. Прибор калибруется под каждого человека индивидуально. Перед началом эксперимента респонденту показывают точки в разных частях экрана и просят за ними следить. Айтрекер, зная, что человек смотрит в эти точки, сравнивает, получилось поймать взгляд или нет. В теории часть людей могла не подойти на этапе калибровки — такое бывает. Из-за этого мы на всякий случай просили респондентов приходить без косметики на глазах — в итоге все калибровки прошли успешно.
А вот в процессе эксперимента всплыла неприятная проблема — айтрекер периодически отваливался. Ты начинаешь эксперимент, всё хорошо, а потом видишь на экране сообщение о потере связи. С этого момента айтрекер ничего не записывает.
Мы выработали схему, которая помогла минимизировать потерю данных. Если айтрекер отваливался в самом начале эксперимента, то мы просили респондента начать сначала из-за технических неполадок. Если прибор отваливался в самом конце — смирялись с потерей результатов одного задания, это мало влияло на эксперимент. Самое плохое — если айтрекер отваливался в середине. Так мы теряли сразу половину данных, но не могли заставить респондента перепроходить задания из-за эффекта научения. С такими ситуациями ничего нельзя было поделать. По итогу, из 30 тестов и 20 заданий мы потеряли меньше 2% данных из-за этой проблемы.
Как обеспечить минимальные отклонения взгляда от монитора, чтобы не сбить калибровку айтрекера. Наш айтрекер не позволяет в режиме реального времени отслеживать, всё ли в порядке, и видит ли он зрачок. Поэтому нужно было придумать такой способ ответов для респондента, чтобы он минимально отвлекался от монитора.
Кроме того все варианты ответов в нашем айтрекере — это заданные комбинации клавиш. Единственной нормальной опцией для нас оказалось сочетание клавиши Esc и левой кнопки мыши. Мы наклеили на них выпуклые стразы, чтобы респондент мог нажимать всё наощупь.
Как сделать рандомизацию заданий, не создавая кучу проектов в айтрекинговом софте. Когда мы готовили эксперимент, нужно было организовать случайный порядок демонстрации 20 заданий. Идеальная схема выглядела так: случайное задание — случайный дизайн. Это важно, чтобы не происходило научение респондента. Например, если будут подряд идти разные задания по одному варианту дизайна, все результаты к концу будут неизбежно смещаться к лучшему в пользу последних заданий.
Неприятным сюрпризом стало то, что не получилось просто загнать задания в айтрекер, нажать “randomize” и радоваться тому, что при каждом запуске эксперимента они показываются в разном порядке.
Сначала у нас была идеи создать 30 проектов в айтрекере по количеству респондентов и вручную закидывать задания в разном порядке. Но мы вовремя поняли, что можно сделать иначе. С помощью нехитрых манипуляций на языке для анализа данных R создали 40 комбинаций заданий со случайным порядком — с запасом на случай технических проблем. Мы собрали их в эксель-таблицу и загрузили в айтрекер.
У этого костыльного способа был ощутимый плюс. Каждое задание имело кодировку число + буква, где число означало номер задания, а буква — вариант дизайна. Имея на руках список заданий и их последовательность с порядковым номером, мы получили возможность управлять последовательностями заданий и во время тестов отслеживать прохождение эксперимента. Если запись движений глаз прерывалась, мы отмечали в таблице, когда именно. Это помогло при анализе результатов.
Выводы из эксперимента
Не будем говорить о продуктовых результатах — они внутренние. Но расскажем о результатах исследовательских, потому что одной из наших целей был тест айтрекера в количественном эксперименте. Завершив проект и набив шишек, мы сформулировали плюсы и минусы метода.
Основных минусов четыре:
Долго. Мы делали проект несколько месяцев. Это не чистая оценка, поскольку много времени ушло на формулировку задачи и общение со стейкхолдерами. Затем, поскольку приоритетность проекта была невысокая, мы растянули его, отвлекаясь на другие задачи и встречи.
Пересчитав примерно, сколько времени что заняло, мы предполагаем, что следующий эксперимент такого рода сделаем за месяц. Это тоже не быстро, учитывая, что A/B-тесты занимают 2—4 недели, а юзабилити-тесты — 1—2 недели в зависимости от скорости рекрутинга респондентов и занятости лаборатории.
Дорого. Такой эксперимент — это поиск 30 респондентов, время дизайнера на подготовку макетов, время исследователей, которых лучше сильно не загружать другими задачами в параллель с этой. Компании это стоит приличных денег.
Цена ошибки высока. До начала эксперимента должно быть выверено всё: дизайны, количество и формулировка заданий, способ проведения эксперимента и инструкции. Любые правки в процессе означают, что данные, собранные до этого, можно исключать. А любые недоработки будут влиять на качество результатов. В частности, несмотря на наши усилия при подготовке, нас подвела слепота по невниманию, и мы пропустили вариант дизайна, который значимо отличался от остальных расположением рекламы. В итоге метрики по этому варианту были лучше других.
Ограниченная возможность использования результатов. Несмотря на то, что эксперимент количественный, его результаты следует рассматривать скорее как источник гипотез и инсайтов. Это не такие объёмы выборки, чтобы делать серьёзные выводы относительно нашей аудитории и том, как на ней сработает тот или иной вариант дизайна.
О плюсах расскажем, сравнив количественный эксперимент с айтрекером с другими вариантами тестирования.
Плюсы в сравнении с юзабилити-тестом:
Плюсы в сравнении с A/B-тестом: