Сравнительное исследование методов классификации статических жестов руки на основе координат ключевых точек

Постановка проблемы. Для распознавания статических жестов в интерфейсах реального времени необходимо сочетать качество классификации с малой вычислительной задержкой и возможностью работы без специализированного оборудования. Использование координат ключевых точек руки вместо исходных изображений позволяет существенно сократить размерность входного представления, однако выбор классификатора для такого признакового пространства требует экспериментальной проверки.

Цель. Провести сравнительное исследование классических и нейросетевых методов классификации статических жестов руки по координатам ключевых точек MediaPipe Hands и определить модель, наиболее подходящую для использования в интерактивном приложении.

Результаты. Сформирован сбалансированный набор из 510 наблюдений шести классов жестов по 85 примеров на класс.

Сопоставлены Random Forest, Support Vector Machine с линейным и радиально-базисным ядрами, K-Nearest Neighbors при k = 3 и k = 5, многослойный перцептрон и одномерная свёрточная сеть. Отмечено, что две первые главные компоненты объяснили 94,9% дисперсии признаков. На используемой тестовой выборке четыре модели дали F1 = 1,0. Установлено, что многослойный перцептрон имел минимальное измеренное время инференса классификатора – 0,38 мс, но уступил по качеству (Test F1 = 0,922). Среди моделей с F1 = 1,0 линейная Support Vector Machine показала наименьшее время инференса – 0,41 мс.

Практическая значимость. Полученные результаты показали, что для компактного представления жеста по координатам ключевых точек классический линейный классификатор может обеспечить высокое качество при малой вычислительной задержке. Такой подход может использоваться как основа бесконтактных интерфейсов на обычных персональных компьютерах. Измеренное время относится только к этапу классификации; производительность полного контура определяется также захватом видеопотока, обнаружением ключевых точек MediaPipe и отрисовкой интерфейса. Выполнен эксперимент на данных одного участника в контролируемых условиях, поэтому переносимость результата требует отдельной проверки.