ВведениеОдним из способов регистрации походки человека является захват движения. Технологии захвата движения могут быть построены на различных принципах. К наиболее распространенным реализациям технологии захвата движения относятся оптические [1], инерциальные и радарные системы [2]. Оптические системы делятся на маркерные и безмаркерные. В маркерных системах на теле человека надежно закрепляются визуально хорошо различимые маркеры, которые могут быть активными и пассивными. Пассивные маркеры, как правило, не содержат источник питания и сами по себе свет не излучают, а лишь отражают [3]. При этом часто используют свет в инфракрасном диапазоне [4]. Положение маркеров определяется посредством обработки изображений, поступающих с расположенных с разных сторон видеокамер. Одной из возникающих при этом проблем является перепутывание маркеров при их быстром перемещении. Для решения этой проблемы активные маркеры, помимо источника питания и излучающего элемента, содержат устройство, позволяющее управлять ими по радиоканалу, для обеспечения их надежной идентификации. Маркерные системы считаются «золотым стандартом» захвата движения ввиду их высокой точности и надежности [3, 5, 6]. Безмаркерные системы для определения взаимного расположения сегментов движущегося объекта используют технологии машинного зрения [3]. Для получения исходных изображений в них часто используется специальное оборудование (использующее, к примеру, инфракрасный датчик глубины), как в случае с Microsoft Kinect [2] и Vicon [7], или набор камер, работающих в видимом диапазоне света, что реализовано в технологиях KinaTrax [4], DARI Motion [4], Simi Reality Motion [6], Hawk-Eye Statcast [4], Theia3D [8]. В инерциальных системах захвата движения на теле человека закрепляются измерительные модули – IMU (inertial measurement unit), содержащие различные датчики, в качестве которых может выступать гироскоп, акселерометр, магнитометр [9], изготовленные на основе микроэлектромеханических систем [2]. В работе [5] эта технология предлагается в качестве альтернативы оптической системе захвата движения для моделирования при клинических исследованиях опорно-двигательного аппарата. При исследовании походки, помимо инерциальных, используются и другие виды сенсоров, в частности, в исследовании [10] используется сенсор F-Scan, измеряющий давление, оказываемое участками стопы на поверхность. Технология захвата движений имеет множество применений, одной из наиболее распространенных является анимация в кинематографе и индустрии развлечений [2]. Активно исследуются возможности применения захвата движения в здравоохранении и реабилитации. Сравнение чувствительности инерциальных сенсоров и маркерной оптической системы к патологическим изменениям походки проведено в исследовании [1]. В работе [8] предложено использовать в клинических тестах на равновесие безмаркерную систему захвата движения Theia3D совместно с методом главных компонент. Захват движений широко используется для оцифровки и анализа движений в спорте. В частности, в ходе исследования [7] подготовлен набор данных для оценки техники ударов в карате. Сравнение эффективности маркерной и безмаркерной системы оптического захвата движений для анализа техники выполнения ударов в гольфе приведено в статье [6].Весьма широко в анализе походки человека используется инерциальный сенсор MPU-6050, содержащий в одном корпусе акселерометр и гироскоп [11–27], и MPU-9250, снабженный также и магнитометром для определения азимута. Для отслеживания движений в перечисленных исследованиях использовано различное количество сенсоров MPU-6050, закрепленных на различных участках тела: 4 (бедра и голени) [15], 6 (бедра, голени, стопы) [13], 7 сенсоров (бедра, голени, стопы, корпус) [17]. При этом совместно с инерциальными сенсорами могут использоваться другие типы датчиков. Так, в работе [17] использован 1 сенсор MPU-6050 и 4 резистивных датчика давления (FSR, force-sensitive resistor): под пяткой, под первой плюсневой костью, под четвертой плюсневой костью и под большим пальцем. Инерциальные сенсоры широко применяются при классификации движений. Для определения фаз походки различные исследователи использовали один-единственный инерциальный сенсор на голени [16], 1 инерциальный сенсор совместно с 8 FSR-датчиками с использованием нечеткой логики [26] и 6 инерциальных сенсоров (закрепленных возле тазобедренных, коленных и голеностопных суставов) с последующей классификацией данных с помощью нейронной сети [12]. Инерциальные сенсоры используются для определения поверхности, по которой движется человек (ровная и неровная поверхность, подъем и спуск по лестнице), и особенностей ходьбы (быстрая, медленная, бег, поворот) [22, 23], при этом сенсоры могут быть закреплены не только на человеке, но и на трости [25]. В работе [19] система на основе сенсора MPU-6050 и магнитометра используется для определения пути перемещения человека (PDR, pedestrian dead-reckoning) внутри помещения в случаях, когда GPS работает плохо. Исследуется применимость для диагностики болезни Паркинсона инерциальных сенсоров как самостоятельно [11], так и в комплексе с другими системами (электроэнцефалография и электромиография) [27]. В работе [21] предлагается система на основе сенсора MPU-6050 и 8 микро вибромоторов для лечения тремора у пациентов с болезнью Паркинсона. Постановка цели и задач исследованияВ работах [28, 29] предложен метод моделирования походки человека с помощью плоской пятизвенной модели (антропоморфного механизма), показанной на рис. 1: положение механизма характеризуется пятью координатами: φ, α1, α2, β1, β2, которые обозначают наклоны корпуса (OC), бедер (OB и OD) и голеней (BA и DE) относительно вертикальной оси соответственно.   Рис. 1. Плоская пятизвенная антропоморфная модель человека Fig. 1. Flat five-link anthropomorphic human modelУравнения движения, составленные с использованием уравнений Лагранжа второго рода, имеют вид  где матрица B(z) является матрицей кинетической энергии, а матрица A определяет потенциальную энергию;  – обобщенные ускорения; g – ускорение свободного падения; где D(z) – матрица символов Кристоффеля первого рода для матрицы B(z); матрица-столбец ω содержит силы и моменты, действующие на механизм; C(z) – матрица для выражения обобщенных неконсервативных сил. Вид матриц B(z), A, D(z), C(z) и ω представлен в [29]. Для моделирования методом, описанным в [29], походки конкретного человека на интервале времени 0 < t < T необходимо иметь значения φ(t), α1(t), α2(t), β1(t), β2(t) на всем интервале времени с некоторой периодичностью. Указанные данные можно получить с помощью технологии захвата движения, в частности с помощью инерциальных измерительных модулей. По сравнению с оптическими системами они не чувствительны к условиям внешней среды (освещению, контрастности предмета или маркеров относительно фона) и не требуют присутствия человека в поле зрения устройства видеозахвата в течение всего цикла движения. Однако, поскольку человек перемещается, совершая колебательные движения, при измерении положения сенсоров может присутствовать ошибка, для оценки величины которой необходимо провести валидацию получаемых данных. Целью исследования является разработка комплекса устройств для получения данных походки, пригодных для моделирования движений человека с помощью плоской антропоморфной модели. Для достижения поставленной цели необходимо решить следующие задачи:1. Разработать инерциальный измерительный модуль («сенсор»), передающий результаты измерений по беспроводному каналу связи.2. Разработать устройство для приема данных с инерциальных измерительных модулей и передачи их на персональный компьютер (ПК), а также интерфейсное приложение для него.3. Провести валидацию данных, получаемых с сенсоров во время движения человека, путем их сравнения с результатами оптического захвата движения на основе маркеров. Инерциальный измерительный модульВ качестве инерциального сенсора в разработанном устройстве использован модуль GY-521 с установленным на нем микроэлектромеханическим датчиком MPU-6050 от компании InvenSense, содержащим трехосевой акселерометр, трехосевой гироскоп, термодатчик и специализированный цифровой сигнальный процессор – Digital Motion Processor (DMP). Как было сказано ранее, MPU-6050 весьма часто используется в системах для анализа походки человека. Акселерометр измеряет ускорения вдоль трех перпендикулярных осей, а гироскоп – угловые скорости вокруг этих осей. Для определения угловых координат расположения сенсора можно использовать как гироскоп, так и акселерометр по отдельности, однако данные с акселерометра содержат шум и могут быть некорректными при быстром линейном перемещении. При измерении углов с помощью гироскопа наблюдается постоянный дрейф его показаний даже в состоянии покоя. Для более надежного определения положения сенсора чаще всего используют способы фильтрации, использующие одновременно данные гироскопа и акселерометра [30]. Имеющийся в датчике MPU-6050 цифровой сигнальный процессор DMP предназначен, в том числе, и для такой фильтрации. Угол поворота датчика вокруг вертикальной оси, вдоль которой действует сила тяжести, может быть определен только по показаниям гироскопа. В этом случае его может помочь определить магнитометр, имеющийся в MPU-9250, однако в этом нет необходимости, поскольку в используемой плоской пятизвенной модели поворот вокруг вертикальной оси не учитывается. Передача данных с датчика на микроконтроллер осуществляется по шине I2C.  Полученные с каждого датчика данные в большинстве исследований передаются на персональный компьютер по беспроводному каналу. В работах [13, 18] все измерительные модули, размещенные на теле человека, соединены проводами c центральным модулем, и затем собранные данные сохраняются на флеш-накопитель [13] либо передаются по Bluetooth [18] на ПК, в остальных рассмотренных работах данные передавались на компьютер непосредственно с каждого измерительного модуля. В исследованиях [14, 15, 17] для передачи данных использовался интерфейс Bluetooth, в [16, 20, 22, 26] – Wi-Fi, а в [11] – модуль nRF24L01, передающий данные на частотах 2 400–2 527 МГц. В данной работе использован модуль nRF24L01, потребляющий наименьший ток по сравнению с HC-05 (Bluetooth) и ESP-01 (Wi-Fi), что важно, поскольку инерциальные модули питаются от автономного источника питания. На рис. 2 показана принципиальная электрическая схема инерциального измерительного модуля.  Рис. 2. Принципиальная электрическая схема инерциального измерительного модуля Fig. 2. Schematic electrical diagram of an inertial measuring module Основой модуля служит микроконтроллер ATmega328P (U2), работающий на частоте 16 МГц, аппаратно поддерживающий шину I2C, к которой подключен датчик MPU-6050 (U1), и интерфейс SPI, через который подключен модуль nRF24L01 (U3). Для отладки модуль имеет последовательный интерфейс, реализованный на микросхеме U4. Питание модуля осуществляется щелочной батареей 6LR61 через линейный стабилизатор U5. Щелочная батарея может быть заменена на аккумуляторную батарею. Посредством делителя напряжения на резисторах R1 и R2, подключенного к входу аналого-цифрового преобразователя, осуществляется контроль заряда питающей батареи. Инерциальный измерительный модуль размещен в пластмассовом корпусе и крепится к телу человека эластичной лентой на основе нейлона и латекса, которая фиксируется пластиковой защелкой с возможностью регулировки натяжения (рис. 3, а).   а                                                                      б Рис. 3. Инерциальный измерительный модуль: внешний вид устройства (а);места размещения модулей и оптических маркеров на теле человека (б) Fig. 3. Inertial measurement module: the appearance of the device (a);placement of modules and optical markers on the human body (б)  В данной работе используется 5 инерциальных измерительных модулей, размещенных, как показано на рис. 3, б, на бедрах, голенях и корпусе. На рис. 3, б также показано расположение светящихся маркеров на левой ноге, используемых при валидации данных, получаемых с модулей. При включении модуля осуществляется калибровка, во время которой устройство должно располагаться неподвижно и вертикально (ось Z должна быть направлена вверх, в противном случае измерения будут выполнены некорректно). Результаты измерений отправляются по беспроводному каналу с максимальной периодичностью 100 раз в секунду. Организация надежной передачи данных по беспроводному каналу связиПрием данных с измерительных модулей для последующей отправки на ПК осуществляется с помощью модулей nRF24L01, аналогичных используемым для передачи. Модуль nRF24L01 одновременно может работать только на одном частотном канале, однако его особенностью является возможность использования так называемых труб (data pipe) с уникальными идентификаторами, позволяющих принимать данные одновременно с 6 устройств. Таким образом, для приема данных со всех измерительных модулей достаточно одного nRF24L01, однако при использовании стандартной библиотеки RF24 при одновременном приеме данных сразу с 5 измерительных модулей количество успешно принятых пакетов данных резко сокращается (со 100 до 15–30 в секунду). При использовании библиотеки RF24Network, специально предназначенной для реализации сетевой инфраструктуры на nRF24L01 с помощью труб, данные принимаются более стабильно за счет устойчивого алгоритма повторных запросов неудачно переданных данных, но для этого требуется высокая скорость передачи (2 Мбит/с), что сокращает максимальную дальность связи (по сравнению с 250 Кбит/с). Помимо этого, данные с модулей могут приниматься с задержкой, что может затруднить их последующую синхронизацию. В связи с этим для обеспечения более надежного приема данных с измерительных модулей использовано 5 модулей nRF24L01, каждый из которых принимает данные по отдельному радиочастотному каналу (от 2 485 до 2 525 МГц, с шагом 10 МГц). Несмотря на то, что каждый измерительный модуль передает данные на своей частоте, некоторые пакеты принимаются приемниками, работающими на другой частоте. Эта проблема полностью решена использованием разных идентификаторов труб для каждого канала. Светодиодная индикация приема данных с измерительных модулей позволяет контролировать их своевременное отключение для экономии заряда батареи. Качество приема при таком подходе существенно выше, чем при приеме на один модуль, однако имеются и недостатки. Помимо необходимости использования большего количества модулей nRF24L01 имеет значение их взаимное расположение: близкое расположение антенн негативно сказывается на общем качестве приема. Фильтрация и интерпретация данных носимого сенсораДля обработки данных, получаемых с акселерометрического и гироскопического сенсора, в большинстве исследований применяют комплементарный фильтр [11, 14, 15] и фильтр Калмана [12, 13, 31].Комплементарный фильтр позволяет получить угол наклона сенсора θ путем комбинирования данных с акселерометра и гироскопа [11]:  где ωgyro – угловая скорость, измеренная гироскопом за время Δt, θaccel – угол, рассчитанный по значениям ускорений, измеренных акселерометром. Коэффициент α в данной работе использован равный 0,02. Фильтр Калмана представляет собой рекурсивный алгоритм, каждая итерация которого состоит из двух фаз: предсказания и корректировки [32, 33]. Предсказываемое состояние системы в текущий момент времени x̂k|k–1 оценивается следующим образом:  где x̂k–1|k–1 – оценка состояния системы в прошлый момент времени; F – матрица (модель) перехода между состояниями; B – матрица применения управляющего воздействия uk. Для текущей задачи матрица xk задается в следующем виде:  где θ – угол наклона сенсора;   – смещение, обусловленное дрейфом показаний гироскопа. В качестве управляющего сигнала uk используется угловая скорость  , измеренная гироскопом за время Δt. Матрицы перехода между состояниями F и управления B имеют вид  Таким образом, предсказываемое состояние системы рассчитывается следующим образом:  Предсказываемая ковариационная матрица ошибок Pk|k–1 вычисляется по формуле  где Pk–1|k–1 – ошибка в прошлый момент времени; Qk – ковариационная матрица шума процесса:  где Qθ – дисперсия значений акселерометра;   – дисперсия смещения значений гироскопа. На этапе корректировки предсказанное значение изменяется в соответствии с результатами нового измерения. Вначале рассчитывается отклонение результата измерения от предсказываемого состояния:  где H – модель наблюдения, отображающая истинное пространство в наблюдаемое, определяемая как H = (1  0), поскольку под измерением понимается угол, измеренный с помощью акселерометра; zk – результат измерения. Затем вычисляется матрица коэффициентов усиления Калмана:  где R – ковариация шума измерения. Обновленная оценка состояния системы рассчитывается по формуле  На финальном шаге алгоритма обновляется ковариационная матрица ошибок:  В данной работе использовались следующие значения параметров: Qθ = 0,001,   = 0,003, R = 0,03. При использовании датчика MPU-6050 фильтрация часто осуществляется с использованием DMP, представляющего собой встроенный специализированный цифровой сигнальный процессор, который осуществляет обработку и фильтрацию данных с акселерометра и гироскопа. В этом случае с датчика MPU-6050 поступают уже отфильтрованные значения ускорений вдоль трех перпендикулярных осей: ax, ay, az. Разработанные инерциальные измерительные модули закреплены на боковых поверхностях ног и на передней стороне корпуса, как показано на рис. 3, б, поэтому для первых рассчитываются значения угла поворота вокруг оси x (обозначенного как φ), а для последнего – вокруг оси y (θ), по формулам [30]  Валидация данных инерциальных сенсоров с помощью системы оптических маркеровВ работах [15,  20,  24]  отмечается,  что  датчик MPU-6050 позволяет достаточно точно определять угловые координаты, в том числе и при движении, однако имеет место некоторый шум, обусловленный, в том числе, несовершенством алгоритмов фильтрации. В статье [20] для оценки точности носимые сенсоры крепились к сегментам робота-манипулятора. В данной работе для валидации данных сенсоров измерительные модули крепятся к телу идущего человека, а точное положение тела определяется с помощью системы оптических маркеров. Такой подход предпочтительнее, поскольку на угловые измерения с помощью инерциальных сенсоров сильно влияют перемещения вдоль осей координат, возникающие, в том числе, при перемещении человека в пространстве.  Для валидации использовались данные с двух инерциальных сенсоров, закрепленных на бедре и голени левой ноги. Оптические маркеры, представляющие собой непрерывно светящиеся красные светодиодные излучатели, закреплялись на верхней и нижней части бедра и голени, как показано на рис. 3, б. Съемка проводилась в ярко освещенном помещении с разрешением 1 920 × 1 088 и частотой 30 кадров/с. Определение точных координат маркеров на кадрах видео осуществлялось вручную. Использование маркерной системы захвата движения для валидации в качестве эталонной также предлагается в [4]. Как видно на рис. 4, наиболее точные координаты с инерциальных носимых сенсоров получены с использованием фильтрации на основе DMP.          а                                                                                       б  Рис. 4. Сравнение динамики угловых движений бедра (а) и голени (б),полученных с помощью оптического захвата движения (сплошная линия) и с использованием инерциальных сенсоров с различным типом фильтрации(штриховая линия – DMP, пунктирная – комплементарный фильтр, штрихпунктирная – фильтр Калмана) Fig. 4. Comparison of the dynamics of angular movements of the thigh (a) and shin (б)obtained using optical motion capture (solid line) and using inertial sensors with different types of filtration(dashed line – DMP, dotted line – complementary filter, dotted line – Kalman filter)  Среднее отклонение от координат, полученных с помощью оптических маркеров, составило 2,39° (для бедра) и 2,42° (для голени), а максимальное – 5,7° и 7,6° соответственно. При использовании комплементарного фильтра среднее отклонение составило 3,3° и 5,8°, а максимальное – 8,3° и 16,3°. Наихудший результат получен с помощью фильтра Калмана: среднее отклонение – 5,1° и 7,3°, максимальное – 14,5° и 20,5°. Кроме того, на графиках хорошо заметно, что наибольшее отклонение возникает при смене направления движения сенсора. Результаты захвата движения с помощью носимых сенсоровС помощью разработанных носимых сенсоров получены зависимости φ(t), α1(t), α2(t), β1(t), β2(t) для 4 экземпляров походки одного человека, идущего прямолинейно по ровной поверхности (рис. 5).    Рис. 5. Динамика движений корпуса (φ), бедер (α1 и α2) и голеней (β1 и β2),полученная с помощью инерциальных носимых сенсоров (каждый тип линии описывает один экземпляр походки) Fig. 5. Dynamics of torso (φ), thigh (α1, α2) and shin (β1, β2)movements obtained using inertial wearable sensors (each line type is a gait sample)  На графиках движения бедер и голеней наблюдается высокая корреляция (более 0,98) между экземплярами походки одного человека. Это свойство обуславливает возможность использования походки в качестве уникального признака для идентификации человека [34]. При этом корреляция между движениями корпуса на разных экземплярах походки очень слабая (от 0,01 до 0,4 между походкой, обозначенной сплошной линией, и остальными), что может быть обусловлено малой амплитудой колебаний (менее 5°) и влиянием других факторов (осанка, движения рук). ЗаключениеВ ходе работы спроектированы и изготовлены инерциальные носимые сенсоры на основе микроэлектромеханического модуля MPU-6050 для регистрации походки человека, передающие результаты измерений по беспроводному каналу связи. Для передачи данных использованы модули nRF24L01, потребляющие наименьший ток по сравнению с аналогичными устройствами, которые работают по протоколам Bluetooth и Wi-Fi.  Модули MPU-6050 содержат акселерометрический и гироскопический датчики, показания которых содержат шум. В связи с этим точность определения положения модуля в пространстве весьма значительно зависит от использованного метода фильтрации. На точность измерений углового положения сенсора также оказывают влияние перемещения модуля вдоль осей координат с ускорением. Для оценки точности регистрации походки человека проведена валидация разработанных инерциальных носимых сенсоров с использованием набора оптических маркеров. Наиболее высокая точность получена с использованием фильтрации на основе DMP. При этом среднее отклонение от точных значений составило 2,39° (при расположении модуля на бедре). Обработка данных с использованием комплементарного фильтра и фильтра Калмана позволила получить менее точные траектории, со средней ошибкой, равной 3,3° и 5,1° соответственно. Следует также учесть, что последние два фильтра содержат настраиваемые параметры и, вероятно, при некоторых их значениях точность регистрации отдельных видов движений будет выше. Реализованная система сенсоров позволяет получить данные, необходимые для моделирования походки с использованием плоской пятизвенной модели.