SignLab – онлайн-сурдопереводчик, в его основе – искусственный интеллект. Это внутренний проект Zuzex. В нашем Data Science-отделе давно устоялась практика: чтобы развивать и совершенствовать направление, постоянно берем в разработку что-нибудь интересное и неординарное.
Вот так работает SignLab:
- Модель MediaPipe Holistic получает первичное изображение. Ищет людей на этом изображении и строит модель скелета по точкам в трехмерном пространстве.
- Затем модель преобразует первичную информацию. Результатом становится вектор, который содержит максимальное количество полезной информации в сжатом объеме.
- Один вектор характеризует положение частей скелета и рук на одном кадре видео. Модель собирает наборы таких векторов, после чего может распознавать слова.
- Технологии text-to-speech и speech-to-text осуществляют перевод жестового языка в текст и голос, добавляя окончания и расставляя знаки препинания.
SignLab: сурдопереводчик на базе ИИ
Тип проекта: Программное обеспечение
Страна: Россия
Категория: Технологии
Стиль: Big photo
Цвет: Желтый
