家庭内自動片付けシステム

大変なリビングや玄関の片付けを自動化します。機械学習を用いた物体認識技術や計測技術、メカトロニクスを組み合わせた様々なロボットで寝ている間に部屋をきれいにしてくれることを目指します。

玄関に常駐し、靴をそろえてくれるロボットの試作機[2023]

このような作業を行わせるためには、コンピュータに物体の形や色を覚えさせる必要があります。この作業をアノテーションと呼びます。
現在は人力で以下の動画のように行っています。

Yolact anotation作業[2023]

また、汎用的な家庭用ロボットも開発されています。当研究室ではトヨタ自動車　未来創生センターより貸与を受けた家庭用ロボットHSR(Human Support Robot)を使い、Fetch and Carryや片付け作業の自動化を目指しています。

YOLO V8を認識エンジンとして用いた物体認識とジンバル零位法制御に基づく物体把持の例[2024]

上記実験中のロボットの動作の一例