科学技術ニュース●NEC、映像解析技術と生成AIを組み合わせて作業改善のアドバイスを自動で生成する技術を開発

　NECは、映像解析技術と生成AIを活用して、お手本動作と実際の作業の違いを把握し、改善に向けたアドバイスを生成する技術を開発した。

　同技術を活用することで、手指を使う細かな作業から体全体を使う作業まで、改善のための適切なアドバイスを自動で提示できるようになる。

　これにより、製造や物流、建設など様々な業種の作業現場で、指導者なしでも作業習熟が可能になるセルフ教育を実現する。

　近年、熟練作業者の高齢化に伴う指導者不足により、技術伝承が進まないことが課題となっている。また、多品種少量生産の増加や労働者の多様性と流動性により、指導者による作業教育のコスト増加や作業教育が十分に実施できないことによる作業品質の低下が懸念されている。

　同技術は、指導者の代わりにAIがアドバイスを行うことで、多種多様な作業に対するセルフ教育を可能にする。これを実現するために、お手本動作との細かな動きの差異が発生している区間を検知する映像解析技術と、差異に基づいて生成AIがお手本動作に近づくための適切なアドバイス文を生成する技術を開発した。

　差異区間を検知する映像解析技術では、お手本動作と実際の作業を比較し、同じ動作が行われている区間の対応付けをする。その際に、人の動きだけでなく作業対象の物体に対する「つかむ」「持つ」といったインタラクションも捉えることで、お手本動作と動作時間が異なっても正確な対応付けが可能になる。

　これにより、従来は検知できなかった細かな作業動作の差異を検出できます。

　アドバイス文を生成する技術では、検出した差異区間映像に加えて、腰や膝の動き、手や指の形状といった骨格情報を大規模視覚言語モデル(Vision and Language Model : VLM)に入力する。映像情報だけでなく骨格情報も入力することで、VLMが改善すべき作業姿勢や動作を正確に特定し、具体的なアドバイス文を生成する。

　生成されたアドバイス文を該当部分の映像と共に提示することにより、物品の細かな組み立て作業や箱詰め、運搬作業など、様々な業種の現場で指導者を必要としない作業習熟を可能にし、教育コストの大幅な削減にも貢献する。

　NECは、同技術について、2025年度中に実証と製品開発を進め、2026年度内のサービス提供を目指す。＜NEC＞