アプリ

aiai ニュース

aiai ニュース 2026-11-13

手元を見て手伝う AI を、料理や家事の模擬環境で試す「Interactive Visual Gym」を、研究者が示しました

VLM米国

作業を見て声をかける AI を評価するとき、記録した動画をあとから再生する方法では、AI の返事がその後の人の動きを変える点を測れません。この論文は、料理、家事、スマートフォンの画面の 3 つの模擬環境と、人の役を演じる AI を用意し、315 の場面で試す「IVG-Bench」を作りました。一番良かった Gemini 4 Argon が時間内に作業を終えた割合は、3 つの平均で 53.4% で、環境別では料理 60.9%、家事 15.6%、画面 83.7% でした。AI の返事が遅れる時間を入れると、料理の 60.9% は 33.1% に下がりました。コードと評価の公開は、読んだページには書かれていません。Hugging Face のページに所属は書かれておらず、著者名だけです。

出典: Hugging Face Papers「Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds」(2026-11-06)、https://huggingface.co/papers/2611.08286 、2026-11-13 に確かめました

Roboflow が、作業手順書どおりに作業したかを、動画の行動認識と物体検出で確かめる作り方を書きました

VLM米国

Roboflow は、工場の作業が手順どおりに行われたかを、工程の順序、部品と工具、保護具、各工程の時間の 4 点で確かめる作り方を書いています。主な判定は、動画から工程の時間割を出す行動認識(NVIDIA の Cosmos 3 Edge を学習させる)で、部品や保護具の有無は物体検出で見ます。枠で決めにくい工程は、工程が終わった後の場の様子を VLM に見せて確かめます。必要な動画は、本番と同じカメラで撮った数十本の短い映像です。作業者が映るので、記事は、作業そのものに絞って撮り、プライバシーの決まりと社内の規則に従うよう書いています。精度や効果を示す独立した検証の数字は、記事にはありません(会社の製品紹介です)。

出典: Roboflow「How Vision AI Verifies Every Step of an SOP」(2026-11-05)、https://roboflow.com/blog/how-vision-ai-verifies-every-step-of-an-sop 、2026-11-13 に確かめました