探数启智是面向全校的科研实地参观体验活动,旨在帮助大家了解大数据学院、类脑研究院最前沿的科研领域和技术。作为前沿实验室探访活动第一弹,它将带领大家领略和探索机械臂的奥秘。
2023年2月12日上午10点,大数据学院付彦伟老师课题组在子彬院一楼大厅举办了一场机械臂相关的成果展示。付彦伟老师先向同学们详细介绍了机械臂的工作原理和视觉系统,随后课题组成员林海涛向大家展示了各种有趣的实际应用场景。演示期间,学生们还踊跃参与了和机械臂进行倒水任务的互动,和老师进行了交流探讨,进一步了解该课题组的研究方向和成果。
此次展示的重点是机械臂在抓取不同物体时的适应能力。课题组展示了一种新颖的机械臂抓取技术,对类别内从未见过的实例物体进行类别泛化,实现准确的物体六自由度位姿估计来完成容器的操作完成倒水任务。此外,这种算法模型只需通过合成图片进行训练,即可很好地适用于真实场景。
同时,该倒水功能结合了眼动识别算法,可以通过眼动数据精准识别出用户需要的饮料,实现“所看即所得”的饮料供应功能。这项技术不仅为患者喝水带来方便,也为行动不便的患者提供了更多便捷。例如,针对患有渐冻症等行动不便的患者,机械臂可以根据他们的眼动数据帮助他们轻松喝到水。当然,这项功能同样也可以用于年龄较大的老年人或残障人士,以及需要康复治疗的病人。这项技术未来可以医生和护理人员更好地提供看护服务,提高看护效率和质量。
结合视觉的机器人抓取系统原型展示
机械臂结合类别泛化抓取操纵实现倒水演示
机械臂结合眼动凝视位置估计实现饮料供应功能
付彦伟老师为同学们介绍机器人工作原理和答疑解惑
课题组成员为同学们演示机器人倒水任务