近日,Facebook 正式将旗下的Droidlet 进行了开源,这是一个机器人模组开发平台,该平台利用自然语言处理和计算机视觉来让机器人理解周围的世界。Facebook 表示,Droidlet 简化了机器人中机器学习算法的集成,促进了快速的软件原型设计。
Droidlet 可以让开发者在该平台测试不同的计算机视觉和自然语言处理模型。它允许研究人员建立能够在现实世界或 Minecraft 等模拟环境中完成任务的系统,通过按需更换平台上使用的组件,以支持在不同用途的机器人上使用同一系统。该平台提供了一个仪表盘,研究人员可以在上面添加调试和可视化的部件和工具,以及一个纠正错误和注释的界面。Droidlet 提供了用于将机器学习模型连接到机器人的 Wrappers,此外还有用于测试视觉模型的环境,并可以针对不同的机器人进行微调。
Droidlet 由一系列的组件和模块所组成,其中包括:
- 一个记忆系统,作为不同模块之间的信息存储;
- 一组感知模块,处理来自外部世界的信息并将其存储在记忆系统中;
- 一组低级任务,如 "向前移动三英尺" 和 "在给定坐标处放置手中的物品",可以影响机器人环境的变化;
- 一个控制器,根据记忆系统的状态来决定执行哪些任务;
通过 Droidlet,Facebook 可以利用模块化来开发更强大的高级机器人,如果一个贡献者能够改进系统的一部分,那么他应该就能改进使用了该系统的所有机器人。
Facebook 在博文中写道。"随着更多的研究人员使用 Droidlet 进行构建,他们将改进其现有的组件并添加新的组件,而其他人又可以将这些组件添加到他们自己的机器人项目中。通过 Droidlet,机器人研究人员现在可以利用整个人工智能领域最近取得的重大进展,构建能够有效响应复杂命令的机器。"