近日,北京师范大学珠海校区兼职导师王宜敏研究员与文理学院生物系任海云教授合作团队共同在国际学术期刊《自然·方法》(Nature Methods)在线发表题为“CopilotJ: a conversational multi-agent system for intelligent and efficient bioimage analysis”的研究成果。该研究开发了面向生物图像分析的对话式多智能体系统CopilotJ,探索人工智能从辅助科研人员编写代码、提供分析建议,向直接参与生物图像分析任务执行的转变,为生物医学图像分析的智能化与可复现性提供了新的技术路径。
生物图像分析是现代生命科学与医学研究的重要技术基础。从细胞数量统计、组织结构定量,到神经元活动分析,科研人员需要从大量显微图像中提取可靠的定量信息。然而,现有分析流程往往依赖复杂的软件操作、参数配置及程序编写,研究人员不仅需要掌握相关生物图像分析知识,还需要熟悉多种计算工具。随着生物成像数据规模和复杂程度的不断增加,如何降低图像分析门槛、提高分析效率并保证研究结果的可靠性,成为生物医学研究中的重要问题。
近年来,大语言模型的发展为科研工具的智能化带来了新的可能。然而,传统人工智能助手主要用于回答问题、生成代码或提供操作建议,实际分析过程仍需要研究人员在不同软件之间反复切换。针对这一问题,合作团队开发了CopilotJ系统,将自然语言交互与生物图像分析软件Fiji/ImageJ相结合,使研究人员能够通过描述科研目标,由系统组织并执行相应的分析任务。这一工作尝试回答一个重要问题:“人工智能能否从提供科研建议的辅助工具,进一步发展为能够参与实际数据分析的科研助手”。

CopilotJ 如何连接分析需求与图像处理。上部展示系统组织和执行任务的方式;下部展示细胞、组织及功能成像等12项代表性任务
为了验证这一设想,研究团队设计了覆盖基础图像处理、生物医学定量分析及复杂多步骤任务的一系列实验,重点考察系统能否根据不同科研需求完成分析,以及分析结果是否具有可靠性和可复现性。
在生物医学定量分析实验中,研究团队展示了CopilotJ在不同生物图像场景下的应用能力。例如,在肾脏组织切片分析中,系统能够识别并分割肾小球,完成组织形态学测量与定量统计;在神经元钙成像分析中,系统能够处理连续采集的显微影像,提取神经元荧光信号并分析其响应变化。这些任务涉及不同类型的生物图像和多步骤数据处理,展示了系统在复杂科研分析场景中的应用潜力。

肾小球定量对话示例,展示分析计划、图像处理、工作流保存与批量运行,以及报告生成
为进一步评估CopilotJ在实际科研场景中的应用效果,研究团队开展了用户对照实验,将CopilotJ与借助外部聊天机器人辅助操作ImageJ的传统分析流程进行比较。实验结果表明,在部分测试任务中,CopilotJ的任务完成速度最高达到对照流程的4.3倍,并在复杂分析任务中明显提高了任务成功率。值得注意的是,CopilotJ还缩小了初学者与熟练用户之间的表现差距,使缺乏专业软件操作经验的研究人员也能够更加高效地完成生物图像分析任务。这些结果表明,CopilotJ不仅能够提高科研分析效率,还具有降低专业技术门槛、促进智能化科研工具普及的潜力。
科研分析不仅需要完成单次任务,还需要确保分析过程能够被检查、重复和复用。为此,研究团队进一步验证了系统在工作流管理方面的应用能力。CopilotJ能够保存经过验证的分析过程,并将其应用于后续图像数据的批量处理,减少重复性的人工操作。与此同时,研究人员仍可在关键步骤中检查结果、调整参数或进行人工干预,从而将人工智能的自动化能力与科研人员的专业判断相结合。
该研究表明,将大语言模型与成熟科研软件相结合,有望为生物医学研究提供更加灵活的图像分析方式。其意义不仅在于降低科研工具的使用门槛,更在于探索人工智能参与实际科研工作流的可能性,使科研人员能够将更多精力投入科学问题本身,而非重复性的软件操作。与此同时,面对不同实验条件与复杂生物样本,人工智能生成的分析结果仍需经过必要的质量控制和科学验证。
北京师范大学与广东省智能科学与技术研究院联合培养博士生元泽欣、广东省智能科学与技术研究院与香港理工大学联合培养博士生路沼奇为论文共同第一作者。北京师范大学任海云教授、香港理工大学孙雷教授和广东省智能科学与技术研究院及北京师范大学珠海校区兼职导师王宜敏研究员为论文共同通讯作者。该研究获得国家自然科学基金等项目的资助。
目前,CopilotJ已向科研社区开源,为领域研究人员提供了智能化生物图像分析选项。
论文链接: https://doi.org/10.1038/s41592-026-03290-9