2022年,ChatGPT横空出世,不到一年时间已经在多个领域展现出了巨大潜力。
目前,ChatGPT已经被证明够通过美国律师从业资格考试,四大会计行业职业资格考试,甚至还能顺利拿下年薪18万美元的谷歌L3初级工程师职位。
ChatGPT通过中文执业医师执照考试
2023年6月26日,浙大二院神经外科吴承瀚团队最新研究率先证实:ChatGPT亦能够顺利通过中文执业医师执照考试!该研究成果发表在《数字医疗》(Digital Health)期刊 [1]。
中国执业医师考试也是含金量很高的一场资格证书“国考”,其考试内容不但包括内外妇儿等各学科的专业综合知识,也包括医学伦理、循证医学等基础综合知识,内容很多也很杂,全国参加考试的考生每年笔试通过率不到40%。
“我们用过去3年的中文执业医师资格考试测试ChatGPT,发现它能正确回答约72%的题目。这个分数高于80%以上的中国应试医学生。”这个结果令吴承瀚医生非常惊奇,“我们惊讶的原因不在于「人工智能通过医师执照考试」这件事本身;依靠刷题,电脑通过医师执照考试已不是新鲜事。这件事的特殊意义在于,ChatGPT并不是为了针对任何考试而训练出来的专业模型。它的知识面更广泛,更像是一个饱读诗书的学者,同时也是精通冷知识与生活小常识的小天才,而且顺带一提,它还可以通过医师执照考试。”吴承瀚解释。
“ChatGPT的主要语言是英语,我们最初也是抱着试一试的心态去用中文执业医师考试测试它的成绩,但没有想到的是,它在中文医师考试中也能表现得如此出色。”浙大二院神经外科医生朱周乐说道。他是本研究的第一作者。
ChatGPT能否替代医生?
通过中文医师执照笔试,不代表ChatGPT就可以和患者进行有意义的互动交流。
“执业医师执照考试分为两部分:笔试和实践技能考试。而病史采集又是实践技能考试里很重要一部分。”吴承瀚团队将10道病史采集考试题目发给ChatGPT,并依据标准答案进行人工打分。“我们发现ChatGPT能够详细覆盖所有临床问诊的内容,并抓住问诊重点,顺利通过病史采集考试。”文章共同作者应雨棋说道,他现在是浙大二院神经外科的硕士研究生。
这不是首次将ChatGPT作为临床辅助工具的研究。今年4月,来自英国Swansea大学医学院的研究团队利用ChatGPT为患者写临床报告[2]。他们发现ChatGPT能在很短时间就给出相对准确的疾病科普和健康指导,这似乎是临床医生做不到的,写一份报告需要花费医生很多时间精力,他们的研究结果表明:如果让ChatGPT来写,不但速度快,而且与大多数临床医生写的报告相比,其文笔更富有同情心和耐心。
“ChatGPT可以作为患者和医生沟通的重要桥梁,”朱周乐医生说,“如果ChatGPT能够作为‘有资质’的助理医师,辅助医生做一些病史收集、初诊或者健康宣教工作,可以提高临床工作效率和患者就诊的体验。”
“目前,ChatGPT并不是针对医疗行业开发应用的一款工具。如果想要将它应用到医疗行业,需要针对性让它‘学习’更多的医疗专业知识,并根据特定医疗场景设置优化,甚至可能需要经过我们常说的“随机、对照临床试验”来测试它的安全性和有效性。”浙大二院神经外科功能病区主任朱君明教授对于ChatGPT的未来应用如此评价。
吴承瀚团队也正在同时开发数个基于GPT技术的医疗领域应用模型,并计划在近期展开前导临床研究。
专家点评
张建民 教授
神经外科主任医师
浙大二院脑科中心主任
浙江大学脑医学研究所所长
人工智能在医疗行业的应用越来越广,特别是基于大数据处理的诊断及治疗确实有它许多优势,这是现代科技发展的必然趋势。近来,随着ChatGPT(聊天生成预训练转换器)的推出,对替代人工做文案工作显示出巨大应用前景。在医学上,用ChatGPT进行作为执业医师门槛的资格考试也显示出它的优势。
美国执业医师资格考试是相当难考的一类考试。2022年6月其官网发布了ChatGPT的考试结果,在三个考试部分,去除模糊不清的回答后,ChatGPT得分率在52.4%至75%之间,而得分率60%左右即可视为通过考试。浙大二院神经外科吴承瀚团队最新研究也率先证实ChatGPT能够顺利通过中文执业医师执照考试。他们用过去3年的执业医师资格考试测试ChatGPT,发现它能正确回答约72%的题目。这个分数高于80%以上的应试医学生。这都显示出这类大型语言模型可能有助于医学教育,甚至临床决策的潜力。也有利于提高医疗文案的效率及给予病人及家属人性化的解答等。
但是医学领域专业性很强,ChatGPT的海量训练数据中可能充斥着许多非专业或虚假的信息,其结论存在一定的安全隐患。加上临床医疗还有很大一部分取决于每一个不同的个体。
因此,需要两者的取长补短,综合分析,评估,才能更好地提高临床诊疗水平。
相信在不久的将来,辅以ChatGPT解答,由临床医生进行临床决策这一组合模式能够帮助医生减轻工作负担,促进整体医疗服务质量的提升,是一个很有潜力的发展方向。
参考文献:
[1] Zhu Z, Ying Y, Zhu J, Wu H. ChatGPT’s potential role in non-English-speaking outpatient clinic settings. DIGITAL HEALTH. 2023;9. doi:10.1177/20552076231184091.
[2] Ali SR, Dobbs TD, Hutchings HA, Whitaker IS. Using ChatGPT to write patient clinic letters. Lancet Digit Health. 2023 Apr;5(4):e179-e181. doi: 10.1016/S2589-7500(23)00048-1.
文 | 神经外科 吴承瀚 朱周乐
图 | 源于网络
审核 | 陈国忠 张建民 方序
责编 | 朱俊俊