整個評測的設計相當嚴謹，問診過程中，真人醫(yī)生和AI醫(yī)生都沒有與患者直接接觸，患者與醫(yī)生助理接觸，醫(yī)生助理通過電腦輸入文字分別與真人醫(yī)生和AI醫(yī)生聯(lián)系，真人醫(yī)生和AI醫(yī)生的問題也經(jīng)由醫(yī)生助理傳遞給患者。引導患者說出完整病情、收集足夠多決策因子后，真人醫(yī)生與AI醫(yī)生為患者開具檢查單或診斷，患者直接在成都高新海爾森醫(yī)院完成檢查；獲得檢查結果后，患者再復診，并由AI醫(yī)生及真人醫(yī)生提供臨床診斷及治療方案。某種程度上說，這是一項被醫(yī)藥行業(yè)認為是金標準的“雙盲”試驗。

8個小時的問診結束后，形成有效病例91份，由北大人民醫(yī)院、中日友好醫(yī)院、阜外醫(yī)院和友誼醫(yī)院的7位專家教授進行審核。7位專家教授的專業(yè)與前述科室對應，評價維度包括7個——問診準確性、診斷準確性、治療建議準確性、輔助檢查方案準確性、數(shù)據(jù)分析準確性、提供可解釋信息、自然語言問診與交互。

北京友誼醫(yī)院泌尿外科主任醫(yī)師、副教授王磊評價，MedGPT不會漏掉患者提供的重要信息，詢問病史非常全面，避免出現(xiàn)漏診的情況。知識面也比較豐富，會給患者解答其他科室的問題。

北大人民醫(yī)院骨科主任醫(yī)師、教授薛峰以一個膝蓋痛的病例舉例分析，他認為AI醫(yī)生問診非常詳細，“不嫌累，話多，問題也很多”，會關注女性患者是否正在備孕、懷孕，而現(xiàn)實臨床工作中，骨科醫(yī)生較少會問這類問題，“有些細節(jié)問題漏掉之后很容易犯一些錯誤，一些癥狀漏掉之后也可能漏診”。對膝蓋痛這種常見疾病，很多時候醫(yī)生需要做一些科普，告知患者生活中需要注意的事項，AI醫(yī)生的詳細表達也會給患者更多信息。

?

薛峰還發(fā)現(xiàn)了一個“驚喜”：MedGPT根據(jù)患者腳底板疼痛判斷患者有可能出現(xiàn)神經(jīng)壓迫，真人醫(yī)生卻沒有想到這一點。

“超出預期，問診很詳細，可以不知疲倦地和患者耐心溝通，在常見病領域還能起到對患者科普的作用；但是現(xiàn)階段的AI醫(yī)生無法實現(xiàn)查體，未來在醫(yī)學多模態(tài)能力上還需要突破才有更大的應用價值。”薛峰總結說。