??2022年7月25日，由科大訊飛承建的我國首個認知智能全國重點實驗室榮登科學常識推理挑戰(zhàn)賽OpenBookQA榜首，創(chuàng)新性提出X-Reasoner模型，以準確率94.2%的絕對優(yōu)勢奪冠，常識推理單模型首超人類平均水平。

OpenBookQA是由艾倫人工智能研究所（AI2）推出的科學常識推理閱讀理解數據集，旨在評估機器對常識的理解和應用能力。該評測吸引了眾多研究機構和知名高校的關注，例如南京大學、香港中文大學、MSRA、斯坦福大學、谷歌、阿里巴巴等?？拼笥嶏w此次參賽，創(chuàng)新性提出X-Reasoner模型，以準確率94.2%的顯著優(yōu)勢大幅刷新榜單最好成績，領先榜單最優(yōu)單模型4.4%， 成為全球首個超越人類平均水平（91.7%）的單模型。?

OpenBookQA評測榜單 ?

?

新挑戰(zhàn)

機器不僅需要正確理解問題

還要能夠進行推理

OpenBookQA數據集中的每一個題目都由問題和四個選項構成，需要機器從選項中找出正確答案。該任務的難點在于，為了正確作出回答，機器不僅需要能夠正確理解問題和選項的表面語義，還需要結合外部常識知識進行推理，這對AI系統(tǒng)的閱讀理解能力提出了新的挑戰(zhàn)。

例如在下面的例子中，若要正確回答問題，需要了解“星球旋轉會導致晝夜交替”這一科學常識，同時也需知道“地球自轉”與其他選項相關的科學常識沒有關系。

OpenBookQA問題示例

?

科大訊飛提出X-Reasoner系統(tǒng)

從知識檢索和閱讀理解兩個角度破解難題

面對此類問題，即使對于人類也需要掌握一定的外部知識后才能正確作答。那么機器是如何回答此類需要常識推理的問題呢？

本次由科大訊飛承建的認知智能全國重點實驗室與哈工大聯(lián)合團隊提出的X-Reasoner系統(tǒng)分別從知識檢索和閱讀理解兩個角度解決科學常識推理問題，知識檢索模塊負責依據問題和選項從科學知識庫中找到最相關的知識；閱讀理解模塊結合檢索出的知識、問題和選項進行推理，給出最終答案。依托以上技術，X-Reasoner不僅在性能上大幅刷新榜單最好成績，同時還成為了首個超過人類平均水平的單模型。

X-Reasoner模型框架

更準確的知識：復合交互式檢索

只有檢索出了準確的問題相關知識，才能根據相關知識做出有效推理。因此知識檢索作為系統(tǒng)的第一步，其準確性至關重要。X-Reasoner中提出了一種基于SentenceBERT和RocketQA兩種檢索模型的復合交互式檢索方案。通過重打分、重排序等手段，對兩種模型在同一問題選項上的檢索結果進行重要性的重新估計，綜合挑選出最重要的10條知識作為檢索結果送入閱讀理解模塊。

更豐富的表示：基于知識的信息增強

在獲得精確的相關知識后，下一步將根據知識進行推理。X-Reasoner采用了聯(lián)合知識和問題的方式，讓模型進行隱式推理，給出一個答案相關的信息增強表示。該表示隱含了利用相關知識和問題所能推理得到的信息，與選項交互表示一起送入閱讀理解模型進行計算。

更智能的理解：多選項對比交互

人類在回答選擇題的過程中，如果對所選答案不確定，通常會采取對比不同選項的策略。例如，排除掉最不可能是答案的三個選項，那么唯一剩下的選項就是正確答案。X-Reasoner的一個特點便是模仿了人類的這種答題方式。X-Reasoner一次性對問題、四個選項以及相關的科學常識進行編碼，并通過注意力機制進行交互，獲得了對比選項回答問題的能力。

通過以上三個創(chuàng)新點的結合，X-Reasoner大幅提升了常識推理的效果，相比榜單之前最好的單模型在準確率上顯著提升4.4%。 ?科大訊飛持續(xù)深入認知智能領域前沿技術研究，尤其在機器閱讀理解領域中不斷取得技術突破，先后在機器閱讀理解權威評測SQuAD 2.0中全球首次超過人類平均水平，獲得對話型閱讀理解評測CoQA和QuAC冠軍，多步推理閱讀理解HotpotQA雙賽道冠軍，多模態(tài)閱讀理解評測VCR冠軍。? 本次在科學常識推理閱讀理解評測OpenBookQA奪得冠軍并成為全球首個超過人類平均水平的單模型，使得機器能夠進一步“融會貫通”，不僅能夠有效地理解文本表面的意思，還能夠通過融合外部知識來輔助進行推理；同時也在教育、醫(yī)療、養(yǎng)老等國計民生場景中，讓人工智能產品更具備實用價值。未來，科大訊飛將持續(xù)深耕，“讓機器能聽會說、能理解會思考”，探索A.I的更多可能！? ??