OpenAI于近日推出了一項名為SimpleQA的新基準，旨在評估語言模型在回答簡短事實尋求問題時的準確性。這一舉措是AI領(lǐng)域追求更高事實正確性的重要一步。

據(jù)悉，SimpleQA通過一系列嚴格的標準來確保評估的公正性和有效性。其中包括高正確性，即參考答案需經(jīng)兩名獨立AI訓(xùn)練師驗證；多樣性，涵蓋從科學(xué)技術(shù)到娛樂等多個主題；以及前沿挑戰(zhàn)性，相比早期的基準，SimpleQA更能測試出前沿模型的實力。

SimpleQA還注重高效用戶體驗，問題與答案設(shè)計得簡潔明了，便于快速操作和評分。通過OpenAI API等工具，用戶可以輕松地進行模型評估。

OpenAI表示，盡管SimpleQA在短查詢的受限設(shè)置中測量事實準確性，但其希望這一基準的開源能夠推動AI研究在更廣泛領(lǐng)域的應(yīng)用和發(fā)展。同時，SimpleQA也揭示了當前語言模型在生成事實正確回答方面仍面臨的挑戰(zhàn)，即如何減少錯誤輸出和未經(jīng)證實的答案，這一問題也被稱為“幻覺”。

通過SimpleQA的推出，OpenAI期望能夠進一步促進語言模型的優(yōu)化和完善，使其在更多場景中發(fā)揮出更大的價值。