馬里蘭大學的研究人員與專門設計的計算機系統合作，設計了大量的1,213個問題，以阻止人工智能算法，他們希望這些算法可以幫助他們更好地理解計算機的思考方式，并使我們更接近人工系統在文本中真正解析人類意義

詳細介紹其功績的論文發表在計算語言學協會的期刊上。

“大多數問答計算機系統都沒有解釋他們為什么回答他們的做法，但我們的工作有助于我們看到計算機實際理解的內容，”來自UMD的Jordan Boyd-Graber說道，他是該報的高級作者。“此外，我們已經制作了一個數據集來測試計算機，這些數據集將揭示計算機語言系統是否實際上正在閱讀并進行人類能夠進行的相同類型的處理。”

這組作者說，目前大多數改進問答方案的方法存在的問題在于，當人們產生問題時，其作者通常不知道哪些特定元素會使計算機失效，而計算機產生的問題則是通常要么太公式化，要么沒有意義。

然而，新界面允許用戶通過在屏幕上顯示其按順序排列的猜測，并突出顯示觸發它以進行相應猜測的單詞，來查看計算機在呈現問題時如何“思考”。

通過新界面，人類用戶可以查詢具有無數不同問題的計算機并對其進行操作 - 而無需更改含義 - 從而找到可以進一步利用或用于改進機器學習算法的弱點。

使用人機協作產生的問題揭示了六種不同的語言元素，這些元素一直是計算機的殘余。然后將這些元素分為兩類：第一類包含釋義，分散語言和意外情境，第二類包括基于邏輯和計算的推理技巧。

“人類可以更多地概括并看到更深層次的聯系，”Boyd-Graber說。“他們沒有無限的計算機記憶，但他們仍然有能力看到森林中的樹木。對計算機存在的問題進行編目有助于我們理解我們需要解決的問題，這樣我們就可以讓計算機開始通過樹木看到森林并以人類的方式回答問題。“