當AI“一本正經(jīng)胡說八道”……
更新時間：2025/9/28 9:31:26 來源：新華社CNML文字
新聞中心首頁
新華社廣州9月24日電 題：當AI“一本正經(jīng)胡說八道”……
新華社“新華視點”記者顏之宏、胡林果
當前，AI正賦能千行百業(yè)，為人們的工作、學習、生活帶來極大便利。與此同時，不少人發(fā)現(xiàn)，用AI搜索數(shù)據(jù)，給出的內容查無實據(jù)；用AI輔助診療，出現(xiàn)誤判干擾正常治療……AI頻頻上演“一本正經(jīng)胡說八道”。社交平臺上，AI幻覺引發(fā)熱議。
AI好用但不時像是“中邪”了
用AI檢索海量信息、讓AI輔助查看三維病灶、打造AI互動課堂……如今，AI已深度融入現(xiàn)代生活，“人工智能+”產(chǎn)品賦能各行各業(yè)，從多個維度提供便利。
作為AI深度使用者，“95后”女生瑞希坦言，AI好用，但不時像“中邪”了一樣胡說八道�！拔易孉I推薦10本高分小說，結果一多半都是它編的。反復確認后，它承認虛構了答案�！�
現(xiàn)實生活中，不少人遇到相似情況。業(yè)內人士表示，這是由于AI幻覺導致�！癆I可以快速給出答案，但生成內容可能與可驗證事實不符，即憑空捏造；或生成內容與上下文缺乏關聯(lián)，即‘答非所問’�！币幻髁魅斯ぶ悄軓S商技術人員說。
記者使用一款AI軟件，讓其給出某行業(yè)未來市場規(guī)模及信源，AI迅速回答稱某投資機構預測2028年該行業(yè)的市場規(guī)模將達到5萬億美元，并提供相關鏈接，但鏈接頁面找不到上述信息。記者看到，頁面內容雖然包含該投資機構名稱和5萬億美元表述，但預測數(shù)據(jù)并非該機構作出，且不存在2028年時間節(jié)點。
社交平臺上，AI幻覺相關話題瀏覽量達數(shù)百萬，網(wǎng)友吐槽涉及金融、法律、醫(yī)療、學術等多個領域。
第三方咨詢公司麥可思研究院近期發(fā)布的2025年高校師生AI應用及素養(yǎng)研究顯示，四千余名受訪高校師生中，近八成遇到過AI幻覺。今年2月，清華大學新媒沈陽團隊發(fā)布的報告指出，市場上多個熱門大模型在事實性幻覺評測中幻覺率超過19%。
AI幻覺已經(jīng)影響了人們的生活與工作。
近期，一名國外男子被診斷出溴中毒。他此前詢問AI，過量食用食鹽不利于身體健康，有無食鹽替代品，AI回答稱可以用溴化鈉代替。但溴化鈉存在一定毒性，需要嚴格遵醫(yī)囑服用。該男子用溴化鈉代替食鹽三個月后出現(xiàn)精神錯亂等癥狀。
這幾年，美國多起案件中的律師因在法律文件中使用AI生成的虛假信息，被法院警告或處分。
AI幻覺為什么會發(fā)生？
受訪專家認為，AI幻覺的背后存在多重因素。
——數(shù)據(jù)污染。AI“養(yǎng)成”過程中，數(shù)據(jù)“投喂”是關鍵環(huán)節(jié)。研究顯示，當訓練數(shù)據(jù)中僅有0.01%的虛假文本時，模型輸出的有害內容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應上升7.2%。
奇安信集團行業(yè)安全研究中心主任裴智勇解釋說，人工智能大模型需要海量數(shù)據(jù)，訓練數(shù)據(jù)來自開源網(wǎng)絡，難免會錯誤學習一些虛假、謬誤數(shù)據(jù)，還有一些不法分子會惡意進行“數(shù)據(jù)投毒”。
“如果把AI比作一個學生，數(shù)據(jù)污染就像是給學生看了錯誤的教科書，自然會導致‘胡說八道’�！濒吣洗髮W網(wǎng)絡空間安全學院教授翁健說。
——AI本身“認知邊界模糊”。翁健認為，人類智能的一個重要特征是“元認知”能力——知道自己懂什么、不懂什么，而當前AI技術架構缺乏這種自我認知機制。
翁健解釋稱，AI可以博覽群書，但并不一定理解書里的內容，只是根據(jù)統(tǒng)計規(guī)律把最有可能的詞語組合在一起，在準確評估自身輸出的可信度方面尚存盲點。
——人為調校和干預。在中國通信學會數(shù)據(jù)安全專業(yè)委員會副主任委員左曉棟看來，相較于事實真相，AI更在意自己的回答是否契合用戶需求，從而導致AI有時為了“討好”用戶而編造答案。
“針對不同需求，AI的訓練、打分方式也不同。”一位從事大模型訓練的技術人員說，當面對寫作等創(chuàng)意性需求時，偏理性的事實嚴謹在打分系統(tǒng)中占比相對較低，偏感性的詞語優(yōu)美、富有感情色彩等占比更高�！八钥赡軙霈F(xiàn)一篇辭藻華麗但詞不達意的文章，里面內容甚至與事實相悖�！�
多方合力減少AI幻覺
第55次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，截至去年12月，有2.49億人使用過生成式人工智能產(chǎn)品，占整體人口的17.7%。受訪專家表示，應通過多方合力應對AI幻覺帶來的風險挑戰(zhàn)。
今年4月，中央網(wǎng)信辦印發(fā)通知，在全國范圍內部署開展“清朗·整治AI技術濫用”專項行動，訓練語料管理不嚴、未落實內容標識要求、利用AI制作發(fā)布謠言等均為整治重點。
“可靠、可信、高質量的數(shù)據(jù)對降低AI幻覺非常重要，應優(yōu)化人工智能的訓練語料，用‘好數(shù)據(jù)’生成‘優(yōu)質內容’�！弊髸詶澱J為，可以加快推動線下數(shù)據(jù)電子化，增加“投喂”的數(shù)據(jù)量；同時探索建立具有權威性的公共數(shù)據(jù)共享平臺，“各大廠商也應加強優(yōu)質數(shù)據(jù)篩選，提升訓練準確性”。
多家主流人工智能廠商已經(jīng)采取措施，從技術層面減少AI幻覺發(fā)生。
豆包升級深度思考功能，由先搜后想變?yōu)檫呄脒吽眩伎歼^程中可以基于推理多次調用工具、搜索信息，回復質量明顯提升；通義千問在20多個通用任務上應用強化學習，增強通用能力的同時糾正不良行為；元寶持續(xù)擴充引入各領域的權威信源，在回答時交叉校驗相關信息，提高生成內容的可靠性。
翁健建議，建立國家級人工智能安全評測平臺，就像生物醫(yī)藥新藥上市前要做臨床試驗一樣，大模型也應該經(jīng)過嚴格測試；同時，相關平臺加強AI生成內容審核，提升檢測鑒偽能力。
“AI可能‘欺騙’用戶，公眾應客觀認識人工智能的局限性�！弊髸詶澋葘＜姨崾荆梢酝ㄟ^改進使用方式，如給出更加明確的提示詞、限定范圍等避免AI幻覺。“無論是工作、學習還是生活，現(xiàn)階段的人工智能還不能全面替代人類的認知和創(chuàng)造能力，大家在使用AI時要保持懷疑態(tài)度和批判思維，不過度依賴AI給出的回答，多渠道驗證核查�！�
 |
 |
 |
 |
焦作網(wǎng)免責聲明： | |||||||
|
||||||||
新華社廣州9月24日電 題：當AI“一本正經(jīng)胡說八道”……
新華社“新華視點”記者顏之宏、胡林果
當前，AI正賦能千行百業(yè)，為人們的工作、學習、生活帶來極大便利。與此同時，不少人發(fā)現(xiàn)，用AI搜索數(shù)據(jù)，給出的內容查無實據(jù)；用AI輔助診療，出現(xiàn)誤判干擾正常治療……AI頻頻上演“一本正經(jīng)胡說八道”。社交平臺上，AI幻覺引發(fā)熱議。
AI好用但不時像是“中邪”了
用AI檢索海量信息、讓AI輔助查看三維病灶、打造AI互動課堂……如今，AI已深度融入現(xiàn)代生活，“人工智能+”產(chǎn)品賦能各行各業(yè)，從多個維度提供便利。
作為AI深度使用者，“95后”女生瑞希坦言，AI好用，但不時像“中邪”了一樣胡說八道�！拔易孉I推薦10本高分小說，結果一多半都是它編的。反復確認后，它承認虛構了答案。”
現(xiàn)實生活中，不少人遇到相似情況。業(yè)內人士表示，這是由于AI幻覺導致�！癆I可以快速給出答案，但生成內容可能與可驗證事實不符，即憑空捏造；或生成內容與上下文缺乏關聯(lián)，即‘答非所問’�！币幻髁魅斯ぶ悄軓S商技術人員說。
記者使用一款AI軟件，讓其給出某行業(yè)未來市場規(guī)模及信源，AI迅速回答稱某投資機構預測2028年該行業(yè)的市場規(guī)模將達到5萬億美元，并提供相關鏈接，但鏈接頁面找不到上述信息。記者看到，頁面內容雖然包含該投資機構名稱和5萬億美元表述，但預測數(shù)據(jù)并非該機構作出，且不存在2028年時間節(jié)點。
社交平臺上，AI幻覺相關話題瀏覽量達數(shù)百萬，網(wǎng)友吐槽涉及金融、法律、醫(yī)療、學術等多個領域。
第三方咨詢公司麥可思研究院近期發(fā)布的2025年高校師生AI應用及素養(yǎng)研究顯示，四千余名受訪高校師生中，近八成遇到過AI幻覺。今年2月，清華大學新媒沈陽團隊發(fā)布的報告指出，市場上多個熱門大模型在事實性幻覺評測中幻覺率超過19%。
AI幻覺已經(jīng)影響了人們的生活與工作。
近期，一名國外男子被診斷出溴中毒。他此前詢問AI，過量食用食鹽不利于身體健康，有無食鹽替代品，AI回答稱可以用溴化鈉代替。但溴化鈉存在一定毒性，需要嚴格遵醫(yī)囑服用。該男子用溴化鈉代替食鹽三個月后出現(xiàn)精神錯亂等癥狀。
這幾年，美國多起案件中的律師因在法律文件中使用AI生成的虛假信息，被法院警告或處分。
AI幻覺為什么會發(fā)生？
受訪專家認為，AI幻覺的背后存在多重因素。
——數(shù)據(jù)污染。AI“養(yǎng)成”過程中，數(shù)據(jù)“投喂”是關鍵環(huán)節(jié)。研究顯示，當訓練數(shù)據(jù)中僅有0.01%的虛假文本時，模型輸出的有害內容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應上升7.2%。
奇安信集團行業(yè)安全研究中心主任裴智勇解釋說，人工智能大模型需要海量數(shù)據(jù)，訓練數(shù)據(jù)來自開源網(wǎng)絡，難免會錯誤學習一些虛假、謬誤數(shù)據(jù)，還有一些不法分子會惡意進行“數(shù)據(jù)投毒”。
“如果把AI比作一個學生，數(shù)據(jù)污染就像是給學生看了錯誤的教科書，自然會導致‘胡說八道’。”暨南大學網(wǎng)絡空間安全學院教授翁健說。
——AI本身“認知邊界模糊”。翁健認為，人類智能的一個重要特征是“元認知”能力——知道自己懂什么、不懂什么，而當前AI技術架構缺乏這種自我認知機制。
翁健解釋稱，AI可以博覽群書，但并不一定理解書里的內容，只是根據(jù)統(tǒng)計規(guī)律把最有可能的詞語組合在一起，在準確評估自身輸出的可信度方面尚存盲點。
——人為調校和干預。在中國通信學會數(shù)據(jù)安全專業(yè)委員會副主任委員左曉棟看來，相較于事實真相，AI更在意自己的回答是否契合用戶需求，從而導致AI有時為了“討好”用戶而編造答案。
“針對不同需求，AI的訓練、打分方式也不同。”一位從事大模型訓練的技術人員說，當面對寫作等創(chuàng)意性需求時，偏理性的事實嚴謹在打分系統(tǒng)中占比相對較低，偏感性的詞語優(yōu)美、富有感情色彩等占比更高�！八钥赡軙霈F(xiàn)一篇辭藻華麗但詞不達意的文章，里面內容甚至與事實相悖�！�
多方合力減少AI幻覺
第55次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，截至去年12月，有2.49億人使用過生成式人工智能產(chǎn)品，占整體人口的17.7%。受訪專家表示，應通過多方合力應對AI幻覺帶來的風險挑戰(zhàn)。
今年4月，中央網(wǎng)信辦印發(fā)通知，在全國范圍內部署開展“清朗·整治AI技術濫用”專項行動，訓練語料管理不嚴、未落實內容標識要求、利用AI制作發(fā)布謠言等均為整治重點。
“可靠、可信、高質量的數(shù)據(jù)對降低AI幻覺非常重要，應優(yōu)化人工智能的訓練語料，用‘好數(shù)據(jù)’生成‘優(yōu)質內容’�！弊髸詶澱J為，可以加快推動線下數(shù)據(jù)電子化，增加“投喂”的數(shù)據(jù)量；同時探索建立具有權威性的公共數(shù)據(jù)共享平臺，“各大廠商也應加強優(yōu)質數(shù)據(jù)篩選，提升訓練準確性”。
多家主流人工智能廠商已經(jīng)采取措施，從技術層面減少AI幻覺發(fā)生。
豆包升級深度思考功能，由先搜后想變?yōu)檫呄脒吽�，思考過程中可以基于推理多次調用工具、搜索信息，回復質量明顯提升；通義千問在20多個通用任務上應用強化學習，增強通用能力的同時糾正不良行為；元寶持續(xù)擴充引入各領域的權威信源，在回答時交叉校驗相關信息，提高生成內容的可靠性。
翁健建議，建立國家級人工智能安全評測平臺，就像生物醫(yī)藥新藥上市前要做臨床試驗一樣，大模型也應該經(jīng)過嚴格測試；同時，相關平臺加強AI生成內容審核，提升檢測鑒偽能力。
“AI可能‘欺騙’用戶，公眾應客觀認識人工智能的局限性�！弊髸詶澋葘＜姨崾�，可以通過改進使用方式，如給出更加明確的提示詞、限定范圍等避免AI幻覺。“無論是工作、學習還是生活，現(xiàn)階段的人工智能還不能全面替代人類的認知和創(chuàng)造能力，大家在使用AI時要保持懷疑態(tài)度和批判思維，不過度依賴AI給出的回答，多渠道驗證核查�！�
 |
|
||||
|
焦作網(wǎng)免責聲明： | |||||||
|
||||||||
|
|
