網(wǎng)上投稿
編者按：自1956年“人工智能”的概念首次被提出已過60余年，此間，人工智能從虛化的代碼逐漸轉化成實踐應用，催生出一批批商業(yè)故事。不過，人工智能規(guī)模化商用并非坦途，概念的火熱一直以來未能助推技術突破與商業(yè)應用。
時間來到2022年，生成式AI發(fā)展為人工智能發(fā)展再注入一針強心劑。ChatGPT橫空出世，被視為通用人工智能的起點和強人工智能的拐點，引發(fā)新一輪人工智能革命。人工智能發(fā)展似乎找到了自己的主流敘事。
不過，技術創(chuàng)新的同時也帶來了監(jiān)管難題。如何平衡發(fā)展與安全，中國正在摸索自己的AI治理路徑。南財合規(guī)科技研究院與觀韜中茂律師事務所推出《中國AI治理的獨立思考——生成式人工智能發(fā)展與監(jiān)管白皮書》，通過分析生成式AI的發(fā)展現(xiàn)狀、政策導向、實操中面臨的風險，以及各國的監(jiān)管路徑，以期為未來的AI治理提供有益思路。
生成式人工智能發(fā)展一日千里，與驚喜相伴的是對其引發(fā)的安全隱患擔憂。生成式AI的模型層是生成式AI得以實現(xiàn)的關鍵環(huán)節(jié)，依賴于更高質(zhì)量、更豐富的訓練數(shù)據(jù)集。如何判斷數(shù)據(jù)收集行為以及留存的數(shù)據(jù)內(nèi)容是否合規(guī)，已成為當前相關技術發(fā)展亟待解決的問題，更是大模型產(chǎn)品未來健康發(fā)展的關鍵。數(shù)據(jù)安全問題正變得越來越重要，甚至可能成為產(chǎn)品的“阿克琉斯之踵”。
因此，必須關注煉造大模型帶來的次生問題，比如數(shù)據(jù)跨境流動中的難點與困境，再比如個人信息，尤其未成年人信息在模型訓練、應用過程中的合規(guī)，這些都是生成式AI數(shù)據(jù)治理過程中需要予以特別關注。
數(shù)據(jù)跨境：多重不確定性疊加
海量數(shù)據(jù)推動大模型“涌現(xiàn)”功能的出現(xiàn)。數(shù)據(jù)從何而來？
一是各個廠商歷史積累的數(shù)據(jù)，數(shù)據(jù)的具體類型和質(zhì)量取決于廠商的主營業(yè)務情況；二是公開渠道爬取的數(shù)據(jù)，受限于當前各類反爬取技術和規(guī)則，此類數(shù)據(jù)獲取將愈加困難；三是各類免費或付費的第三方數(shù)據(jù)庫與數(shù)據(jù)集，例如GPT數(shù)據(jù)來源中全球最大的免費網(wǎng)頁數(shù)據(jù)庫Common Crawl，各類高校，以及企業(yè)科研機構所搜集和處理的開源數(shù)據(jù)集如WikiQA（微軟研究院發(fā)布）、EXEQ-300K（北京大學、賓夕法尼亞大學、中山大學發(fā)布）、ArxivPapers（Facebook、倫敦大學學院、DeepMind發(fā)布）等。
可以看到，大模型數(shù)據(jù)獲取過程中不可避免的涉及數(shù)據(jù)跨境問題。除此之外，數(shù)據(jù)跨境問題還可能存在于服務提供等環(huán)節(jié)。
目前，除少部分自行開發(fā)、部署模型的提服務提供者供以外，大部分服務提供者仍需倚賴第三方技術服務商搭建模型或以接入API等方式使用生成式AI服務，而這些技術方的服務器一般部署于境外。例如，一家位于中國大陸的企業(yè)，通過API接口的方式接入位于北美的生成式AI技術服務提供商，而該服務商的服務器部署于印度，此時可能面臨相關數(shù)據(jù)出境所帶來的風險。
除此之外，在提供生成式AI服務過程中，不僅涉及數(shù)據(jù)出境問題，還可能涉及數(shù)據(jù)入境。例如，經(jīng)過境外模型處理后產(chǎn)生的數(shù)據(jù)通過AI交互方式返回給中國用戶時，也需考慮境外國家關于數(shù)據(jù)出境的合規(guī)要求和限制。
從境內(nèi)外關于生成式AI技術的法律規(guī)制來看，目前，服務提供者在應用生成式AI模型的過程中，可能會面臨四方面與數(shù)據(jù)跨境相關的風險與挑戰(zhàn)：
一是大陸地區(qū)尚未被列入核心技術供應商開放服務范圍之內(nèi)。
目前，如OpenAI等核心生成式AI技術提供方并未將中國大陸地區(qū)列入其服務提供對象范圍，在此背景下，如果因為使用相關服務給大陸企業(yè)造成了損害后果（如數(shù)據(jù)泄漏等），企業(yè)的權利應當如何得到保障？
此外，部分企業(yè)通過自行建立或租用專線（含虛擬專用網(wǎng)絡VPN）的方式，連接到境外的生成式AI技術模型，這一做法如未經(jīng)電信主管部門批準，則涉嫌違反工信部《關于清理規(guī)范互聯(lián)網(wǎng)網(wǎng)絡接入服務市場的通知》的規(guī)定，違規(guī)風險極大，尤其是當企業(yè)以營利為目的專門向其他企業(yè)提供此類服務的，情節(jié)嚴重的情況下，還可能構成非法經(jīng)營罪，將會面臨刑事風險。
二是數(shù)據(jù)出境方面，情況存在不確定性。
根據(jù)《網(wǎng)絡安全法》、《個人信息保護法》、《數(shù)據(jù)出境安全評估辦法》等法律法規(guī)規(guī)定，在進行數(shù)據(jù)出境前應當履行相應的出境合規(guī)義務，例如進行事前安全評估，如涉及個人信息的，還應當進行個人信息保護認證、簽署標準合同等，而由于企業(yè)使用生成式AI模型服務中涉及的數(shù)據(jù)出境情況存在不確定性，因此，在履行出境合規(guī)義務上可能存在滯后性。
目前，生成式AI模型的應用路徑主要分為兩種，其一，是企業(yè)將其收集的數(shù)據(jù)提供給生成式AI模型，并向其提出數(shù)據(jù)處理請求，該情形下，企業(yè)在提供數(shù)據(jù)前可以結合業(yè)務需求及合規(guī)義務要求對數(shù)據(jù)進行預處理、篩選，以限定其所提供的數(shù)據(jù)范圍，從而使得相關數(shù)據(jù)出境風險處于可控范圍之內(nèi)。其二，是用戶直接使用企業(yè)接入生成式AI模型的服務平臺，這種情況下，由于用戶是直接向生成式AI模型提供數(shù)據(jù)的主體，對于企業(yè)而言，用戶提供哪些數(shù)據(jù)存在很大不確定性，從而觸發(fā)相關的數(shù)據(jù)出境合規(guī)義務要求。而且，由于該情形下向境外提供個人信息量級的不確定性，將導致企業(yè)難以確定數(shù)據(jù)出境合規(guī)路徑。
三是個人信息出境時如何告知并取得個人或其監(jiān)護人的單獨同意。
根據(jù)《個人信息保護法》的要求，基于個人同意向境外提供個人信息的，應當取得個人的單獨同意。從目前行業(yè)實踐來看，企業(yè)通常通過彈窗勾選的方式取得數(shù)據(jù)出境相關的單獨同意，但是在告知方面，基于生成式AI模型的特殊性，如何在事前告知可能出境的個人信息范圍，將會成為企業(yè)在履行相關告知義務時不得不面臨的現(xiàn)實困境。
四是如何滿足境外出口管制的要求。
經(jīng)境外的生成式AI模型處理后產(chǎn)生的數(shù)據(jù)面臨相關國家、地區(qū)的監(jiān)管。不同于歐盟的嚴格限制，例如美國對于數(shù)據(jù)跨境流動的監(jiān)管要寬松許多，對于數(shù)據(jù)跨境流動，美國偏向于限制政府權利，其跨境數(shù)據(jù)隱私保護策略主要靠有限的立法和行業(yè)自律。
如前所述，經(jīng)境外的生成式AI模型處理后產(chǎn)生的數(shù)據(jù)或產(chǎn)品如返回給中國用戶，需要考慮境外國家關于數(shù)據(jù)出境的合規(guī)要求和限制。例如，在OpenAI公布的用戶協(xié)議中，亦明確規(guī)定其提供的服務受美國出口管制相關規(guī)則所約束，不得出口到任何美國禁運國家。
同時，根據(jù)美國商務部工業(yè)與安全局官網(wǎng)公布的禁運規(guī)則解釋文本及其對應表格，中國屬于清單中的D組禁運國家，主要禁運領域為“國家安全、核工業(yè)、化學與生物領域、導彈科技和其他軍事領域”，雖非絕對禁運，但是，對于電子產(chǎn)品、電子通信、電腦、信息安全等領域相關的設備、組件、材料、軟件及其相關科技向中國的出口，仍需要向美國相關部門進行報批。
值得注意的是，出口管制適用的范圍不僅包括實體貨物，還包括計算機軟件、數(shù)據(jù)、技術等，這就意味著受《美國出口管制條例》等法律法規(guī)約束的貨物相關的數(shù)據(jù)亦需遵循相應的規(guī)制。因此，對于經(jīng)生成式AI模型處理后返回的數(shù)據(jù)，是否符合境外出口管制方面的合規(guī)要求，亦是企業(yè)在將來迎接監(jiān)管時可能面臨的挑戰(zhàn)。
數(shù)據(jù)安全：需關注Prompt injection攻擊
新技術快速發(fā)展，也需警惕其中風險。在數(shù)據(jù)成為寶貴資產(chǎn)的今天，海量數(shù)據(jù)的安全如何保障？與此同時，大模型的惡意使用行為如何預防？也是快速發(fā)展過程中需要關注和回應的問題。
具體來看，生成式AI需要關注并回應數(shù)據(jù)泄露、網(wǎng)絡安全、重要數(shù)據(jù)處理等關鍵問題。
關于數(shù)據(jù)泄露，基于大模型強大的系統(tǒng)學習能力，以及交互方式上相對的自由與不受局限，導致交互過程中存在較大泄漏數(shù)據(jù)或商業(yè)秘密的風險。例如，近日，某韓國頭部企業(yè)發(fā)生了三起生成式AI產(chǎn)品的誤用與濫用案例，包括設備信息泄漏和會議內(nèi)容泄漏。其中，涉及半導體設備測量資料、產(chǎn)品良率等內(nèi)容或已被存入AI模型的學習資料庫中。
為規(guī)避數(shù)據(jù)泄露風險，此前已有不少企業(yè)明確禁止員工使用生成式AI模型，包括摩根大通、德意志銀行、埃森哲、富士通、軟銀、高盛、花旗等公司。
網(wǎng)絡安全方面，大模型的“濫用風險”似乎是伴隨著大模型興起一直為人們緊密關注的議題，對于生成式AI模型的開發(fā)者而言，在訓練模型的過程中需要思考如何有效預防用戶的惡意使用行為，例如利用模型撰寫編碼或病毒，用于攻擊網(wǎng)站等，從而引發(fā)網(wǎng)絡安全風險。
同時，大模型也似乎更容易受到“提示語注入攻擊(Prompt injection)”的影響。例如，給出ChatGPT能夠接受的假設，引導它違反自身的編程限制，生成不合適或有害的內(nèi)容。如何防止惡意使用者誘騙模型突破限制使用范圍，也將成為生成式AI模型應用過程中可能面臨的一大挑戰(zhàn)。
重要數(shù)據(jù)處理方面，基于大語言模型的特性，其模型的訓練和完善都有賴于大量數(shù)據(jù)的幫助，不同數(shù)據(jù)類型、數(shù)據(jù)量級的疊加，不排除構成重要數(shù)據(jù)乃至核心數(shù)據(jù)從而觸發(fā)相應的合規(guī)義務。
同時，我國目前《數(shù)據(jù)安全法》等法律法規(guī)中雖然提出了“重要數(shù)據(jù)”、“核心數(shù)據(jù)”的概念，但二者的判定依據(jù)尚未明晰，這種不確定性也使得生成式AI模型應用面臨的合規(guī)風險增加。
比如某企業(yè)通過某生成式AI模型堆砌數(shù)據(jù)，但當數(shù)據(jù)量增加到某一量級時已構成重要數(shù)據(jù)，此時如本身模型技術支持位于境外，企業(yè)將會面臨重要數(shù)據(jù)出境相關的合規(guī)風險。
個人信息：關注收集、使用、響應等環(huán)節(jié)
當前，隨著個人信息保護意識的不斷加深，大模型發(fā)展過程中如何保護個人信息，成為發(fā)展過程中必需回答的問題。對于個人信息的保護，需要重點關注收集、使用、權利響應等環(huán)節(jié)，同時尤其關注兒童信息。
個人信息收集場景方面，大數(shù)據(jù)時代，生成式AI模型難以規(guī)避因收集個人信息所帶來的風險，這類風險不僅可能發(fā)生在模型的訓練階段，也可能發(fā)生在模型的實際應用階段。
在模型的訓練階段，大模型往往需要獲取多元化、豐富的語料進行訓練，在這個過程中，難免會采取爬蟲等技術方式通過互聯(lián)網(wǎng)等公開渠道獲取大量數(shù)據(jù)，如何避免因爬取或其他手段獲取公開渠道的個人信息而構成侵權等法律風險？如涉及從第三方獲取的數(shù)據(jù)的，如何審核個人信息來源的合法性和個人的授權情況？這都是應當思考的問題。
例如，某生成式AI模型在訓練的過程中爬取了某點評網(wǎng)站上關于某餐飲店的評價，但由于某用戶在點評時透露了自身的個人信息，導致該部分個人信息進入到模型語料庫，進而涉嫌侵犯他人個人信息權益。
在模型的實際應用階段，如何精準識別AI與用戶交互過程中所收集的個人信息，并進而履行個人信息保護相關的合規(guī)義務，也將成為生成式AI模型應用者所要面臨的一大挑戰(zhàn)。
不同于一般應用程序中填入式的收集個人信息方式，大模型由于涉及人與AI的交互，很難在事前對可能收集個人信息的場景進行完全羅列，而更近似于“客服熱線”的場景，在此背景下，應當如何在事前向個人告知收集個人信息的目的、方式和范圍并取得其同意，也是值得研究的問題。
個人信息使用場景上，目前，部分生成式AI產(chǎn)品以改善服務為由使用用戶提供的內(nèi)容（其中包含個人信息），但顯然，僅以改善服務為由要求收集用戶信息并不符合最小必要原則，本質(zhì)上是對于“企業(yè)訓練模型之需”與“用戶享受服務之需”的混淆。目前，OpenAI已提供用戶拒絕其使用個人信息進行訓練的途徑。
除此之外，在大模型的交互模式下，對于個人信息的披露可能不同于往常意義上的“公開披露”，而更類似于一種“被動公開”，即當某個用戶的真實個人信息被摘錄于語料庫后，之后任意用戶通過詢問等方式均可以得知相關個人信息，此時由于對象為非特定自然人，相較于向特定個人“提供個人信息”，可能更接近于“公開個人信息”的范疇。
因此，對于模型開發(fā)者而言，應當慎重考慮在語料庫以及訓練模型的過程中是否加入真實個人信息。例如，某直銷機構需要向客戶公開披露直銷員的聯(lián)系方式等，但由于并未告知直銷員，導致直銷員的聯(lián)系方式被其他人通過與AI的問答獲取，并用于其他目的，此時企業(yè)可能會因為未事前披露使用目的而涉嫌侵犯他人個人信息權益。
個人信息權利響應場景方面，生成式AI也帶來一系列難題。
在大模型下，關于個人信息權利響應的實現(xiàn)似乎遠遠沒有想象中來得容易。例如，就查閱權和更正權而言，提供者應當如何確定個人信息的范圍并提供給用戶查閱或更正？
如前所述，模型通常存儲的是交互記錄，而不會在識別個人數(shù)據(jù)后將其作為單獨的存儲單位。就刪除權而言，如果這部分數(shù)據(jù)已被用于模型訓練，此時，從技術上而言難以做到完全刪除，僅能通過過濾數(shù)據(jù)或者重新訓練的方式以最小化這部分個人信息對模型輸出可能產(chǎn)生的影響。
同時，如果大模型技術提供方位于境外，收集的個人信息將通過API接口傳輸至位于境外的主體，如何向個人告知向境外行使個人信息權利的途徑，也將成為服務提供者需要面臨的現(xiàn)實問題。
如何處理兒童個人信息，也成為生成式人工智能合規(guī)治理過程中需著重考量的因素。
在訓練大模型的過程中，服務提供者需要基于自身的目的，考量是否有收集兒童個人信息的必要性。
如果業(yè)務本身并不面向或針對兒童，但如遇到醫(yī)療健康事件等小概率事件下可能會收集兒童個人信息，也應當在隱私政策等個人信息聲明中告知并獲得有效同意。
如不存在收集任何兒童個人信息的必要性，則應從技術和制度角度防止誤收兒童個人信息。例如，某10歲的兒童通過網(wǎng)站的廣告頁面進入了某生成式AI模型服務提供頁面，并輸入了自身的姓名等個人信息，此時，由于系統(tǒng)無法準確識別使用者的年齡，在無形中收集了該名兒童的個人信息。目前，如OpenAI也已經(jīng)關注到此類問題，但可能出于對現(xiàn)有技術判別年齡的有效性等考量，其并未采取進一步動作。
滬公網(wǎng)安備 31010402007129號
