天堂Av无码AV一区二区三区,国产精品成人啪精品视频免费

內(nèi)容簡介

　　自然語言處理技術(shù)經(jīng)歷了小規(guī)模專家知識（20世紀(jì)50年代-90年代）、大規(guī)模語料庫統(tǒng)計模型（20世紀(jì)90年代至21世紀(jì)初）、大規(guī)模語料庫深度學(xué)習(xí)（2010-2017年）和大規(guī)模預(yù)訓(xùn)練語言模型（2018年至今）四個階段。預(yù)訓(xùn)練模型的研究和應(yīng)用是從2013年開始的，標(biāo)志性事件是2018年10月谷歌的Bert模型的出現(xiàn)，顛覆了NLP領(lǐng)域的研究范式，多數(shù)的NLP任務(wù)都轉(zhuǎn)換成在預(yù)訓(xùn)練語言模型上的學(xué)習(xí)，然后在下游任務(wù)中使用微調(diào)的模式。特別是2023年初OpenAl公司的ChatGPT的火爆問世，ChatGPT的API已于2023年3月1日公開，而其背后的大規(guī)模語言模型的公開，必將導(dǎo)致包含隱私敏感數(shù)據(jù)訓(xùn)練的模型被提取出訓(xùn)練數(shù)據(jù)中的隱私敏感信息。差分隱私技術(shù)和可解釋性技術(shù)可以有效地解決隱私數(shù)據(jù)泄露和模型不透明的問題。本書先介紹了自然語言和差分隱私的理論基礎(chǔ)，論述當(dāng)前自然語言模型所面臨的隱私攻擊類型，在此基礎(chǔ)之上根據(jù)文本處理粒度和擾動位置的不同，分別介紹單詞層級的差分隱私、Token層級的差分隱私、句子層級的差分隱私、主題層級的差分隱私和基于梯度擾動的差分隱私。論述自然語言處理模型中相關(guān)的可解釋性技術(shù)。該書研究成果廣泛適用于多種交叉學(xué)科，如社交網(wǎng)絡(luò)、情感分析、聊天機(jī)器人、城市交通、金融風(fēng)控等領(lǐng)域，從而發(fā)揮巨大的研究意義和經(jīng)濟(jì)價值。

作者簡介

暫缺《自然語言處理領(lǐng)域中差分隱私和可解釋技術(shù)的應(yīng)用》作者簡介

圖書目錄

1.導(dǎo)論
1.1 小規(guī)模專家知識階段
1.2 大規(guī)模語料庫統(tǒng)計模型階段
1.3 大規(guī)模語料庫深度學(xué)習(xí)階段
1.4 大規(guī)模預(yù)訓(xùn)練語言模型階段
2.自然語言處理基礎(chǔ)
2.1 文本表示
2.2 自然語言處理任務(wù)
2.3 評價指標(biāo)
3.預(yù)訓(xùn)練模型
3.1 靜態(tài)詞向量預(yù)訓(xùn)練模型
3.2 動態(tài)詞向量預(yù)訓(xùn)練模型
3.3 預(yù)訓(xùn)練語言模型
4.自然語言處理中的神經(jīng)網(wǎng)絡(luò)
4.1 多層感知機(jī)
4.2 卷積神經(jīng)網(wǎng)絡(luò)
4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
4.4 注意力機(jī)制
4.5 Transformer模型
4.6 提示學(xué)習(xí)Prompt Learning
5.差分隱私相關(guān)基礎(chǔ)
5.1 中心化差分隱私
5.2 本地差分隱私
5.3 度量差分隱私
5.4 UMLDP (Utility-optimized MLDP)
5.5 噪聲機(jī)制
6.攻擊類型
6.1 成員推理攻擊
6.2 重建攻擊
6.3 屬性推理攻擊
6.4 模型抽取攻擊
6.5 梯度信息攻擊
6.6 基于提示信息攻擊
7.基于單詞層級的差分隱私方法
7.1 中心化差分隱私場景下
7.2 本地化差分隱私場景下
7.3 度量差分隱私場景下
8.基于Token層級的差分隱私方法
8.1 SANTEXT和SANTEXT+
8.2 基于Bett系列的差分隱私方法
9.基于句子層級的差分隱私方法
9.1 Skip-Thoughts向量
9.2 Sent2Vec
9.3 Doc2Vec
9.4 SBERT
9.5 模糊詞袋方法Fuzzy Bag-of-Words
9.6 其他方法
9.7 句子層級差分隱私方法框架
10.基于主題層級的差分隱私方法
1O.1 LDA方法