您的(de)位置: 新聞資訊 > 行(xíng)業(yè)動态 > 正文(wén)

UA 名單攔截:網絡安全的(de)堅固防線(圖文(wφ•φén))


來(lái)源:mozhe 2024-10-09

UA(User-Agent)名單攔截是(shì)一(yī)種有(yǒuφ☆™₩)效的(de)網絡安全手段。User-Agent 是(shì) H→<TTP 請(qǐng)求頭的(de)一(yī)部分(<←‍ fēn),包含了(le)用(yòng)戶訪問(wèn)時(shí)所使用(yò§↑ng)的(de)操作(zuò)系統及版本、浏覽€∏器(qì)類型及版本等标識信息。通(tōng)過識别這(zhè)個(gè)字® "段,我們可(kě)以對(duì)訪客的(de)行$γ (xíng)為(wèi)進行(xíng)π 規範。
例如(rú),在防盜鏈方面,UA 名單攔截可(kě)以防止未×£經授權的(de)鏈接訪問(wèn)資源。如(rú)γσ↕果某個(gè)資源設置了(le) UA 白(bái•←δ)名單,那(nà)麽隻有(yǒu)白(bái)名單內(nèδ₩i)的(de) UA 可(kě)以訪問(wèn)該α‌資源,白(bái)名單之外(wài)的(de)訪問(wèn₹↑<<)工(gōng)具全部拒絕訪問(wèn),節點響應 403 狀态碼。同理™₩λ(lǐ),對(duì)于 UA 黑(hēi)名單,黑¥β↓(hēi)名單內(nèi)的(de) U¶←A 無法訪問(wèn)資源,而黑(hēi)名單之外(wà₽>λ∑i)的(de)訪問(wèn)工(gōng)具全部允​δ≥•許訪問(wèn)。
在實際應用(yòng)中,UA 名單攔截還(há≠♥↔≈i)可(kě)以用(yòng)于防盜刷和(hé)防攻擊。比如(rú)©™ ₩,一(yī)些(xiē)惡意爬蟲可(kě)能(né§∏ng)會(huì)使用(yòng)特定的( φ®de) UA 來(lái)抓取網站(zhàn)內(nèi)容,通(tōng∞€φ)過将這(zhè)些(xiē)惡意 UA 加入黑(hēi)♠¥₹Ω名單,可(kě)以有(yǒu)效阻止它們的(de)訪問(wèn)£≈,減少(shǎo)服務器(qì)負載。據統計(j₹∑×→ì),一(yī)些(xiē)網站(zhàn)每天可(¶↓≈₽kě)能(néng)要(yào)處理(lǐ)¶₩數(shù)百萬次請(qǐng)求,其中大(dà)多(©¥€duō)數(shù)請(qǐng)求都(dōu)不(bù)是(shì)真實用σ>♣(yòng)戶發起,而是(shì)各種惡δ₹λ¶意爬蟲。這(zhè)些(xiē)惡意爬蟲以每分(fēn)鐘(zhōng€₽♥)幾十次上(shàng)百次的(de)頻(pín)率進行(xín≠∑↔g)抓爬,不(bù)僅不(bù)會(huì)給網站(z¥>↔↑hàn)帶來(lái)任何益處,還(hái)會≈​><(huì)造成服務器(qì)負載過高(gāo)>∞影(yǐng)響正常訪問(wèn)。
此外(wài),UA 黑(hēi)名單與 UA 白(bái∏'λ)名單隻能(néng)二選一(yī),不(bù)可(kě)同時(shí)配↑÷♥置,為(wèi)互斥關系。配置 UA 名單攔截也(yě)比較簡單,以天γ♠←翼雲為(wèi)例,登錄客戶控制(zhì)台,找到(dào)目标域名進∞♥÷行(xíng)編輯,在【訪問(wèn)控₽∑制(zhì)】中打開(kāi)【UA 黑(hēi)白(bái)名單】功≤®δ÷能(néng),設置類型為(wèi)白(₽©★bái)名單或黑(hēi)名單,使用(yòng)換行(xíng)符分(fēn∏←π♦)隔,支持正則表達式,配置完成後單擊【保存】即可(kě)↓₽。

二、UA 名單攔截的(de)作(zuò)用(yòng)

(一(yī))規範訪客行(xíng)為(wèi)


UA 名單攔截能(néng)夠精準地(dì)規範訪客行(≥δxíng)為(wèi)。通(tōng)過設≤ 置 UA 白(bái)名單,我們可(kě)以明$★(míng)确規定哪些(xiē)特定的(de)訪問(w✔♦èn)工(gōng)具可(kě)以訪問(wèn)資源。例如(rú),在一(yī♦↑>)些(xiē)對(duì)安全性要(yào)求較高(gāo)的(d"♠•≠e)企業(yè)內(nèi)部系統中,隻允許特定版本的(de)浏δ§覽器(qì)或特定的(de)操作(zuò)系統訪 ↕問(wèn),這(zhè)樣可(kě)以确保訪問(wèn)的​‌€∏(de)合法性和(hé)穩定性。同時(shí),UA 黑(hēi)名♥‍α±單則可(kě)以禁止那(nà)些(xiē)不(bù)被信任的(de)訪 α<問(wèn)工(gōng)具。比如(rú),某些(xiē)惡意‍δ軟件(jiàn)可(kě)能(néng)會(huì)僞裝成σ✘←正常的(de)浏覽器(qì)發送請(qǐng)求,通(tōng)過将其對(d₩✔uì)應的(de) UA 加入黑(hēi)名¶∞¥'單,可(kě)以有(yǒu)效地(dì)阻止這(zhè)些(xiē↓>)惡意軟件(jiàn)的(de)訪問(wèn),保障πε γ系統的(de)安全。

(二)防止惡意刷量


惡意刷量是(shì)網絡安全中的(de)一(yī)個(gè)嚴重問(wèn®↓)題,而 UA 名單攔截在防止惡意刷量方面發揮著(zhe)重要(yào)作(z☆"××uò)用(yòng)。很(hěn)多(duō)惡意刷量行↔∏£®(xíng)為(wèi)是(shì)由特定的(‍ •™de)惡意蜘蛛 UA 發起的(de),通★©☆σ(tōng)過将這(zhè)些(xiē)惡意蜘蛛 UA 加入黑(h∏¶✘φēi)名單,可(kě)以有(yǒu)效地(dì)δ÷φ阻止它們的(de)刷量行(xíng)為(wèi)‌↑ 。據統計(jì),在一(yī)些(xiē)遭受惡意刷量攻擊的(de£ε∑α)網站(zhàn)中,通(tōng)過使用(yòng) UA 黑×≤✘(hēi)名單攔截惡意蜘蛛 UA,能(néng)夠減少(shǎo)高•γ(gāo)達 80% 的(de)惡意刷量流量。例如(rú),某些(xiē)©₩網站(zhàn)在使用(yòng) UA 黑(hēi)名單功能(né φφ€ng)後,原本因為(wèi)惡意刷量而導α""緻的(de)高(gāo)帶寬消耗得(de)到(dào)了(le≈ε‍♦)顯著降低(dī),服務器(qì)負載也(yě)明(míng)顯減輕​♠,從(cóng)而保障了(le)網站(zhβ₹àn)的(de)正常運行(xíng)。

(三)增強網絡安全


UA 名單攔截對(duì)于增強網絡安全至關重要(yβ♥ ào)。爬蟲抓取數(shù)據可(kě)能(néng)會(h✘£±'uì)導緻關鍵數(shù)據的(de)流失,給企業(yè)和∞¥★(hé)個(gè)人(rén)帶來(lái)嚴重的☆& (de)損失。通(tōng)過設置 UA 黑(hēδ™φφi)名單,可(kě)以有(yǒu)效防止爬蟲抓取數(shù↑≥÷)據。例如(rú),一(yī)些(xiē)重要(yào)的(de)商業(yαε♦©è)數(shù)據網站(zhàn),通(tōng)過将常見(jiàn)的♦→(de)爬蟲 UA 加入黑(hēi)名單,成功地(dì★ γα)保護了(le)關鍵數(shù)據不(bù)被非法獲取。同時(♥€shí),UA 名單攔截還(hái)可(kě)以與其他(‍<↕♥tā)網絡安全措施相(xiàng)結合,如(rú) IP 黑(hēi)名單α± 、URL 黑(hēi)名單等,共同構建一(yī)個(gè)更加安全的→↓→φ(de)網絡環境。這(zhè)樣可(kě)以從(cóng)多(•≥✘<duō)個(gè)維度對(duì)網絡訪問(wèn)進行(xín"Ω☆®g)控制(zhì),進一(yī)步增強網絡安÷↓ &全,保護用(yòng)戶的(de)隐私和(hé)數(shù)據安全。

三、不(bù)同平台的(de) UA 名單攔截方法

(一(yī))知(zhī)乎的(de) UA 名單攔截方法


知(zhī)乎在反爬方面采取了(le)多( ×duō)種措施,其中包括對(duì)可(kě)能(n₩↓♣éng)是(shì)爬蟲類的(de) UA 标識進®Ω&行(xíng)識别。例如(rú),知(zhī)乎通λ∑☆↔(tōng)過反爬措施識别可(kě)能(né®☆‍ng)是(shì)爬蟲類的(de) UA 标識,如(rú)谷歌ε©α(gē)搜索的(de)爬蟲都(dōu)會(huì)顯示亂碼內(n'¶≤✘èi)容。用(yòng)戶通(tōng)過搜索引擎打開(kāi)知(zhī)乎∞≠都(dōu)可(kě)能(néng)全頁顯示亂碼®∑內(nèi)容,這(zhè)種情況顯然也(yě)是(s​✔•Ωhì)知(zhī)乎正在保護自(zì)己的(de)數(s&✔≥hù)據避免被抓取拿(ná)去(qù)訓練 AI。
對(duì)于 Selenium 無頭浏覽器(qì)被限制(zhì)訪問(w•εèn)的(de)問(wèn)題,可(kě)以通(tōng)過自(zì)行(xí∑ ↕ng)指定 UA 來(lái)解決。先将 headless 選項禁用(yα≈òng),發現(xiàn)腳本可(kě)以正常訪問(wα<××èn)知(zhī)乎。那(nà)麽問(wèn)題的(de)解決就(jiù)變∞≥‌得(de)十分(fēn)簡單了(le),隻需要(y∏ ‌§ào)自(zì)行(xíng)指定 UA 即可(kě)。如(rú)在→"代碼中添加options.add_argument('--user-a★ε≈gent=Mozilla/5.0 (Windows NT 10Ω✘∞♣.0; Win64; x64) AppleWebKit/537λ&↕.36 (KHTML, like Gecko) Chro±→☆me/114.0.0.0 Safari/537.36')。

(二)公衆号的(de) UA 名單攔截方法


在公衆号方面,可(kě)以通(tōng)過設置特定€♣的(de) UA 模拟微(wēi)信浏覽器(qì)打開(kāφ'i)公衆号文(wén)章(zhāng)。有(yǒu)部分 π (fēn)公衆号文(wén)章(zhāng)隻能(néng)使用(yòng) ↔↓♦微(wēi)信浏覽器(qì)打開(kāi),通(tō€λ ←ng)過 chorme 設置 ua 仍然會(huì)被攔截,這(zhδ♦è)時(shí)候可(kě)以選擇一(yī)✔<‌些(xiē)工(gōng)具進行(xíng)模拟¥✘£,如(rú)微(wēi)信浏覽器(qì)模拟器(qì)。≈♠下(xià)載地(dì)址親測可(kě)用(yòng),✘•→∏注意設置 UA:Mozilla/5.0 (Linux;αε U; Android 2.3.6; zh-cn; GT-S♣​®¥5660 Build/GINGERBREAD) AppleWebKit/''‌δ533.1 (KHTML, like Gecko) ♣β$★Version/4.0 Mobile Safari/533.1 Mic∑ roMessenger/4.5.255。
此外(wài),公衆号還(hái)可(kě)以通(tō₩α≥ng)過關鍵詞攔截技(jì)巧來(lái)吸引流量。比如(r→✘ú)實時(shí)注意微(wēi)博熱(rè)搜榜、飙升榜,快(kuài)速≠∞找到(dào)一(yī)些(xiē)比較不(bù) ≥錯(cuò)的(de)詞進行(xíng)公衆号注冊,實現(x<₽↓iàn)攔截。數(shù)據平台也(yě)可(kě)以快(kuài™ ✘)速攔截一(yī)些(xiē)有(yǒu)價值的(÷₩ de)詞,朋(péng)友(yǒu)圈社群、名人(r∑✔αén)明(míng)星代言、今日(rì)熱(rè)榜、5118 ÷★等都(dōu)是(shì)獲取流量關鍵詞的(de)地(dìπ ‌)方。在注冊公衆賬号時(shí),如(rú)果需要(yà<↔ o)提供相(xiàng)關資質,一(yī)般提供營業(yè)執照(zh πào)就(jiù)可(kě)以了(le),有(yǒu)條件(jiàn★∏‌→)的(de)話(huà),最好(hǎo)是(shì)公衆賬号認證多(duō±∞)年(nián)。關鍵詞選取時(shí),字數(shù)越少(shǎo)越<α好(hǎo),可(kě)采用(yòng)加字母、數(sh✘​♣ù)字、同意字、用(yòng)漢語拼音(yī​φ‍φn)等方法進行(xíng)注冊。同時(shí),要(yào)注意公衆号攔​π 截非騰訊系,攔截競争對(duì)手佳,對(duì)手投訴也(yě®β)很(hěn)難投訴掉!攔截流量,首先選擇個(gè)人(rén)号攔截,并π"在描述中給潛在用(yòng)戶一(yī)個(gè)關注的(de)理(lǐ)由。&$♣​提供優質內(nèi)容才能(néng)長(cháng₩δ)久健康良性循環。

四、UA 名單攔截平台有(yǒu)哪些(xi≈¶©ē)


(一(yī))寶塔防火(huǒ)牆
寶塔防火(huǒ)牆提供了(le) UA 黑(hēi)白(bái)名單設置δ≠•功能(néng)。其中,UA 白(bái)名單在初始化(huà) ★π階段可(kě)設置特定的(de) Userφ‍-Agent,若沒有(yǒu)特殊需求可(kě)保持默認。UA 黑(‍®®↑hēi)名單則主要(yào)用(yòng)于攔截惡意♠α±蜘蛛 UA,不(bù)想被爬蟲爬取網站(zhàn)時(shí),隻↔✘§需将惡意爬蟲的(de)關鍵詞加入黑(hēi)名單即可(kě)實現(xiàn)✔₩攔截,且不(bù)會(huì)生(shēng)成$≈攔截日(rì)志(zhì)。此外(wài),它還(hái)提供了(♦δ¥le) IP 白(bái)名單、IP 黑(hēi)名單、UR©★L 白(bái)名單和(hé) URL 黑(hēi)≤ "名單設置,進一(yī)步增強了(le)網站(zhàn)的(de)安全性。

(二)藍(lán)點網


藍(lán)點網近(jìn)期發現(xiànα>)了(le)部分(fēn)惡意 UA,如(♥↔$rú)含小(xiǎo)米 9、OPPO R9SK、MSIE 系列等。這>±×<(zhè)些(xiē)惡意 UA 高(gāo)頻(pín)次抓ε±γ爬內(nèi)容,給服務器(qì)帶來(lái)過高(gāo)負載 ₩↑。檢測到(dào)這(zhè)些(xiē)惡意 UA€ ₹☆ 後,藍(lán)點網将其屏蔽,例如(rú)将相(xiàng)關 UA 關↔ 鍵詞如(rú) Build/NMF26F、Build/PKQ1.181121​± .001、Build/MRA58N、MSIE 等添加到×∏(dào)黑(hēi)名單,通(tōng)過 Nginx 返回 ↓÷HTTP 444 直接丢棄這(zhè)些(xiē)連♦×↑ 接,減少(shǎo)服務器(qì)的(de)負載。

(三)常見(jiàn) WAF 産品

  1. CloudFlare:為(wèi)免費(f₩βèi)用(yòng)戶推出 AI 爬蟲防護功能(néng),可(k±♠φě)一(yī)鍵開(kāi)啓自(zì)δ 動攔截各種 AI 爬蟲避免網站(zhàn)​€數(shù)據被用(yòng)于訓練模型。新推出¥®↓的(de)防護功能(néng)面向所有(yǒu)用(yòng)戶,無論↔€<是(shì)免費(fèi)還(hái)是(shì)訂閱÷ λ用(yòng)戶,隻需要(yào)一(yī)✔•Ω鍵開(kāi)啓該選項後即可(kě)阻止機(jī)器(qì)人(réγ✘≤n)和(hé)爬蟲抓取網站(zhàn)內(nèi)容。其背後的(de&★​)運作(zuò)原理(lǐ)大(dà)概率是(sβ®₽✘hì) CloudFlare 已經整理(lǐ)并±≥ε識别常見(jiàn)的(de) AI 爬蟲→>∞,隻要(yào)根據這(zhè)些(xiē)爬蟲的(d ↑∞ e)名稱進行(xíng)攔截即可(kě)。
  1. 硬件(jiàn)型 WAF:以獨立硬件(jiàn)設備形α→×态存在,支持多(duō)種部署方式,如(rú)綠(lǜ)盟、安§→ε'恒、啓明(míng)星辰等老(lǎo)牌廠(chǎng)商旗下(xià)↔£π的(de) WAF。
  1. 軟件(jiàn)型 WAF:采用(yòng)純軟件(jiàn)方式實現(xi×↓àn),代表有(yǒu) ModSecur¶®Ωity、Naxsi、ShareWAF、安全狗等。
  1. 雲 WAF:以反向代理(lǐ)形式工(gōng)作(zε​α&uò),如(rú)阿裡(lǐ)雲、騰訊雲、深信服雲 WAF、Imperva≠α WAF 等。這(zhè)些(xiē) WAF 産★≤₩¶品在保護網站(zhàn)安全方面發揮著(zhe)重σ₽要(yào)作(zuò)用(yòng),其中部分(fēn)産品可(kě)能♦€(néng)也(yě)涉及到(dào) UA 名單攔截功能(néngε​€),以防止惡意爬蟲和(hé)機(jī)器(qì)人(rén)的(de)攻擊。

墨者安全 防護盾

墨者安全作(zuò)為(wèi)專業(yè)級别安全防護專家↑≥$(jiā),在應對(duì) Webshell 風(fēng)險隐患方面£πε展現(xiàn)出了(le)卓越的(de)能(nén©→¶ g)力。其擁有(yǒu)全面的(de)檢測機(jī)制(zhì),能(nén☆₹g)夠精準識别 Webshell 的(de)各種類型和(hé)變體(tǐ)±©,無論是(shì)複雜(zá)的(de)大(dà)馬×≥$ ,還(hái)是(shì)隐蔽的(de)內(nèi)存馬,都(≤¶dōu)難逃其敏銳的(de)監測。
墨者安全防護盾具備強大(dà)的(de)實時(♥'shí)監控功能(néng),對(duì)服務器(q♠<↓≥ì)的(de)各項活動進行(xíng) 7*α∑¶φ24 小(xiǎo)時(shí)不(bù∏↕ )間(jiān)斷的(de)監視(shì)。一 ≠₩(yī)旦發現(xiàn)任何可(kě)疑的(de) Webshell 活動迹∞•象,立即發出警報(bào),并迅速采取隔離(lí)和♠✔&(hé)清除措施,将風(fēng)險扼殺在萌芽狀态。
在防護策略上(shàng),墨者安全防護盾采用(yòng)了(le)多(duō→→)層次的(de)防禦體(tǐ)系。不(bù)僅能(néng)夠在網絡層面阻擋ε∞外(wài)部的(de)惡意訪問(wèn)和(γ♥¶₩hé)攻擊,還(hái)能(néng)深入系統內(nèi)部,♠≠≥對(duì)服務器(qì)的(de)文(wén)件(jiàn)系統、進程等進行λ∏★λ(xíng)深度檢查和(hé)保護,确保 Webshell 無法植入和(h≠ λé)運行(xíng)。
同時(shí),墨者安全防護盾擁有(yǒu)快(kuài)速的(de)應•✘φ急響應能(néng)力。當 Webshell 攻擊事(shì)件(jiδ♠₽♦àn)發生(shēng)時(shí),專業(yè)的(de)安全團隊能(nén↓&✘g)夠迅速介入,進行(xíng)深入的(de)γ₽÷分(fēn)析和(hé)處理(lǐ),最大(dà)程 ¶度減少(shǎo)攻擊帶來(lái)的(de)損失,
X

7x24 小(xiǎo)時(shí)

免費(fèi)技(jì)術(shù)支持

15625276999


-->