丰满少妇,久久99精品人妻一区二区,亚洲综合视频在线,亚洲人成电影在线网址

云服務(wù)

熱門(mén)搜索: 防爆監(jiān)控 電動(dòng)機(jī) 防爆暖通 防爆風(fēng)機(jī)

首頁(yè) 行業(yè)資訊 政策解讀 電商會(huì)議 人物觀點(diǎn) 電商數(shù)據(jù) 電商干貨 電商報(bào) 博文資訊 客戶庫(kù) 企業(yè)庫(kù)
首頁(yè)>新聞詳情

基于用戶畫(huà)像大數(shù)據(jù)的電商防刷架構(gòu)的分析

2017年6月22日 來(lái)源:防爆云平臺(tái)--防爆產(chǎn)業(yè)鏈一站式O2O綜合服務(wù)平臺(tái)【官網(wǎng)】 瀏覽 2809 次 評(píng)論 0 次

  (中國(guó)電子商務(wù)研究中心訊)近1~2年電商行業(yè)飛速發(fā)展,各種創(chuàng)業(yè)公司猶如雨后春筍大量涌現(xiàn),商家通過(guò)各種活動(dòng)形式的補(bǔ)貼來(lái)獲取用戶、培養(yǎng)用戶的消費(fèi)習(xí)慣。但任何一件事情都具有兩面性,高額的補(bǔ)貼、優(yōu)惠同時(shí)了也催生了“羊毛黨”?!把蛎h”的行為距離欺詐只有一步之遙,他們的存在嚴(yán)重破環(huán)了活動(dòng)的目的,侵占了活動(dòng)的資源,使得正常的用戶享受不到活動(dòng)的直接好處。今天主要分享下騰訊自己是如何通過(guò)大數(shù)據(jù)、用戶畫(huà)像、建模來(lái)防止被刷、惡意撞庫(kù)的。黑產(chǎn)現(xiàn)狀介紹“羊毛黨”一般先利用自動(dòng)機(jī)注冊(cè)大量的目標(biāo)網(wǎng)站的賬號(hào),當(dāng)目標(biāo)網(wǎng)站搞促銷(xiāo)、優(yōu)惠等活動(dòng)的時(shí)候,利用這些賬號(hào)參與活動(dòng)刷取較多的優(yōu)惠,后通過(guò)淘寶等電商平臺(tái)轉(zhuǎn)賣(mài)獲益。近1~2年電商行業(yè)飛速發(fā)展,各種創(chuàng)業(yè)公司猶如雨后春筍大量涌現(xiàn),商家通過(guò)各種活動(dòng)形式的補(bǔ)貼來(lái)獲取用戶、培養(yǎng)用戶的消費(fèi)習(xí)慣。但任何一件事情都具有兩面性,高額的補(bǔ)貼、優(yōu)惠同時(shí)了也催生了“羊毛黨”?!把蛎h”的行為距離欺詐只有一步之遙,他們的存在嚴(yán)重破環(huán)了活動(dòng)的目的,侵占了活動(dòng)的資源,使得正常的用戶享受不到活動(dòng)的直接好處。今天主要分享下騰訊自己是如何通過(guò)大數(shù)據(jù)、用戶畫(huà)像、建模來(lái)防止被刷、惡意撞庫(kù)的。黑產(chǎn)現(xiàn)狀介紹“羊毛黨”一般先利用自動(dòng)機(jī)注冊(cè)大量的目標(biāo)網(wǎng)站的賬號(hào),當(dāng)目標(biāo)網(wǎng)站搞促銷(xiāo)、優(yōu)惠等活動(dòng)的時(shí)候,利用這些賬號(hào)參與活動(dòng)刷取較多的優(yōu)惠,后通過(guò)淘寶等電商平臺(tái)轉(zhuǎn)賣(mài)獲益。
  
  一.羊毛黨分工
  
  他們內(nèi)部有著明確的分工,形成了幾大團(tuán)伙,全國(guó)在20萬(wàn)人左右:
  
  軟件制作團(tuán)伙:專(zhuān)門(mén)制作各種自動(dòng)、半自動(dòng)的黑產(chǎn)工具,比如注冊(cè)自動(dòng)機(jī)、刷單自動(dòng)機(jī)等;他們主要靠出售各種黑產(chǎn)工具、提供升級(jí)服務(wù)等形式來(lái)獲利。短信代接平臺(tái):實(shí)現(xiàn)手機(jī)短信的自動(dòng)收發(fā),其實(shí)一些平臺(tái)亦正亦邪,不但提供給正常的商家使用,一些黑產(chǎn)也會(huì)購(gòu)買(mǎi)相關(guān)的服務(wù)。賬號(hào)出售團(tuán)伙:他們主要是大量注冊(cè)各種賬號(hào),通過(guò)轉(zhuǎn)賣(mài)賬號(hào)來(lái)獲利;該團(tuán)伙與刷單團(tuán)伙往往屬于同一團(tuán)伙。刷單團(tuán)伙:到各種電商平臺(tái)刷單,獲取優(yōu)惠,并且通過(guò)第三方的電商平臺(tái)出售優(yōu)惠,實(shí)現(xiàn)套現(xiàn)。
                                       
  二.“羊毛黨”從業(yè)特點(diǎn)這些黑產(chǎn)團(tuán)隊(duì),有三個(gè)特點(diǎn):
  
  專(zhuān)業(yè)化:專(zhuān)業(yè)團(tuán)隊(duì)、人員、機(jī)器來(lái)做。團(tuán)伙化:黑產(chǎn)已經(jīng)形成一定規(guī)模的團(tuán)伙,而且分工明確;從刷單軟件制作、短信代收發(fā)平臺(tái)、電商刷單到變賣(mài)套現(xiàn)等環(huán)節(jié),已經(jīng)形成完整的刷單團(tuán)伙。地域化:黑產(chǎn)刷單團(tuán)伙基本分布在沿海的一些經(jīng)濟(jì)發(fā)達(dá)城市,比如,北京、上海、廣東等城市,這或許跟發(fā)達(dá)城市更加容易接觸到新事物、新觀念有關(guān)。
                                        
  三.對(duì)抗刷單的思路
  
  對(duì)抗刷單,一般來(lái)講主要從三個(gè)環(huán)節(jié)入手:
  
  注冊(cè)環(huán)節(jié):識(shí)別虛假注冊(cè)、減少“羊毛黨”能夠使用的賬號(hào)量。在注冊(cè)環(huán)節(jié)識(shí)別虛假注冊(cè)的賬號(hào),并進(jìn)行攔截和打擊。登錄場(chǎng)景:提高虛假賬號(hào)登錄門(mén)檻,從而減少能夠到達(dá)活動(dòng)環(huán)節(jié)的虛假賬號(hào)量。比如,登錄環(huán)節(jié)通過(guò)驗(yàn)證碼、短信驗(yàn)證碼等手段來(lái)降低自動(dòng)機(jī)的登錄效率,從而達(dá)到減少虛假賬號(hào)登錄量、減輕活動(dòng)現(xiàn)場(chǎng)安全壓力的目的?;顒?dòng)環(huán)節(jié):這個(gè)是防刷單對(duì)抗的主戰(zhàn)場(chǎng),也是減少“羊毛黨”獲利的直接戰(zhàn)場(chǎng);這里的對(duì)抗措施,一般有兩個(gè)方面:1)通過(guò)驗(yàn)證碼(短信、語(yǔ)音)降低黑產(chǎn)刷單的效率。?2)大幅度降低異常賬號(hào)的優(yōu)惠力度。

                                               
  
  二.模塊詳細(xì)介紹
  
  1.風(fēng)險(xiǎn)學(xué)習(xí)引擎風(fēng)險(xiǎn)學(xué)習(xí)引擎:效率問(wèn)題。由于主要的工作都是線下進(jìn)行,所以線上系統(tǒng)不存在學(xué)習(xí)的效率問(wèn)題。線上采用的都是C++實(shí)現(xiàn)的DBScan等針對(duì)大數(shù)據(jù)的快速聚類(lèi)算法,基本不用考慮性能問(wèn)題。風(fēng)險(xiǎn)學(xué)習(xí)引擎:采用了黑/白雙分類(lèi)器風(fēng)險(xiǎn)判定機(jī)制。之所以采用黑/白雙分類(lèi)器的原因就在于減少對(duì)正常用戶的誤傷。例如,某個(gè)IP是惡意的IP,那么該IP上可能會(huì)有一些正常的用戶,比如大網(wǎng)關(guān)IP。再比如,黑產(chǎn)通過(guò)ADSL撥號(hào)上網(wǎng),那么就會(huì)造成惡意與正常用戶共用一個(gè)IP的情況。黑分類(lèi)器:根據(jù)特征、機(jī)器學(xué)習(xí)算法、規(guī)則/經(jīng)驗(yàn)?zāi)P?,?lái)判斷本次請(qǐng)求異常的概率。白分類(lèi)器:判斷屬于正常請(qǐng)求的概率。

                                    
  
  2.矩陣式邏輯框架我們以黑分類(lèi)器為例來(lái)剖析下分類(lèi)器的整個(gè)邏輯框架??偟膩?lái)講我們采用了矩陣式的邏輯框架,開(kāi)始的黑分類(lèi)器我們也是一把抓,隨意的建立一個(gè)個(gè)針對(duì)黑產(chǎn)的檢測(cè)規(guī)則、模型。結(jié)果發(fā)現(xiàn)不是這個(gè)邏輯漏過(guò)了,而是那個(gè)邏輯誤傷量大,要對(duì)那一類(lèi)的賬號(hào)加強(qiáng)安全打擊力度,改動(dòng)起來(lái)也非常麻煩。因此我們就設(shè)計(jì)了這個(gè)一個(gè)矩陣式的框架來(lái)解決上述問(wèn)題。矩陣的橫向采用了Adaboost方法,該方法是一種迭代算法,其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類(lèi)器,然后把這些分類(lèi)器集合起來(lái),構(gòu)成一個(gè)終的分類(lèi)器。而我們這里每一個(gè)弱分類(lèi)器都只能解決一種帳號(hào)類(lèi)型的安全風(fēng)險(xiǎn)判斷,集中起來(lái)才能解決所有賬戶的風(fēng)險(xiǎn)檢測(cè)。
  
  那么在工程實(shí)踐上帶來(lái)三個(gè)好處:
  
  便于實(shí)現(xiàn)輕重分離,比如某平臺(tái)虛假賬號(hào)集中在郵箱賬號(hào),策略就可以加大對(duì)郵箱賬號(hào)的打擊力度,影響范圍也局限在郵箱帳號(hào),而不是該平臺(tái)所有的賬號(hào)。減少模型訓(xùn)練的難度,模型訓(xùn)練的難度在于樣本的均衡性問(wèn)題,拆分成子問(wèn)題,就不需要考慮不同賬號(hào)類(lèi)型之間的數(shù)據(jù)配比、均衡性問(wèn)題,大大降低了模型訓(xùn)練時(shí)正負(fù)樣本比率的問(wèn)題。邏輯的健壯性,某一個(gè)分類(lèi)器的訓(xùn)練出現(xiàn)了問(wèn)題,受影響的范圍不至于擴(kuò)展到全局。
  
  矩陣縱向采用了Bagging方法,該方法是一種用來(lái)提高學(xué)習(xí)算法準(zhǔn)確度的方法,該方法在同一個(gè)訓(xùn)練集合上構(gòu)造預(yù)測(cè)函數(shù)系列,然后以一定的方法將他們組合成一個(gè)預(yù)測(cè)函數(shù),從而來(lái)提高預(yù)測(cè)結(jié)果的準(zhǔn)確性。上面講的部分東西,理解起來(lái)會(huì)比較艱澀,這里大家先理解框架,后續(xù)再理解實(shí)現(xiàn)細(xì)節(jié)。騰訊大數(shù)據(jù)收集緯度大數(shù)據(jù)一直在安全對(duì)抗領(lǐng)域發(fā)揮著重要的作用,從我們的對(duì)抗經(jīng)驗(yàn)來(lái)看,大數(shù)據(jù)不僅僅是數(shù)據(jù)規(guī)模很大,而且還包括兩個(gè)方面:
  
  數(shù)據(jù)廣度:要有豐富的數(shù)據(jù)類(lèi)型。比如,不僅僅要有社交領(lǐng)域的數(shù)據(jù)、還要有游戲、支付、自媒體等領(lǐng)域的數(shù)據(jù),這樣就提供了一個(gè)廣闊的視野讓我們來(lái)看待黑產(chǎn)的行為特點(diǎn)。數(shù)據(jù)深度:黑產(chǎn)的對(duì)抗。我們一直強(qiáng)調(diào)縱深防御,我們不僅僅要有注冊(cè)數(shù)據(jù),還要有登錄,以及賬號(hào)的使用的數(shù)據(jù),這樣我們才能更好的識(shí)別惡意。
  
  所以想要做風(fēng)控和大數(shù)據(jù)的團(tuán)隊(duì),一定要注意在自己的產(chǎn)品上多埋點(diǎn),拿到足夠多的數(shù)據(jù),先沉淀下來(lái)。騰訊大數(shù)據(jù)處理平臺(tái)-魔方我們的團(tuán)隊(duì)研發(fā)了一個(gè)叫魔方的大數(shù)據(jù)處理和分析的平臺(tái),底層我們集成了MySQL、MongoDB,Spark、hadoop等技術(shù),在用戶層面我們只需要寫(xiě)一些簡(jiǎn)單的SQL語(yǔ)句、完成一些配置就可以實(shí)現(xiàn)例行分析。這里我們收集了社交、電商、支付、游戲等場(chǎng)景的數(shù)據(jù),針對(duì)這些數(shù)據(jù)我們建立一些模型,發(fā)現(xiàn)哪些是惡意的數(shù)據(jù),并且將數(shù)據(jù)沉淀下來(lái)。沉淀下來(lái)的對(duì)安全有意義的數(shù)據(jù),一方面就存儲(chǔ)在魔方平臺(tái)上,供線下審計(jì)做模型使用;另一方面會(huì)做成實(shí)時(shí)的服務(wù),提供給線上的系統(tǒng)查詢使用。
  
  一.騰訊用戶畫(huà)像沉淀方法
  
  畫(huà)像,本質(zhì)上就是給賬號(hào)、設(shè)備等打標(biāo)簽。用戶畫(huà)像=打標(biāo)簽我們這里主要從安全的角度出發(fā)來(lái)打標(biāo)簽,比如IP畫(huà)像,我們會(huì)標(biāo)注IP是不是代理IP,這些對(duì)我們做策略是有幫助的。以QQ的畫(huà)像為例,比如,一個(gè)QQ只登錄IM、不登錄其他騰訊的業(yè)務(wù)、不聊天、頻繁的加好友、被好友刪除、QQ空間要么沒(méi)開(kāi)通、要么開(kāi)通了QQ空間但是評(píng)論多但回復(fù)少,這種號(hào)碼我們一般會(huì)標(biāo)注QQ養(yǎng)號(hào)(色情、營(yíng)銷(xiāo)),類(lèi)似的我們也會(huì)給QQ打上其他標(biāo)簽。標(biāo)簽的類(lèi)別和明細(xì),需要做風(fēng)控的人自己去設(shè)定,比如:地理位置,按省份標(biāo)記。性別,安男女標(biāo)記。其他細(xì)致規(guī)則以此規(guī)律自己去設(shè)定。我們看看騰訊的IP畫(huà)像,沉淀的邏輯如下圖:

                                    
  
  一般的業(yè)務(wù)都有針對(duì)IP的頻率、次數(shù)限制的策略,那么黑產(chǎn)為了對(duì)抗,必然會(huì)大量采用代理IP來(lái)繞過(guò)限制。既然代理IP的識(shí)別如此重要,那我們就以代理IP為例來(lái)談下騰訊識(shí)別代理IP的過(guò)程。識(shí)別一個(gè)IP是不是代理IP,技術(shù)不外乎就是如下四種:
  
  反向探測(cè)技術(shù):掃描IP是不是開(kāi)通了80,8080等代理服務(wù)器經(jīng)常開(kāi)通的端口,顯然一個(gè)普通的用戶IP不太可能開(kāi)通如上的端口。HTTP頭部的X_Forwarded_For:開(kāi)通了HTTP代理的IP可以通過(guò)此法來(lái)識(shí)別是不是代理IP;如果帶有XFF信息,該IP是代理IP無(wú)疑。Keep-alive報(bào)文:如果帶有Proxy-Connection的Keep-alive報(bào)文,該IP毫無(wú)疑問(wèn)是代理IP。查看IP上端口:如果一個(gè)IP有的端口大于10000,那么該IP大多也存在問(wèn)題,普通的家庭IP開(kāi)這么大的端口幾乎是不可能的。
  
  以上代理IP檢測(cè)的方法幾乎都是公開(kāi)的,但是盲目去掃描全網(wǎng)的IP,被攔截不說(shuō),效率也是一個(gè)很大的問(wèn)題。因此,我們的除了利用網(wǎng)絡(luò)爬蟲(chóng)爬取代理IP外,還利用如下辦法來(lái)加快代理IP的收集:通過(guò)業(yè)務(wù)建模,收集惡意IP(黑產(chǎn)使用代理IP的可能性比較大)然后再通過(guò)協(xié)議掃描的方式來(lái)判斷這些IP是不是代理IP。每天騰訊都能發(fā)現(xiàn)千萬(wàn)級(jí)別的惡意IP,其中大部分還是代理IP。
  
  二.騰訊用戶畫(huà)像類(lèi)別概覽
                              
  三.防御邏輯
                              
  實(shí)時(shí)系統(tǒng)使用C/C++開(kāi)發(fā)實(shí)現(xiàn),所有的數(shù)據(jù)通過(guò)共享內(nèi)存的方式進(jìn)行存儲(chǔ),相比其他的系統(tǒng),安全系統(tǒng)更有他自己特殊的情況,因此這里我們可以使用“有損”的思路來(lái)實(shí)現(xiàn),大大降低了開(kāi)發(fā)成本和難度。數(shù)據(jù)一致性,多臺(tái)機(jī)器,使用共享內(nèi)存,如何保障數(shù)據(jù)一致性?其實(shí),安全策略不需要做到強(qiáng)數(shù)據(jù)一致性。從安全本身的角度看,風(fēng)險(xiǎn)本身就是一個(gè)概率值,不確定,所以有一點(diǎn)數(shù)據(jù)不一致,不影響全局。但是安全系統(tǒng)也有自己的特點(diǎn),安全系統(tǒng)一般突發(fā)流量比較大,我們這里就需要設(shè)置各種應(yīng)急開(kāi)關(guān),而且需要微信號(hào)、短信等方式方便快速切換,避免將影響擴(kuò)散到后端系統(tǒng)。
  
  四.接入系統(tǒng)

                                    

                                   
  
  適應(yīng)的場(chǎng)景包括:
  
  電商o2o刷單、刷券、刷紅包,防止虛假賬號(hào)注冊(cè),防止用戶名、密碼被撞庫(kù),’防止惡意登錄(來(lái)源:騰訊云 文/顏國(guó)平)

我來(lái)說(shuō)兩句
人參與 丨 評(píng)論0條)
圖標(biāo)
注冊(cè) 登錄    
評(píng)論列表
每頁(yè) 10 條,共 0 條

品牌商品