風控建模的常見誤區與一般建議

有些時候,風控建模的模型並不是越複雜越好,模型的稽核也是很有必要的。除此之外,風控建模還有哪些誤區呢?本文作者分享了風控建模的一些常見誤區和建議,一起來看一下吧。

風控建模的常見誤區與一般建議

一、建模的標籤不是固定的

一般情況下,風控資料比賽的資料都有既定的好壞使用者樣本標籤,在此基礎上可以直接著手特徵工程與模型訓練。而實務中,樣本標籤是要權衡資料與業務兩個因素才能最終確定:

從資料角度來看,壞樣本個數要大於1000個以上(一般經驗)才能保證建模的學習效能;

從業務角度來看,壞樣本儘可 能地取自真實的壞樣本,儘可能少地誤殺好使用者。

資料與業務兩者是相互拉扯的,想要獲得更多的壞樣本,就需要表現期足夠短,但好使用者被誤殺的可能也更大;要想少的好使用者被誤殺,就要求表現期足夠長,這樣最終能確定的壞樣本更少更精確。因此在確定標籤時要多用資料嘗試,找到這兩個因素的平衡點。

二、模型並不是越複雜越好

有些剛入門的朋友會覺得深度模型與整合模型效果一定比簡單的線性模型效果好。甚至在一些簡單專案上也要優先嚐試複雜模型,但效果也許並不理想。就好比殺雞焉用牛刀。炫技不是目的,解決問題才是。

其實,在一些簡單的專案中,邏輯迴歸就能很好的滿足效能要求,且健壯性極好;在簡單問題上使用複雜模型很容易造成overfitting,進而降低模型的泛化能力。

三、模型的稽核很有必要

許多機構在模型開發上往往是一人獨立承擔一個(甚至多個)模型專案的開發工作,從資料準備、特徵工程、再到建模與調優。雖然極大降低了人力成本,但也帶來問題,除了交付時間難以保證,更重要的是很容易發生模型集中度風險。

在模型團隊內部或外部設立稽核小組,從資料、程式碼、業務應用場景、建模流程等多方面對模型組開發的模型進行全方位診斷,以此降低模型集中度風險的發生。這種組織結構早已在國外多家資料驅動型金融機構踐行。

四、慎用AutoML

AutoML顧名思義就是自動化的機器學習,一直都是業內熱門,最大特點是可以替代大部分AI訓練師繁瑣重複的工作。大家都知道,模型的開發需要大量的人工干預,主要表現在特徵構建、特徵演變、特徵提取、模型選擇與引數調節等方面。AutoML檢視將這些與特徵、模型、最佳化、評價有關的重要步驟進行自動化地學習,使得機器學習模型無需人工干預即可被應用,以此大大降低模型開發的時間成本,應用AutoML可以將全流程人工條件下為期2-4周的開發作業壓縮到最短半天。

一個完整的AutoML過程可以分成這麼兩類:一類是將以上的三個步驟整合成一個完整的pipeline;另一類則是network architecture search,能夠自動地學習到最優的網路結構。在學習的過程中,對特徵工程、模型選擇、演算法選擇都進行了一些最佳化。

雖然AutoML有著大大降低模型開發時間成本、提升模型精度等多種優勢,但在特徵構建與演變中,很容易脫離實際業務指導模型的意義,無法從特徵上體現出與風險目標明顯的業務相關性。尤其是模型後段應用類似邏輯迴歸等線性演算法時,對於模型穩定性、效力下降時,模型問題溯源成為難點。

因此,對於AutoML的使用,更建議應用在反欺詐、精準營銷等不需要明示業務與模型的關聯場景上,對於風控場景,可以在子模型的開發上多加應用,或者AutoML+人工干預。完全實現風險模型開發與上線自動化,還為時尚早。

五、特徵選擇:僅僅區分度高還不夠

在做特徵構造和篩選的時候,往往大家都會把區分度好的特徵都堆進模型,這樣在測試集上的模型效能會非常的好看,但在挑選特徵的時候,除了區分度之外,還有其他的因素也是不能忽略的:

1. 覆蓋度

如果特徵的覆蓋度不夠高,就不能在眾多樣本上發揮作用,更不能提升模型的線上的整體效能。一般覆蓋度達到20%以上時,可以考慮使用。覆蓋度較低的特徵需要分析其業務屬性,如果該特徵的缺失值比較具有區分能力,比如涉訴資訊,可以考慮將該特徵作為黑/白名單使用,而沒有業務含義的極少客戶才有的特徵資料,區分度不大,就沒有必要用。

2. 穩定性

在信貸業務中,特徵具有時間屬性,特徵是否穩定,對於模型效果來說影響重大。同一個特徵在不同時間段內的分佈很可能不一致,我們需要篩選出相對穩定的特徵,這樣建出來的模型才會在時間上具有平穩性。在特徵分佈隨時間的推移下相對穩定的前提下,基於歷史學習到的統計資訊才能在未來較長時間內保持區分度。

3. 可解釋性

風控的物件是人,我們要透過資料去理解人的行為,所以我們構建的特徵是需要人能夠理解其風險情況的,我們經常透過資料構建並驗證假設來建立模型。進而可以得到一系列規則並應用於業務中去(自頂向下的方法),其中可解釋性是整套方法的解釋,它銜接了規則和所產生的行為策略。

很多時候因果關係不那麼明確,一個堅實的模型就需要為決策提供可靠的解釋,幫助人們清晰的理解。如果一個特徵的效果很好,但它在風險上的表現和我們常識無法理解甚至完全違背,這樣的特徵是很難去說服業務方採納的。

六、不是所有好的特徵都要入模

這裡主要強調的是特徵與業務開展情況的關係。比如地理位置的資訊的區分度非常好,但業務卻是按地區逐步推廣開展的,不同地區的運營方式和產品有差異,那地理資訊調整的靈活度很大,那麼此時考慮放在策略中往往更合適;隨著業務的演進,如果已經覆蓋了許多地區,各個地區的統計資訊具有穩定的分佈表現,此時模型中使用地理位置資訊就變的很有用了。

作者:王小賓;微信公眾號:一起侃產品

本文由@並不跳步交叉步 原創釋出於人人都是產品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基於 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供資訊儲存空間服務。

頂部