九道門丨資料探勘中的重要一步:資料預處理

資料預處理是將原始資料轉換為可理解的格式的過程。這也是資料探勘的重要一步,因為我們無法直接使用原始資料,所以在應用機器學習或資料探勘演算法之前,應檢查資料的質量。

九道門丨資料探勘中的重要一步:資料預處理

為什麼資料預處理很重要?

資料預處理主要是檢查資料質量。質量可以透過以下方式檢查:

準確性

:檢查輸入的資料是否正確。

完整性

:檢查資料是否可用或未記錄。

一致性:

檢查所有匹配或不匹配的地方是否保留了相同的資料。

及時性

:資料應正確更新。

可信度

:資料應該是可信的。

可解釋性

:資料的可理解性。

資料預處理的主要任務:

資料清洗

資料整合

資料縮減

資料轉換

九道門丨資料探勘中的重要一步:資料預處理

資料清洗:

資料清洗是從資料集中去除不正確的資料、不完整的資料和不準確的資料,並替換缺失值的過程。資料清洗有一些技巧:

處理缺失值:

“Not Available”或“NA”等標準值可用於替換缺失值。

也可以手動填充缺失值,但當資料集很大時不建議這樣做。

當資料呈正態分佈時,可以使用屬性的平均值來替換缺失值。在非正態分佈的情況下,可以使用屬性的中值。

在使用迴歸或決策樹演算法時,缺失值可以替換為最可能的

值。

嘈雜:

嘈雜通常意味著隨機錯誤或包含不必要的資料點。以下是一些處理噪聲資料的方法。

Binning

:此方法用於平滑或處理噪聲資料。首先對資料進行排序,然後將排序後的值分離並以 bin 的形式儲存。有三種方法可以平滑 bin 中的資料。

bin 均值法平滑

:在這種方法中,bin 中的值被 bin 的平均值替換;

bin 中值平滑

:在這種方法中,bin 中的值被中值替換;

bin 邊界平滑

:在此方法中,使用 bin 值的最小值和最大值,並將這些值替換為最近的邊界值。

迴歸

:這用於平滑資料,並有助於處理不必要的資料。對於分析,目的迴歸有助於確定適合我們分析的變數。

聚類

:這是用於查詢異常值以及對資料進行分組。聚類通常用於無監督學習。

資料整合:

將多個來源組合成單個數據集的過程。資料整合過程是資料管理的主要組成部分之一。在資料整合過程中需要考慮一些問題。

模式整合

:整合來自不同來源的元資料。

實體識別問題:

從多個數據庫中識別實體。例如,系統或使用者應該知道一個數據庫的 student_id 和另一個數據庫的 student_name 屬於同一個實體。

檢測和解析資料值概念

:合併時從不同資料庫中獲取的資料可能會有所不同。就像一個數據庫中的屬性值可能與另一個數據庫不同。例如,日期格式可能不同,如“MM/DD/YYYY”或“DD/MM/YYYY”。

資料縮減:

這個過程有助於減少資料量,使得分析更容易。這種減少還有助於減少儲存空間。資料縮減的技術有:降維,數量縮減,資料壓縮。

降維:

這個過程對於現實世界的應用程式是必要的,因為資料量很大。在這個過程中,對隨機變數或屬性進行降維,從而對資料集進行降維。在不失去其原有特徵的情況下組合和合並資料的屬性,這也有助於減少儲存空間並減少計算時間。當資料是高維的時,就會出現稱為“維數詛咒”的問題。

數量縮減:

在這種方法中,透過減小體積使資料的表示變得更小。在這種縮減中不會有任何資料丟失。

資料壓縮:

這種壓縮可以是無損的,也可以是有損的。當壓縮過程中沒有資訊丟失時,稱為無失真壓縮。而有失真壓縮減少了資訊,但它只刪除了不必要的資訊。

資料轉換

對資料格式或結構所做的更改稱為資料轉換。此步驟可以根據要求簡單或複雜。資料轉換有幾種方法:

平滑

:藉助演算法,我們可以從資料集中去除噪聲,並幫助我們瞭解資料集的重要特徵。透過平滑,我們甚至可以找到有助於預測的簡單變化。

聚合

:在這種方法中,資料以摘要的形式儲存和呈現。將來自多個數據源的資料集整合到資料分析描述中。這是重要的一步,因為資料的準確性取決於資料的數量和質量。當資料的質量和數量都很好時,結果就更相關。

離散化

:連續的資料在這裡被分割成區間。離散化減少了資料大小。例如,我們可以設定一個間隔(下午 3 點到 5 點,6 點到 8 點),而不是指定上課時間。

歸一化:

它是一種縮放資料的方法,以便它可以在更小的範圍內表示。示例範圍從 -1。0 到 1。0。

機器學習中的資料預處理步驟-

九道門丨資料探勘中的重要一步:資料預處理

九道門丨資料探勘中的重要一步:資料預處理

虛擬編碼 

在特定分類資料不存在或存在的情況下,這些虛擬變數將分類資料替換為 0 和 1。

九道門丨資料探勘中的重要一步:資料預處理

頂部