資料預處理是將原始資料轉換為可理解的格式的過程。這也是資料探勘的重要一步,因為我們無法直接使用原始資料,所以在應用機器學習或資料探勘演算法之前,應檢查資料的質量。
為什麼資料預處理很重要?
資料預處理主要是檢查資料質量。質量可以透過以下方式檢查:
準確性
:檢查輸入的資料是否正確。
完整性
:檢查資料是否可用或未記錄。
一致性:
檢查所有匹配或不匹配的地方是否保留了相同的資料。
及時性
:資料應正確更新。
可信度
:資料應該是可信的。
可解釋性
:資料的可理解性。
資料預處理的主要任務:
資料清洗
資料整合
資料縮減
資料轉換
資料清洗:
資料清洗是從資料集中去除不正確的資料、不完整的資料和不準確的資料,並替換缺失值的過程。資料清洗有一些技巧:
處理缺失值:
“Not Available”或“NA”等標準值可用於替換缺失值。
也可以手動填充缺失值,但當資料集很大時不建議這樣做。
當資料呈正態分佈時,可以使用屬性的平均值來替換缺失值。在非正態分佈的情況下,可以使用屬性的中值。
在使用迴歸或決策樹演算法時,缺失值可以替換為最可能的
值。
嘈雜:
嘈雜通常意味著隨機錯誤或包含不必要的資料點。以下是一些處理噪聲資料的方法。
Binning
:此方法用於平滑或處理噪聲資料。首先對資料進行排序,然後將排序後的值分離並以 bin 的形式儲存。有三種方法可以平滑 bin 中的資料。
bin 均值法平滑
:在這種方法中,bin 中的值被 bin 的平均值替換;
bin 中值平滑
:在這種方法中,bin 中的值被中值替換;
bin 邊界平滑
:在此方法中,使用 bin 值的最小值和最大值,並將這些值替換為最近的邊界值。
迴歸
:這用於平滑資料,並有助於處理不必要的資料。對於分析,目的迴歸有助於確定適合我們分析的變數。
聚類
:這是用於查詢異常值以及對資料進行分組。聚類通常用於無監督學習。
資料整合:
將多個來源組合成單個數據集的過程。資料整合過程是資料管理的主要組成部分之一。在資料整合過程中需要考慮一些問題。
模式整合
:整合來自不同來源的元資料。
實體識別問題:
從多個數據庫中識別實體。例如,系統或使用者應該知道一個數據庫的 student_id 和另一個數據庫的 student_name 屬於同一個實體。
檢測和解析資料值概念
:合併時從不同資料庫中獲取的資料可能會有所不同。就像一個數據庫中的屬性值可能與另一個數據庫不同。例如,日期格式可能不同,如“MM/DD/YYYY”或“DD/MM/YYYY”。
資料縮減:
這個過程有助於減少資料量,使得分析更容易。這種減少還有助於減少儲存空間。資料縮減的技術有:降維,數量縮減,資料壓縮。
降維:
這個過程對於現實世界的應用程式是必要的,因為資料量很大。在這個過程中,對隨機變數或屬性進行降維,從而對資料集進行降維。在不失去其原有特徵的情況下組合和合並資料的屬性,這也有助於減少儲存空間並減少計算時間。當資料是高維的時,就會出現稱為“維數詛咒”的問題。
數量縮減:
在這種方法中,透過減小體積使資料的表示變得更小。在這種縮減中不會有任何資料丟失。
資料壓縮:
這種壓縮可以是無損的,也可以是有損的。當壓縮過程中沒有資訊丟失時,稱為無失真壓縮。而有失真壓縮減少了資訊,但它只刪除了不必要的資訊。
資料轉換
:
對資料格式或結構所做的更改稱為資料轉換。此步驟可以根據要求簡單或複雜。資料轉換有幾種方法:
平滑
:藉助演算法,我們可以從資料集中去除噪聲,並幫助我們瞭解資料集的重要特徵。透過平滑,我們甚至可以找到有助於預測的簡單變化。
聚合
:在這種方法中,資料以摘要的形式儲存和呈現。將來自多個數據源的資料集整合到資料分析描述中。這是重要的一步,因為資料的準確性取決於資料的數量和質量。當資料的質量和數量都很好時,結果就更相關。
離散化
:連續的資料在這裡被分割成區間。離散化減少了資料大小。例如,我們可以設定一個間隔(下午 3 點到 5 點,6 點到 8 點),而不是指定上課時間。
歸一化:
它是一種縮放資料的方法,以便它可以在更小的範圍內表示。示例範圍從 -1。0 到 1。0。
機器學習中的資料預處理步驟-
虛擬編碼
在特定分類資料不存在或存在的情況下,這些虛擬變數將分類資料替換為 0 和 1。