為演算法把好最後一關,談談資料稽核那些事兒

2020年全球需要被標註的資料量達433EB(前瞻經濟學人)

隨著人工智慧的發展,人工智慧多模態、非結構化資料量愈發龐大,資料種類逐步複雜化,多模資料組合標註等需求進一步顯現出來

作為人工智慧的基礎層,機器學習演算法的訓練效果很大程度需要依賴高質量的資料集,如果訓練中所使用的標註資料集存在大量噪聲,將會導致機器學習訓練不充分,無法獲得規律,這樣在訓練效果驗證時會出現目標偏離,無法識別的情況。因此我們把資料稽核稱之為把好演算法最後一關不可或缺的存在。

機器學習必需資料稽核

當前的人工智慧也被稱作資料智慧,在這個發展階段,神經網路的層數越多,神經網路越深,需要用於訓練的資料量越大。“比如目前人臉識別做得好的是中青年人臉識別系統,因為年輕人坐車住酒店,採集的資料量大,小孩和老年人資料相對較少。”

但同時,對於質量不高的資料,在進行機器學習前需要經過加工處理,讓資料集的整體質量得到提升,以此提高演算法的訓練效果。因此稽核是一個必須的工作,機器學習的訓練效果與資料集質量的關係如圖所示

為演算法把好最後一關,談談資料稽核那些事兒

當資料集的整體的整體標註質量只有80%的時候,機器學習的訓練效果可能只有30%~40%。隨著資料標註質量逐步提高,機器學習的效果也會突飛猛進。這也是為什麼在資料交付前科研公司需要對資料進行層層的稽核質檢。

資料稽核的服務型別

語音資料

中文、方言、外語以及特定指令及場景語音的稽核

影象資料

人像、場景、OCR等(人臉關鍵點、室內外監控、駕駛行為、道路場景、指定物、問答類、試卷類等)

文字資料

韻律、分詞、詞性、實體、多次互動、多音字、數字讀法、字元讀法、TTS-中英文拼音等

資料質量的稽核方式

全樣資料稽核

為演算法把好最後一關,談談資料稽核那些事兒

全樣資料稽核即全檢,要求稽核師做到對資料集無遺漏的稽核,且對標註的資料進行準確率的評估,這樣在後期的稽核中稽核員會有針對性的選擇稽核方式。

抽樣資料稽核

為演算法把好最後一關,談談資料稽核那些事兒

不同於全檢,多樣抽檢則是在抽檢的基礎上,根據首次抽檢的準確率,決定第二次抽檢的數量及方式,這樣既能夠合理的調配稽核員的工作重心,又能夠提高標註資料質量稽核的準確性,但在實際的稽核過程中,減半抽樣檢查獨立實施,會出現疏漏。

實時資料稽核

為演算法把好最後一關,談談資料稽核那些事兒

實時資料稽核對於人員配置與管理要求整體較高,要求能夠及時發現並解決問題,有效的減少標註過程中重複出現的錯誤,並且保證整體標註任務的流暢性,從而更好地掌握任務進度。

以上,就是本次的分享內容啦~~希望可以幫助到大家更清晰的瞭解到資料稽核這個創業專案,關於專案您如果還有什麼疑問,可以私信小編,幫您對接我司專業的招商經理,進行一對一的解答服務~~

頂部