【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

編輯導讀:有時我們看到身邊的朋友買了一件自己很喜歡的商品,自己也想入手,除了讓他們發商品連結,還有一個方法就是進行影象搜尋。本文作者以拍立淘為例,對大規模影象搜尋和識別技術以及在影象搜尋中的應用進行了分析,希望對你有幫助。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

2019杭州雲棲大會大師零距離大咖有約,由達摩院高階演算法專家淵捷帶來以“看圖時代:影象搜尋與識別技術的迭代”為題的演講。本文以拍立淘為例對大規模影象搜尋和識別技術以及在影象搜尋中的應用進行了詳細的描述,另外,還對影象的實拍圖匹配和海量資料這兩大挑戰的解決方案進行了闡述。

以下為精彩影片內容整理:

一、阿里巴巴數字生態系統

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

在阿里巴巴的整個生態系統中,包括電商、數字娛樂、物流、本地服務中,無時無刻都在產生著大量的資料。藉助阿里雲這個大規模平臺,以及這個平臺上先進的AI相關技術,可以對這些大資料進行一個實時的處理,從而可以不斷的提升商品的價值和使用者的使用形態,以及能夠不斷的創造使用者的價值。

接下來以電商領域中的拍立淘AI產品為例,對看圖時代的影象搜尋與識別技術的迭代進行分享和介紹。

二、拍立淘

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

1. 為什麼需要影象搜尋

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

為什麼需要影象搜尋呢?由於傳統的搜尋都是基於文字進行搜尋的,而在電商領域有許多非標準的商品,例如衣服、鞋子、包、掛飾很難透過文字精準的描述出來是什麼。比如想要搜尋圖中的包,用文字搜尋就是輸入“紅色的真皮手提包”,可以看到搜出來的東西和自己想要的並不一樣,總會有很多的差別。但是用以圖搜圖的形式進行搜尋的話,就可以精準的描述商品,同樣可以精準的搜尋出自己想要的商品。

2. 應用場景

以下是以圖搜圖的幾種比較典型的場景:

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

場景一:第一個場景是街拍場景,比如說在街上看到別人穿的衣服,想要買同款,就可以拍下來進行搜尋購物了。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

場景二:第二個場景是網路爆款場景,比如說看到微信朋友圈、微博有很多人分享這個商品,如果想要買同樣的商品,就可以透過拍立淘進行搜尋和比價。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

場景三:第三個場景是海淘場景,當我們在海外時,可能碰到好多不認識的牌子,這樣就可以透過拍立淘進行拍照搜尋獲取資訊。

3. 拍立淘發展歷程

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

拍立淘是從2014年開始上線的,到現在已經有五年的歷程了。最開始拍立淘要解決的是識別影象難的問題。隨著使用者的需求和時間的推進,拍立淘團隊為了能夠不斷的迭代線上的效果,開始不斷的擴大資料規模,以及擴大引擎容量。同時,團隊也不斷地對使用者反饋資料和可點選資料進行挖掘,用以提高整個系統的響應速度。

接下來講一下為什麼需要對影象進行識別,對於搜尋而言,其實是不能理解使用者傳的影象是什麼,只能找出相近的影象。但是如果有了識別能力,那麼就可以告訴計算機是什麼,進而搜尋到對應的商品。

4. 拍立淘支援的類目

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

這是拍立淘的類目,類目包括服飾類、包類、鞋類、裝飾類等等,在淘寶上成交比較多的類目就是服飾類。

5. 拍立淘效果展示

為了比較清晰的展示演算法能力,接下來對拍立淘效果展示示例進行詳細介紹。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

示例一:示例一是一個連衣裙例項,拍立淘能夠對不是正面拍出的連衣裙影象進行識別,進而得出連衣裙影象的類目。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

示例二:示例二是一個包的例項,很明顯這個包的影象是倒著拍的,傳統的演算法很難識別出是包,但是基於深度學習的演算法就能夠解決這個難題。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

示例三:示例三是一個不均勻光照的鞋子影象,透過演算法也可以找到同款。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

示例四:在示例四這種情況下,我們並不難找出同款,我們這個有很強的語義資訊和表達能力,能夠容易的找到相似的款式。

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

示例五:示例五是一個海淘的示例,演算法能夠比較準確的對帶有標籤的保健品、藥品等商品進行識別。

6. 以圖搜圖流程

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

接下來講一下拍立淘以圖搜圖的流程,其實對一個搜尋而言,都會有一個線上和離線的搜尋過程。離線就是把候選的影象建立一個數據庫,然後進行一個入庫和刪除的操作,當一個離線的影象要進庫時,首先要做一個離線的檢測,因為有可能影象中既有衣服又有眼鏡,如果檢測到是衣服,那麼接著就需要對衣服進行一個特徵提取,特徵提取會將影象資料轉換成一系列的數字,接著將兩個影象之間進行一個計算,差值越小,代表兩張圖越相似。

挑戰一:實拍圖匹配

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

怎麼進行實拍圖匹配呢?商品的影象搜尋會有兩種圖片,其中離線的是比較高質量的影象,因為離線的影象都是模特在攝影棚裡用高階的相機拍的,可以看到商家的影象都是高質量精美的圖片。但是使用者所拍的上傳的影象會出現很多低質量的圖片,所以說識別影象匹配是一個需要解決的關鍵性問題。

Deep ranking:

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

為了解決影象匹配的問題,採用了深度學習中的Deep ranking方法。若想要將一個識別搜尋或者其它AI系統做到極致,首先需要大量的資料,而這些資料可以透過使用者的互動行為來獲得。

例如使用者上傳了一個影象,經過系統檢測後系統會反饋給使用者一些影象,使用者點選的影象會比沒點選的影象相似度要高,我們就可以拿這個資料作為特徵訓練的監督的資訊。接著把使用者上傳的影象和使用者點選的一個影象還有使用者沒有點選的一個影象一起傳送到共享CNN網路中,然後經過多層的特徵提取,就可以得到資料特徵的資料,這就是所謂的訓練的基本框架。但這個框架有一個致命的問題,因為我們一個樣本涉及到三幅圖,導致計算量是很大的,針對於此,研發了一種大規模資料分散式訓練。

大資料分散式訓練:

在大規模分散式訓練中,資料的執行模式中需要N個機器,每個機器中都含有資料,每個機器中獨立的資料經過CNN網路的特徵提取後,會把所有的特徵彙集到一臺總機器上,這樣做的好處就是能夠更多的構造副樣本,並且它們之間可以共享,這樣就可以更高效的運用資料,進而提高運算速度。

虛擬ID:

訓練過程中看不到全部影象,只能看到區域性影象的問題,因此導致訓練效率比較低的問題。針對這個問題提出了虛擬ID訓練,虛擬ID訓練會給影象標註一個虛擬label,然後以label作為分類監督的資訊,接著把CNN網路中的響應拿出來進行比較。使用者在點選商品的兩個圖時,我們會認為這兩個影象在某種程度上是有一定的相似度。因此,讓手機使用者點選所有的影象時形成一個編碼,然後把影象的label做一個聚類。這個訓練不僅速度比上文中的大資料分散式訓練速度提升十倍以上,而且訓練效果能達到90%以上。

挑戰二:海量資料

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

影象搜尋與識別技術的第二個挑戰就是海量資料的挑戰,拍立淘有高達30億的圖片,對圖片逐一對比是做不到的,因此需要對這些向量引擎進行聚類操作,聚類操作會產生聚類標碼,若標碼一致就搜尋,標碼不一致不搜尋。

影象搜尋雲產品:

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

除了拍立淘是手機淘寶的應用,同樣在去年2月份還發布了影象搜尋的雲產品。同時,在海外還有了第一個客戶THE ICONIC,它是一個賣包、鞋子的網站。

紡織影象搜尋:

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

除了商品搜尋,也把影象搜尋擴充套件到了其它領域,例如紡織影象搜尋。

萬物識別:

【大咖說】大規模影象搜尋與識別技術的迭代,如何用好影象搜尋應用

影象搜尋並不能讓計算機知道是什麼,要想讓計算機知道是什麼,就還需要對影象進行識別,這就需要演算法做支撐,在拍立淘上已經能夠對車、寵物等進行搜尋與識別,也就意味著萬物識別已經在路上。

本文由@汪仔5795 原創釋出於人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基於CC0協議

頂部