為了探究妹紙們的偏好，我爬了網易嚴選妹子內衣信息總共是七千多條數據，下面一起來看看網易嚴選商品評論的獲取和分析。

[[283250]]
圖片來自 Pexels

聲明：這是一篇超級嚴肅的技術文，超!級!嚴!肅!請本著學習交流的態(tài)度閱讀，謝謝!

分析網頁

①評論分析

進入到網易嚴選官網，搜索“文胸”后，先隨便點進一個商品。

在商品頁面，打開 Chrome 的控制臺，切換至 Network 頁，再把商品頁面切換到評價標簽下，選擇一個評論文字，如“薄款、穿著舒適、滿意”，在 Network 中搜索。

可以發(fā)現，評論文字是通過 listByItemByTag.json 傳遞過來的，點擊進入該請求，并拷貝出該請求的 URL：

https://you.163.com/xhr/comment/listByItemByTag.json?csrf_token=060f4782bf9fda38128cfaeafb661f8c&__timestamp=1571106038283&itemId=1616018&tag=%E5%85%A8%E9%83%A8&size=20&page=1&orderBy=0&oldItemTag=%E5%85%A8%E9%83%A8&oldItemOrderBy=0&tagChanged=0 

將該 URL 放入 Postman 中，逐個嘗試 url query params，最后能夠發(fā)現，只需保留 itemId 和 page 兩個請求參數即可。 

請求返回的是一個 JSON 格式的數據，下面就是分析該 JSON 數據了。

不難發(fā)現，所有的評論數據都存儲在 commentList 中，我們只需保存該數據即可。

下面就是如何獲取 itemId 的信息了，這個是產品的 ID，我們回到網易嚴選首頁，繼續(xù)分析。

②產品 ID 獲取

當我們在搜索框中輸入關鍵字進行搜索的時候，同樣能夠發(fā)現在 Network 中有很多請求。

此時可以觀察各個請求，通過請求文件的名稱(此處需要一些經驗，守規(guī)矩的程序員都不會亂起名字)，我們可以定位到搜索時展示搜索結果的請求。

搜索一般都是 search，所以我們就鎖定了這個 search.json 的請求。同樣把請求 URL 拷貝到 Postman 中，逐個驗證傳參，最后保留 page 和 keyword 兩個參數即可。

該請求返回的數據較多，還是需要耐心的分析數據，也能夠發(fā)現，在 result->data->directly->searcherResult->result 下面的 id 值，即為我們要獲取的產品 ID。

以上，我們基本完成了前期的分析工作，下面開始代碼的編寫。

編寫代碼

①獲取產品 ID

代碼如下：

def search_keyword(keyword): 
    uri = 'https://you.163.com/xhr/search/search.json' 
    query = { 
        "keyword": keyword, 
        "page": 1 
    } 
    try: 
        res = requests.get(uri, params=query).json() 
        result = res['data']['directly']['searcherResult']['result'] 
        product_id = [] 
        for r in result: 
            product_id.append(r['id']) 
        return product_id 
    except: 
        raise 

我這里是獲取了 page 為 1 的產品 ID，下面就是通過產品 ID 來獲取不同產品下的評論信息。

②獲取數據存儲

通過前面的分析，我們可以知道，評論信息都是如下形式的，對這種形式的信息，我們可以很方便地存儲進入 MongoDB，然后再慢慢分析數據里的內容。

{ 
                "skuInfo": [ 
                    "顏色:膚色", 
                    "杯碼:75B" 
                ], 
                "frontUserName": "1****8", 
                "frontUserAvatar": "https://yanxuan.nosdn.127.net/f8f20a77db47b8c66c531c14c8b38ee7.jpg", 
                "content": "質量好，穿著舒服", 
                "createTime": 1555546727635, 
                "picList": [ 
                    "https://yanxuan.nosdn.127.net/742f28186d805571e4b3f28faa412941.jpg" 
                ], 
                "commentReplyVO": null, 
                "memberLevel": 4, 
                "appendCommentVO": null, 
                "star": 5, 
                "itemId": 1680205 
            } 

對于 MongoDB，我們既可以自己搭建，也可以使用網上免費的服務。在這里我介紹一個免費的 MongoDB 服務網站：mlab，使用很簡單，就不過多介紹使用過程了。

數據庫有了，下面就是把數據保存進去了：

def details(product_id): 
    url = 'https://you.163.com/xhr/comment/listByItemByTag.json' 
    try: 
        C_list = [] 
        for i in range(1, 100): 
            query = { 
                "itemId": product_id, 
                "page": i, 
            } 
            res = requests.get(url, params=query).json() 
            if not res['data']['commentList']: 
                break 
            print("爬取第 %s 頁評論" % i) 
            commentList = res['data']['commentList'] 
            C_list.append(commentList) 
            time.sleep(1) 
            # save to mongoDB 
            try: 
                mongo_collection.insert_many(commentList) 
            except: 
                continue 
        return C_list 
    except: 
        raise 

最后爬取完成之后，總共是七千多條數據，下面就可以根據個人需要做一些分析了。

爬取的數據 MongoDB 鏈接：

conn = MongoClient("mongodb://%s:%s@ds149974.mlab.com:49974/you163" % ('you163', 'you163')) db = conn.you163 mongo_collection = db.you163 

商品評論數據分析

下面就到了激動人心的時刻了，一探妹子偏好!

偏好顏色

先來看看妹子們偏好的顏色：

可以看出，黑色是遙遙領先的哦，這里你要做到心中有數!

再通過餅狀圖來觀察下不同顏色的占比情況：

那么這些顏色中，有你的她喜歡的嗎?

尺寸分布

再來看看妹子們的尺寸分布：

沒有問題，75B 就是大多數妹子的尺寸了!

如果你對這種罩杯尺寸沒有研究的話，不要緊，貼心的我給你準備了對照表，拿走不謝!

商品評論

最后我們再來看看妹子們對于商品的評價情況：

就星級評價上來看，大多數都是五星好評，畢竟打著“嚴選”的名號，質量是必須有保證的。

再來看看在評論區(qū)，妹子最喜歡用什么詞語來描述呢：

舒服、很舒服，非常舒服;滿意、很滿意，非常滿意。

仿佛進入了“夸夸群”，看來妹子們首要看重的就是舒服與否，畢竟是貼身的，質量最重要!

好了，看了上面的分析，單身的你是不是更加有了脫單的沖動?如果是已經有軟妹傍身的你，是不是該下手討好下身邊的她了呢?

完整代碼如下：

https://github.com/zhouwei713/data_analysis/tree/master/you163_spider