用Python爬取淘宝1000多商品，只想为老父亲做点事

本文来自我们小密圈的一位非常铁杆的粉丝，这位粉丝看我的文章大概有2年多了，非常朴实的一位铁杆，希望大家耐心看完这篇文章！

北靠黄河南靠山，我家住在老潼关。

对，就是那个鸡鸣啼三省（秦晋豫）的陕西东大门潼关。就是那个“山河表里潼关路”中的潼关。

家有五亩薄田，田地由老父亲打理，前几年当地百姓开始种植『黄花菜』，父亲在家也种了一些。

(咱家五亩地)

(刚拍的核桃花是不是也很美？)

(往年黄花菜长这样)

一直以来存在一个问题，终端市场菜价并不便宜，但是菜农却没有议价能力，往往一手优质菜源，却卖不上好价格，而在终端市场消费者朋友又未必能吃到“好”菜。(倒金的寻不着贩银的？)

眼看又快到黄花菜的采摘季了，我也一直在思考有没有一种可能将农户和终端消费者朋友直接对接起来进行提前预售，来解决两个问题：

稳定菜价，菜农能卖上差不多的价格，增加收入。
终端消费者花同样的价格能吃到优质安全的一手放心菜。

我想，应该是一个双赢的局面。

那如何定一个合理的价格呢？

想到了万能的淘宝，于是我考虑用 Python 抓取淘宝目前在售的黄花菜商品进行价格分析，为自家的黄花菜定价做一个参考。

数据采集

在淘宝搜索关键『黄花菜』，搜索结果一共有 100 页，第一页返回 48 个商品，再往后翻页每页有 44 个商品。

翻到最后一页查看，返回的商品已经与黄花菜没多少关系了，基本上都是家具或者黄花鱼等商品。

用二分法向前翻页，翻页到 25 页的时候返回结果种已经只有个别的黄花菜商品了。

所以只需要采集前 25 页的搜索结果。

最终采集到的数据如下图：

25 页搜索结果，一共采集到 1104 条商品数据，25*44+4 = 1104。

1104 条数据中仍然包含一些其他商品，所以需要对采集回来的数据进行进一步清洗。

需要注意的是黄花菜不同于其他商品，每个商品的价格其实是和净含量是对应的。

所以采集数据的时候需要将商品详情页净含量数据一同采集回来。

数据清洗

数据清洗的思路就是，首先将标题中不包含『黄花菜』的所有行过滤掉。

然后再将标题中包含鱼、虾、腐竹之类的行过滤掉。

最后就是将净含量为空的商品过滤掉，一共有 8 个商品，全部是天猫超市的商品，查看商品详情页确实与其他商品详情页不同，所以采集数据时使用的正则没能提取到商品净含量。

因为每个商品的净含量不同，无法直接进行价格对比，所以最后根据商品价格、运费、净含量计算出每个商品的单价即每斤多少元。计算公式为：

（商品价格+运费）/ 净含量 = 商品单价

经过一番清洗后，只剩下 704 条商品数据了，数据结构如下：

价格分析

按照采集到的不完全数据，我们来进行一些粗略统计：

总共有 549 个店铺：

其中 119 个店铺有超过1个商品在出售，430 个店铺只有 1 个商品在售。

天猫店铺 73 个，C店 476 个。

704个商品销售地分布在 147 个地区，其中商品最多的地区前 5 为：

吉林             39 个商品
湖南衡阳    36 个商品甘肃庆阳    34 个商品
上海             25 个商品
山西大同    22 个商品

我所在的地区陕西渭南有 17 个商品在售，看到福建莆田也有 10 个商品在售，如下：

从商品标题来看，福建莆田销售的黄花菜产地多为山西大同。

其实淘宝有很多商家并非原产地直销，黄花菜也基本上都是经手了多层经销商了。

接下来我们重点来看一下销售单价：

最贵的黄花菜：

根据单价筛选出了排名前 5 的商品，最贵的单价居然是 39000元/斤，仔细看了一下，这个商品是一个带礼盒包装的商品，净含量为1g，实际上标题中注明了净含量为 500g，因此其单价应该是 78 元/斤。

进行修正后重新排序，得到最贵的 5 个商品为：

平均单价在 150 元以上。

最便宜的黄花菜：

最便宜的菜有 3 个单价 10 元以下的商品，这 3 个商品是水泡菜，并非干菜，过滤掉之后，最便宜的菜就是 12.8元。

12.8元，我不太清楚运费能够做到多低，这么低的价格，估计商家在亏本出售吧。

最贵的菜一斤的价格，能买最低的价格 10 斤还多，您会选择买那种菜吃？

整体价格情况：

704 个商品，平均单价为 50 元左右，不同的定价多达 300 个，其中定价最多的商品也是 50，有 17 个商品单价为 50元每斤，见下图：

销量最多的商品：

根据已付款人数和净含量计算出销售量，上图显示销售量最多的三个商品定价分别为：18、20、30，基本上就是 20元、30元的样子。

淘宝搜索结果中显示的已付款人数应该是指最近 30 天已付款人数，按照这样计算销售前三的三个商品近一个月来销售量在万余斤。

单价区间销售量统计：

所有商品近一个月销量为38252 斤，销售前三的商品占到了销售总量的26.82%,统计了一下单价区间的销售量：

单价大于100的商品销售量：128.18

单价80(含)-100的商品销售量：448.908

单价60(含)-80的商品销售量：877.35

单价50(含)-60的商品销售量：1137.388

单价40(含)-50的商品销售量：1571.0

单价30(含)-40的商品销售量：1453.69

单价20(含)-30的商品销售量：14729.32

单价10(含)-20的商品销售量：17346.4

可以看到明显的趋势，价格越便宜销量越多，而在30-40 与40-50 两个区间销量相当，甚至40-50 价格区间的销量比30-40 之间的还能高一点点。

同样，可以看到不管是便宜到12.8，还是贵到 210，都有朋友购买，前者便宜过菜农的成本很多，后者显然多了很多溢价。

存在即合理，不多说。

那如果是您，您会选择那个价位的黄花菜？我想自然首选安全放心的黄花菜。

几乎所有商家都在标榜自家的菜无硫，源自农家自产，这似乎是一句完全正确的废话。（此废话非彼废话）

任何商家所有的菜最终的源头都是来自于菜农，但是可能买到的一斤菜中有N多家菜农的菜，想象一下商贩在乡村收菜的情景，不是说质量会一定有问题，而是说质量自然难以把控。

当然，704 个商品中肯定也有农户自营的商品，农户自营商品自然能够完全把控品质，但是要注意的是其一，农户自己做零售成本会更高，其次，数量绝对有限，因此价格绝不会很低。更重要的是，您如何能从 704 个商品中选择出来？

总结下来，就是要选到放心安全的黄花菜着实不易。

看到这篇文章的朋友，恭喜您，不用再去纠结选择了，如果有需要的话，我想答案已经不言而喻了。

因为，我想在这里对自家的 2 亩黄花菜以及本家二叔家的黄花菜进行预售，合计约 6 亩黄花菜，预计干菜产量 1000 斤左右，寻找 1000 位有缘朋友。

关于售价

关于黄花菜的采摘：

可能很多朋友不了解，这里简单说一下，采摘在 6 月中旬左右开始，为期 40 天左右，无论阴雨天晴，黄花菜必须每天采摘，否则开花以后就不能吃了。

采摘期间，一般下午 14、15时左右开始，采摘时长约4-5个小时，迎着烈日汗滴禾下土，若为阴雨天则身披雨衣冒雨采摘。

采摘过后需要蒸制，蒸制完成后自然晾晒后为成品干菜。

的确是粒粒皆辛苦。

关于成本：

黄花菜蒸制过后要靠晴天自然晾晒，如果遇到阴雨天气，一般会入冷库存放，需要一定的费用，其次阴雨天气也会有一定的损耗。（如果采摘卖鲜菜不会有这些问题）

旺盛时期一般采摘不过来的时候都需要雇用人手，18年日工资约 60 元，每天每人采摘鲜菜（绿菜）平均 40-50斤，按照 6 斤鲜菜晒一斤干菜计算，一斤干菜人工采摘成本约 7 元左右，7 元意味着菜农没落到一毛钱。

其次，因为仅售自己家的黄花菜，能做好品质的把控，自然产量也有限，一年仅售一次，售完即止。

最终定价：

综合成本以及淘宝在售黄花菜平均价格，本次预售价格计划定为51.88元/斤含运费。

其一，寓意我要发发。

其次，价格唯一。目前在 51-52 元区间在售的 16 个商品，没有定价为 51.88 元的商品。
预售规则

此次预售采用全款预售(稳定售价)，从即日起开始至 2019 年 8 月 15 结束，开始采摘后按照订单顺序陆续发货。

4 月 2 日特意回家到田间拍了些照片，田间地头景色很迷人，一起来欣赏一下？(更多图片淘宝商品详情页)

[iframe]https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_749693619942064128[/iframe]
(鸟有语，花有香)

希望通过此次预售能解决卖菜难的问题，在建立个人品牌信誉同时，能与各位朋友直接建立长期联系和友谊。

更为重要的是，能让您吃到绝对新鲜、绝对无添加的优质黄花菜，让您省心安心。

异想

目前，在农村务农的基本上都是5、6十岁的老农民，其实我也有思考过再过十年后农村的地谁来种？

我个人的看法，一方面随着农村土地确权为土地流转打好基础，发展的方向自然是土地流转到少数人手中进行规模化经营。

同时另一方面会不会产生一些与终端消费直连的高端经营模式？为高端消费者打造一个专属菜园或者果园？

按照这个方向和思路，假如农村一对小两口在家经营五亩田地，按照每人每月4000元工资计算，一年工资约十万元，那么应该种植些什么，又该如何经营呢？

当然想法可能太天真，但是看在眼里，急在心里。欢迎大家留言给点建议！

都不容易，能帮就帮一下
可以联系老陆，了解咨询

点击阅读原文，了解详情