Mac环境下scrap安装、使用

Contents

1. 安装过程中的坑
2. Scrapy项目基本流程

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。原本并没有打算为此专门写篇博文，以为只是简单的安装、使用，可过程却是一路填坑下去的，故以此记之。

安装过程中的坑

安装scrapy失败——系统自带的six包版本较低

使用如下命令安装scrapy失败

1	$ pip install scrapy

经研究发现是Mac系统自带的six包版本较低导致安装失败，升级时又因six包属于系统文件，受SIP保护，强制进入还原模式关闭SIP后，把系统的six相关文件手动删除，安装最新版six包后，再次执行上述命令即可。

没事别去升级Mac的系统，不然你的six包会还原到1.4.1版本，你需要再次关闭SIP，通过 “pip show – file six” 查找到路径手动删除。

创建scrapy项目失败——twisted包版本过高

在创建scrapy项目时又出错，经研究发现是其关联的twisted包版本过高，版本降级后OK

fengyeningdeMacBook-Pro:~ fengyening$ scrapy startproject projectname
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/2.7/bin/scrapy", line 7, in <module>
.
.
.
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/twisted/internet/_sslverify.py", line 38, in <module>
    TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1,
AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'

具体降到哪个版本，网上有很多说法，本着从最高版本依次往下试的原则发现大版本降至16就可以了。

fengyeningdeMacBook-Pro:~ fengyening$ pip install Twisted==16.4.1
Collecting Twisted==16.4.1
  Downloading Twisted-16.4.1.tar.bz2 (3.0MB)
    100% |████████████████████████████████| 3.0MB 8.8kB/s 
Requirement already satisfied: zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted==16.4.1)
Requirement already satisfied: setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted==16.4.1)
Installing collected packages: Twisted
  Found existing installation: Twisted 17.5.0
    Uninstalling Twisted-17.5.0:
      Successfully uninstalled Twisted-17.5.0
  Running setup.py install for Twisted ... done
Successfully installed Twisted-16.4.1

创建scrapy项目UserWarning——No module named cryptography

至此已可以成功创建scrapy项目了，但有一个warning，强迫症的我怎么能容忍，提示的也很明确，安装一下cryptography就好了。

1
2

fengyeningdeMacBook-Pro:~ fengyening$ scrapy startproject baidu_spider
:0: UserWarning: You do not have a working installation of the service_identity module: 'No module named cryptography.x509'.  Please install it from <https://pypi.python.org/pypi/service_identity> and make sure all of its dependencies are satisfied.  Without the service_identity module and a recent enough pyOpenSSL to support it, Twisted can perform only rudimentary TLS client hostname verification.  Many valid certificate/hostname mappings may be rejected.

安装过程最好要用网速较好的网络，最开始安装scrapy时其中一个包一直报超时的错误，就怀疑包的资源问题等等，最后换了个好的网络就OK了。

Scrapy项目基本流程

默认的Scrapy项目结构

使用全局命令startproject创建项目，在project_name文件夹下创建一个名为myproject的Scrapy项目。

1	scrapy startproject myproject

虽然可以被修改，但所有的Scrapy项目默认有类似于下边的文件结构:

scrapy.cfg
myproject/
    __init__.py
    items.py
    middlewares.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

scrapy.cfg: 项目的配置文件
myproject/: 该项目的python模块。之后您将在此加入代码。
myproject/items.py:需要提取的数据结构定义文件。
myproject/middlewares.py: 是和Scrapy的请求/响应处理相关联的框架。
myproject/pipelines.py: 用来对items里面提取的数据做进一步处理，如保存等。
myproject/settings.py: 项目的配置文件。
myproject/spiders/: 放置spider代码的目录。

scrapy.cfg 存放的目录被认为是项目的根目录。该文件中包含python模块名的字段定义了项目的设置。

定义要抓取的数据

Item 是保存爬取到的数据的容器；其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类，并且定义类型为 scrapy.Field 的类属性来定义一个Item。
首先根据需要从dmoz.org（DMOZ网站是一个著名的开放式分类目录（Open DirectoryProject），由来自世界各地的志愿者共同维护与建设的最大的全球目录社区）获取到的数据对item进行建模。我们需要从dmoz中获取名字，url，以及网站的描述。对此，在item中定义相应的字段。编辑items.py 文件:

import scrapy
class MyprojectItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

使用项目命令genspider创建Spider

1
2
3

You can start your first spider with:
    cd myproject
    scrapy genspider example example.com

在当前项目中创建spider。
这仅仅是创建spider的一种快捷方法。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed
$ scrapy genspider -d basic
import scrapy
class $classname(scrapy.Spider):
    name = "$name"
    allowed_domains = ["$domain"]
    start_urls = (
        'http://www.$domain/',
        )
    def parse(self, response):
        pass
$ scrapy genspider -t basic example example.com
Created spider 'example' using template 'basic' in module:
  mybot.spiders.example

编写提取item数据的Spider

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容，提取生成 item 的方法。
为了创建一个Spider，您必须继承 scrapy.Spider 类，且定义以下三个属性:

name: 用于区别Spider。该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
start_urls: 包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
parse() 是spider的一个方法。被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象

import scrapy
class DmozSpider(scrapy.spider.Spider):
    name = "example"    #唯一标识，启动spider时即指定该名称
    allowed_domains = ["example.com"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]
    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

进行爬取

执行项目命令crawl，启动Spider：

1	scrapy crawl example

在这个过程中：
Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。
Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

通过选择器提取数据

Selectors选择器简介：
Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。
XPath 是一门用来在XML文件中选择节点的语言，也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

XPath表达式的例子和含义：

/html/head/title: 选择HTML文档中\ 标签内的\ 元素
/html/head/title/text(): 选择上面提到的\ 元素的文字
//td: 选择所有的 \ 元素
//div[@class=”mine”]: 选择所有具有 class=”mine” 属性的 div 元素

提取数据：

观察HTML源码并确定合适的XPath表达式。
在查看了网页的源码后，您会发现网站的信息是被包含在第二个元素中。
我们可以通过这段代码选择该页面中网站列表里所有元素:
response.xpath(‘//ul/li’)
Item 对象是自定义的python字典。您可以使用标准的字典语法来获取到其每个字段的值。
一般来说，Spider将会将爬取到的数据以 Item 对象返回。所以为了将爬取的数据返回，我们最终的代码将是:

import scrapy
from tutorial.items import DmozItem
class DmozSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]
    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            item = MyprojectItem()
            item['title'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()
            item['desc'] = sel.xpath('text()').extract()
            yield item

现在对example.org进行爬取将会产生 MyprojectItem 对象。

保存数据

最简单存储爬取的数据的方式是使用 Feed exports:

1	scrapy crawl example -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。
如果需要对爬取到的item做更多更为复杂的操作，您可以编写 Item Pipeline 。类似于我们在创建项目时对Item做的，用于您编写自己的 tutorial/pipelines.py 也被创建。不过如果您仅仅想要保存item，您不需要实现任何的pipeline。

aFeng`s Blog

记录学习的点点滴滴