Python栏目

Scrapy框架学习笔记3—— Scrapy与mongodb结合

创建一个新的Item Pipeline，并将其添加到settings.py的ITEM_PIPELINES列表中。
在process_item方法中将item的数据保存到mongodb中。
scrapy的Item与dict相似，而mongodb中的数据是心bson格式保存的。因此Item的数据应该可以直接存储到mongodb中而几乎不用做额外的处理。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
class MyMongoDBPipeline(object):
    def __init__(self, mongodb_server, mongodb_port, mongodb_db, mongodb_collection):
        connection = pymongo.Connection(mongodb_server, mongodb_port)
        self.mongodb_db = mongodb_db
        self.db = connection[mongodb_db]
        self.mongodb_collection = mongodb_collection
        self.collection = self.db[mongodb_collection]

    @classmethod
    def from_crawler(cls, crawler):
        # 连接mongodb
        return cls('localhost', 27017, 'scrapy', 'items')

    def process_item(self, item, spider):
        result = self.collection.insert(dict(item))
        log.msg("Item %s wrote to MongoDB database %s/%s" % (result, self.mongodb_db, self.mongodb_collection),
                level=log.DEBUG, spider=spider)
        return item