PHPackages                             yurunsoft/crawler - PHPackages - PHPackages  [Skip to content](#main-content)[PHPackages](/)[Directory](/)[Categories](/categories)[Trending](/trending)[Leaderboard](/leaderboard)[Changelog](/changelog)[Analyze](/analyze)[Collections](/collections)[Log in](/login)[Sign up](/register)

1. [Directory](/)
2. /
3. [Utility & Helpers](/categories/utility)
4. /
5. yurunsoft/crawler

ActiveLibrary[Utility & Helpers](/categories/utility)

yurunsoft/crawler
=================

宇润爬虫框架(Yurun Crawler) 是一个低代码、高性能、分布式爬虫采集框架，这可能是最一把梭的爬虫框架。

v1.1.0(5y ago)398261MITPHPPHP >=7.1CI failing

Since Jul 17Pushed 5y ago2 watchersCompare

[ Source](https://github.com/Yurunsoft/yurun-crawler)[ Packagist](https://packagist.org/packages/yurunsoft/crawler)[ RSS](/packages/yurunsoft-crawler/feed)WikiDiscussions master Synced 1mo ago

READMEChangelog (3)Dependencies (10)Versions (4)Used By (1)

yurun-crawler
=============

[](#yurun-crawler)

[![Latest Version](https://camo.githubusercontent.com/5eb47a944fc7ab8f0cfed1cf4200e92d654d0528c829daff1af244ee2e832865/68747470733a2f2f696d672e736869656c64732e696f2f7061636b61676973742f762f797572756e736f66742f637261776c65722e737667)](https://packagist.org/packages/yurunsoft/crawler)[![Travis](https://camo.githubusercontent.com/f84f745a5754e8fd4caedd385475e2f53f5d71a333903ea67f1c17ecf13f3e62/68747470733a2f2f696d672e736869656c64732e696f2f7472617669732f597572756e736f66742f797572756e2d637261776c65722e737667)](https://travis-ci.org/github/Yurunsoft/yurun-crawler)[![Php Version](https://camo.githubusercontent.com/315f5c30e505b9ccc4178451bbd34c2ba5d281d1fa3267304053ed19ab634125/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f7068702d2533453d372e312d627269676874677265656e2e737667)](https://secure.php.net/)[![Swoole Version](https://camo.githubusercontent.com/d694ccd6a051c135f0bc3dca525ddc475544dab5ce08f7b06506eb8be02fcacb/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f73776f6f6c652d2533453d342e332e302d627269676874677265656e2e737667)](https://github.com/swoole/swoole-src)[![imi Doc](https://camo.githubusercontent.com/8a45ed26be92338e9c97fc73a6d772a77ee94fb973e93efc89decb1ea59a8bd7/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f646f63732d70617373696e672d677265656e2e737667)](https://doc.imiphp.com)[![imi License](https://camo.githubusercontent.com/074b89bca64d3edc93a1db6c7e3b1636b874540ba91d66367c0e5e354c56d0ea/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f6c6963656e73652d4d49542d627269676874677265656e2e737667)](https://github.com/Yurunsoft/crawler/blob/master/LICENSE)

介绍
--

[](#介绍)

宇润爬虫框架(Yurun Crawler) 是一个低代码、高性能、分布式爬虫采集框架，这可能是最一把梭的爬虫框架。

Yurun Crawler 基于 imi 框架开发，运行在 Swoole 常驻内存的协程环境。

为什么会开发这个框架？遇上有爬虫相关需求，调研了一些市面上现有的 PHP 爬虫框架，甚至是其它语言的爬虫框架，功能都十分简陋，需要编写的重复代码极多，不够一把梭。

**开发手册：**

### 目标

[](#目标)

能够用最少的代码，方便快速地实现爬虫采集功能。

### 愿景

[](#愿景)

成为宇宙第一爬虫框架，以后提到爬虫就想到 Yurun Crawler 可以一把梭实现！

功能特性
----

[](#功能特性)

- **低代码**，几乎不需要编写代码，大部分逻辑依靠注解实现
- **高性能**，基于 [imi](https://www.imiphp.com/) + [Swoole](https://www.swoole.com/) 常驻内存及协程实现。即便只开一个下载器进程，也足以支撑大量的并发下载任务。
- **分布式**，采集的流程由消息队列推动，依靠 Redis 等中间件实现纯天然的分布式特性
- 支持下载器并发**限流**
- 内置解析能力强，支持：**Dom 解析、正则、JSON、Chrome Headless 页面渲染采集**
- **代理 IP 池**，支持：MySQL、Redis
- 支持**定时采集**
- 支持**模型存储**
- 方便扩展

示例
--

[](#示例)

**Demo Example:**

主要采集逻辑，可通过注解的方式来编写，超级简单：

```