PHPackages                             andronof/robotstxt - PHPackages - PHPackages  [Skip to content](#main-content)[PHPackages](/)[Directory](/)[Categories](/categories)[Trending](/trending)[Leaderboard](/leaderboard)[Changelog](/changelog)[Analyze](/analyze)[Collections](/collections)[Log in](/login)[Sign up](/register)

1. [Directory](/)
2. /
3. [Parsing & Serialization](/categories/parsing)
4. /
5. andronof/robotstxt

ActiveLibrary[Parsing & Serialization](/categories/parsing)

andronof/robotstxt
==================

Parse robots.txt

1.2.0(7y ago)173MITPHPPHP >=5.4.0

Since May 2Pushed 7y ago1 watchersCompare

[ Source](https://github.com/andronof/robotstxt)[ Packagist](https://packagist.org/packages/andronof/robotstxt)[ RSS](/packages/andronof-robotstxt/feed)WikiDiscussions master Synced 3w ago

READMEChangelog (6)DependenciesVersions (7)Used By (0)

Parse (разбор) robots.txt
=========================

[](#parse-разбор-robotstxt)

Библиотека для разбора файла robots.txt. Написаная на языке php. Основная задча библиотеки проверить любую ссылку, закрыта она от индексации или нет. Правила разбора используются из описания в справочнике [Яндекс](https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml).

Правила разбора
---------------

[](#правила-разбора)

1. Разбирается все данные по ботам.
2. Для каждого бота сортируются по длине ссылки. Если у нескольких правил длина одинаковая то предпочтение отдается разрешающему(allow) правилу.
3. Правила содержащие пустые значения изменяются на противоположные.

Установка
---------

[](#установка)

Через composer:

```
{
    "require": {
        "andronof/robotstxt": "dev-master"
    }
}
```

и запустить команду

```
composer update

```

установится последний версия, но не обязательно стабильная или

```
composer require andronof/robotstxt
```

установится последняя стабильная версия

Использование
-------------

[](#использование)

```
$robotstxt = new \Robotstxt(file_get_contents('http://yandex.ru/robots.txt'));
```

или

```
$robotstxt = new \Robotstxt();
$robotstxt->init(file_get_contents('http://yandex.ru/robots.txt'));
```

Проверка запрещена ли ссылка в robots.txt

```
if ($robotstxt->isAllowed('/msearch') ) {
    echo('Доступ разрешен');
} else {
    echo('Доступ запрещен');
}
```

Данная функция может принимать вторым параметром имя бота. Если не указан, то берутся правила для всех (\*). Ссылку для проверки указывайте с начинающегося слеша (/).

Остальные функции
-----------------

[](#остальные-функции)

- **isUserAgent($user\_agent)** — Проверяет есть ли правила для конкретного бота
- **setUserAgent($user\_agent = null)** — Устанавливает правила какого бота использовать. Имеет больший приоритет чем если указывать бота в функции isAllowed. Если необходимо сбросить глобального бота передайте в эту функцию null.

Используется в проектах
-----------------------

[](#используется-в-проектах)

-

###  Health Score

28

—

LowBetter than 52% of packages

Maintenance20

Infrequent updates — may be unmaintained

Popularity10

Limited adoption so far

Community7

Small or concentrated contributor base

Maturity62

Established project with proven stability

 Bus Factor1

Top contributor holds 100% of commits — single point of failure

How is this calculated?**Maintenance (25%)** — Last commit recency, latest release date, and issue-to-star ratio. Uses a 2-year decay window.

**Popularity (30%)** — Total and monthly downloads, GitHub stars, and forks. Logarithmic scaling prevents top-heavy scores.

**Community (15%)** — Contributors, dependents, forks, watchers, and maintainers. Measures real ecosystem engagement.

**Maturity (30%)** — Project age, version count, PHP version support, and release stability.

###  Release Activity

Cadence

Every ~183 days

Recently: every ~226 days

Total

6

Last Release

2793d ago

### Community

Maintainers

![](https://avatars.githubusercontent.com/u/10900081?v=4)[Андронов Константин](/maintainers/andronof)[@andronof](https://github.com/andronof)

---

Top Contributors

[![andronof](https://avatars.githubusercontent.com/u/10900081?v=4)](https://github.com/andronof "andronof (9 commits)")

### Embed Badge

![Health badge](/badges/andronof-robotstxt/health.svg)

```
[![Health](https://phpackages.com/badges/andronof-robotstxt/health.svg)](https://phpackages.com/packages/andronof-robotstxt)
```

###  Alternatives

[mck89/peast

Peast is PHP library that generates AST for JavaScript code

19037.7M41](/packages/mck89-peast)[sauladam/shipment-tracker

Parses tracking information for several carriers, like UPS, USPS, DHL and GLS by simply scraping the data. No need for any kind of API access.

9642.0k](/packages/sauladam-shipment-tracker)[jstewmc/rtf

Read and write Rich Text Format (RTF) documents with PHP

46143.1k6](/packages/jstewmc-rtf)[moonshine/layouts-field

Field for repeating groups of fields for MoonShine

107.9k](/packages/moonshine-layouts-field)[tcds-io/php-jackson

A lightweight, flexible object serializer for PHP, inspired by FasterXML/jackson

112.9k10](/packages/tcds-io-php-jackson)

PHPackages © 2026

[Directory](/)[Categories](/categories)[Trending](/trending)[Changelog](/changelog)[Analyze](/analyze)