PEP Parser

Описание

PEP Parser — это проект, который автоматически собирает данные о всех PEP ( Python Enhancement Proposals) с сайта PEPs. Парсер сохраняет данные в два CSV-файла:

1. Список всех PEP: содержит номер, название и статус каждого PEP.
2. Сводка по статусам: подсчитывает количество PEP для каждого статуса, а также общее количество PEP.

Основные функции

• Сбор данных о PEP: номер, название, статус.
• Формирование CSV-файлов:
  • Файл со списком всех PEP.
  • Файл со сводкой по статусам.
• Подсчет общего количества PEP.
• Сохранение файлов в указанной директории.

Установка и настройка

1. Клонирование репозитория:

   git clone https://github.com/artemmikh/scrapy_parser_pep
   cd scrapy_parser_pep

2. Создание виртуального окружения:

   python -m venv venv
   source venv/bin/activate  # Для Windows: venv\Scripts\activate

3. Установка зависимостей:

   pip install -r requirements.txt

4. Настройка проекта: В файле settings.py настройте директорию results/ для сохранения данных.

Как запустить

1. Запустите парсер:

   scrapy crawl pep

2. Результаты:

   • CSV-файл со списком PEP будет находиться в папке results/ и именоваться, например, как pep_2024-12-06T12-00-00.csv.
   • CSV-файл со сводкой будет находиться там же и именоваться, например, как status_summary_2024-12-06T12-00-00.csv.