Skip to content

Latest commit

 

History

History
103 lines (80 loc) · 3.68 KB

README.md

File metadata and controls

103 lines (80 loc) · 3.68 KB
Raw

habrArticleSrcDownloader

Скрипт python3 для скачивания исходников статей с habr. Тестировал на python 3.6.9, под Linux Mint 19.3.

Как использовать:

Установка:

Linux

apt-get install python3-lxml libomp-dev
pip3 install -r requirements.txt

macOS

brew install python-lxml libomp
pip3 install -r requirements.txt

Использование:

usage: main.py [-h] [-q] [-l] [-i] (-u USER_NAME_FOR_ARTICLES | -f USER_NAME_FOR_FAVORITES | -s ARTICLE_ID)

Скрипт для скачивания статей с https://habr.com/

options:
  -h, --help            show this help message and exit
  -q, --quiet           Quiet mode
  -l, --local-pictures  Использовать абсолютный путь к изображениям в сохранённых файлах
  -i, --meta-information
                        Добавить мета-информацию о статье в файл
  -u USER_NAME_FOR_ARTICLES
                        Скачать статьи пользователя
  -f USER_NAME_FOR_FAVORITES
                        Скачать закладки пользователя
  -s ARTICLE_ID         Скачать одиночную статью

Например:

./src/main.py -u jessy_james
./src/main.py -f jessy_james
./src/main.py -s 665254

Взять имя пользователя можно из ссылки профиля

Если все было сделано успешно, то Вы увидите примерно следующее:

./src/main.py -u jessy_james
[info]: Скачивается: C/C++ из Python (ctypes) на Android
[info]: Директория: 16 C C++ из Python (ctypes) на Android создана
[info]: Директория: picture создана
[info]: Статья: C C++ из Python (ctypes) на Android сохранена
[info]: Скачивается: Своя docking station для ноутбука
[info]: Директория: 15 Своя docking station для ноутбука создана
[info]: Директория: picture создана
[info]: Статья: Своя docking station для ноутбука сохранена
[info]: Скачивается: Tango Controls hdbpp-docker
[info]: Директория: 14 Tango Controls hdbpp-docker создана
[info]: Директория: picture создана

...

[info]: Скачивается: Игрушка ГАЗ-66 на пульте управления. Часть 2
[info]: Директория: 2 Игрушка ГАЗ-66 на пульте управления. Часть 2 создана
[info]: Директория: picture создана
[info]: Статья: Игрушка ГАЗ-66 на пульте управления. Часть 2 сохранена
[info]: Скачивается: Игрушка ГАЗ-66 на пульте управления. Часть 1
[info]: Директория: 1 Игрушка ГАЗ-66 на пульте управления. Часть 1 создана
[info]: Директория: picture создана
[info]: Статья: Игрушка ГАЗ-66 на пульте управления. Часть 1 сохранена

Docker

Сборка образа:

docker build -t habrsaver .

Запуск контейнера:

docker run --rm --name habrsaver  \
            -v $(pwd)/article:/app/article \
            -v $(pwd)/favorites:/app/favorites \
            -v $(pwd)/singles:/app/singles \
            habrsaver -s 665254