Waybackpack

Описание waybackpack

Waybackpack — это инструмент командной строки, который позволяет загрузить полный архив Wayback Machine (веб архив сайтов) по заданному URL.

Домашняя страница: https://github.com/jsvine/waybackpack

Автор: Jeremy Singer-Vine

Лицензия: MIT

Справка по waybackpack

Использование:

waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT] [--from-date FROM_DATE] [--to-date TO_DATE] [--user-agent USER_AGENT] [--follow-redirects] [--uniques-only]
                   [--collapse COLLAPSE] [--ignore-errors] [--quiet]
                   url

Опции:

обязательные аргументы:
  url                   URL ресурса, который вы хотите загрузить.

Необязательные аргументы:
  -h, --help            показать справку и выйти
  --version             показать версию программы и выйти
  -d DIR, --dir DIR     Директория для сохранения файлов. Создаст эту директорию, 
                        если она ещё не существует.
  --list                Вместо загрузки файлов, только показать список копий.
  --raw                 Извлекать файлы в исходном состоянии, без какой-либо обработки 
                        Wayback Machine или waybackpack.
  --root ROOT           Корневой URL с которого обрабатывать архивированные ресурсы. 
                        По умолчанию: 'https://web.archive.org'
  --from-date С_ДАТЫ
                        Строка метки времени, показывающая самый ранний архив для загрузки. 
                        Должна принимать формат YYYYMMDDhhss, хотя вы можете пропустить 
                        любое количество заключительных цифр.
                        E.g., '201501' is valid.
  --to-date ДО_ДАТЫ     Строка метки времени показывающая последний архив
                         для загрузки. Должна принимать формат YYYYMMDDhhss, хотя
                        можно пропустить любое количество заключительных цифр.
                        Например, '201604' является подходящей строкой.
  --user-agent USER_AGENT
                        Заголовок User-Agent для отправки вместе с запросами к Wayback Machine. 
                        Если возможно, пожалуйста, включайте фразу 'waybackpack' и ваш email адрес. Таким
                        образом, если вы производите слишком большую нагрузку на их сервера, 
                        они будут знать, как с вами связаться. По умолчанию: 'waybackpack'.
  --follow-redirects    Следовать перенаправлениям.
  --uniques-only        Загрузить только первую версию дублирующихся файлов.
  --collapse COLLAPSE   Параметр `collapse` для  archive.org. См.: https://github.com/internetarchive/wayback/blob/master/wayback-cdx-server/README.md#collapsing
  --ignore-errors       Не завершать работу при не-HTTP ошибках, например, ошибке в библиотеке 
                        ChunkedEncodingError. Вместо этого сообщать об ошибке и продолжать работу.. Смотрите.
                        https://github.com/jsvine/waybackpack/issues/19
  --quiet               Не сообщать о прогрессе в stderr (стандартный вывод ошибок).

Руководство по waybackpack

Страница man отсутствует.

Примеры запуска waybackpack

Для загрузки каждой копии домашней страницы Department of Labor с 1996 (это первый год, когда сайт был заархивирован), вам нужно запустить:

waybackpack dol.gov -d ~/Downloads/dol-wayback --to-date 1996

Для скачивания всех копий главной страницы сайта suip.biz, начиная с даты (--to-date 2017), которые должны быть помещены в папку (-d /home/mial/test), при этом следовать редиректам (--follow-redirects):

waybackpack suip.biz -d /home/mial/test --to-date 2017 --follow-redirects

Для указанного сайта (hackware.ru) вывести список всех доступных копий в веб-архиве (--list):

waybackpack hackware.ru --list

Установка waybackpack

Установка в Kali Linux

sudo apt install python3-pip
sudo pip3 install waybackpack

Установка в BlackArch

Программа предустановлена в BlackArch.

sudo pacman -S waybackpack

Информация об установке в другие операционные системы будет добавлена позже.

Скриншоты waybackpack

Инструкции по waybackpack

Близкие программы:

  • Wayback Machine Downloader (100%)
  • waybackurls (100%)
  • Plecost (51.5%)
  • DIRB (51.5%)
  • DirBuster (51.5%)
  • Damn Vulnerable Web Services (RANDOM - 1.5%)
  • Рекомендуется Вам:

    Comments are Closed