Waybackpack
Описание waybackpack
Waybackpack — это инструмент командной строки, который позволяет загрузить полный архив Wayback Machine (веб архив сайтов) по заданному URL.
Домашняя страница: https://github.com/jsvine/waybackpack
Автор: Jeremy Singer-Vine
Лицензия: MIT
Справка по waybackpack
Использование:
waybackpack [-h] [--version] (-d DIR | --list) [--raw] [--root ROOT] [--from-date FROM_DATE] [--to-date TO_DATE] [--user-agent USER_AGENT] [--follow-redirects] [--uniques-only]
[--collapse COLLAPSE] [--ignore-errors] [--quiet]
url
Опции:
обязательные аргументы:
url URL ресурса, который вы хотите загрузить.
Необязательные аргументы:
-h, --help показать справку и выйти
--version показать версию программы и выйти
-d DIR, --dir DIR Директория для сохранения файлов. Создаст эту директорию,
если она ещё не существует.
--list Вместо загрузки файлов, только показать список копий.
--raw Извлекать файлы в исходном состоянии, без какой-либо обработки
Wayback Machine или waybackpack.
--root ROOT Корневой URL с которого обрабатывать архивированные ресурсы.
По умолчанию: 'https://web.archive.org'
--from-date С_ДАТЫ
Строка метки времени, показывающая самый ранний архив для загрузки.
Должна принимать формат YYYYMMDDhhss, хотя вы можете пропустить
любое количество заключительных цифр.
E.g., '201501' is valid.
--to-date ДО_ДАТЫ Строка метки времени показывающая последний архив
для загрузки. Должна принимать формат YYYYMMDDhhss, хотя
можно пропустить любое количество заключительных цифр.
Например, '201604' является подходящей строкой.
--user-agent USER_AGENT
Заголовок User-Agent для отправки вместе с запросами к Wayback Machine.
Если возможно, пожалуйста, включайте фразу 'waybackpack' и ваш email адрес. Таким
образом, если вы производите слишком большую нагрузку на их сервера,
они будут знать, как с вами связаться. По умолчанию: 'waybackpack'.
--follow-redirects Следовать перенаправлениям.
--uniques-only Загрузить только первую версию дублирующихся файлов.
--collapse COLLAPSE Параметр `collapse` для archive.org. См.: https://github.com/internetarchive/wayback/blob/master/wayback-cdx-server/README.md#collapsing
--ignore-errors Не завершать работу при не-HTTP ошибках, например, ошибке в библиотеке
ChunkedEncodingError. Вместо этого сообщать об ошибке и продолжать работу.. Смотрите.
https://github.com/jsvine/waybackpack/issues/19
--quiet Не сообщать о прогрессе в stderr (стандартный вывод ошибок).
Руководство по waybackpack
Страница man отсутствует.
Примеры запуска waybackpack
Для загрузки каждой копии домашней страницы Department of Labor с 1996 (это первый год, когда сайт был заархивирован), вам нужно запустить:
waybackpack dol.gov -d ~/Downloads/dol-wayback --to-date 1996
Для скачивания всех копий главной страницы сайта suip.biz, начиная с даты (—to-date 2017), которые должны быть помещены в папку (-d /home/mial/test), при этом следовать редиректам (—follow-redirects):
waybackpack suip.biz -d /home/mial/test --to-date 2017 --follow-redirects
Для указанного сайта (hackware.ru) вывести список всех доступных копий в веб-архиве (—list):
waybackpack hackware.ru --list
Установка waybackpack
Установка в Kali Linux
sudo apt install python3-pip sudo pip3 install waybackpack
Установка в BlackArch
Программа предустановлена в BlackArch.
sudo pacman -S waybackpack
Информация об установке в другие операционные системы будет добавлена позже.
Скриншоты waybackpack
Comments are Closed