Wayback Machine Downloader

Описание Wayback Machine Downloader

Загружает полностью веб-сайт из Интрнет архива Wayback Machine.

Программа загрузит последнюю версию каждого файла, присутствующего в Архиве Интернета Wayback Machine, и сохранить его в папку вида ./websites/example.com/. Она также пересоздаст структуру директорий и автоматически создаст страницы index.html чтобы скаченный сайт без каких либо изменений можно было бы поместить на веб-сервер Apache или Nginx.

Все загружаемые файлы являются оригинальными, а не переписанными версиями Wayback Machine.

В конечном итоге получается зеркало сайта с такой же структурой URL и ссылок как и исходный сайт.

Домашняя страница: https://github.com/hartator/wayback-machine-downloader

Автор: hartator

Лицензия: MIT

Справка по Wayback Machine Downloader

Использование:

wayback_machine_downloader http://example.com

Опции:

    -d, --directory ПУТЬ             Директория, куда должны быть сохранены скаченные файлы
                                     По умолчанию это ./websites/ плюс имя домена
    -s, --all-timestamps             Загружать все слепки/метки времени данного сайта
    -f, --from TIMESTAMP             Только файлы на указанную эту или более позднюю метку времени (например, 20060716231334)
    -t, --to TIMESTAMP                Только файлы на указанную эту или более раннюю метку времени (например, 20100916231334)
    -e, --exact-url                  Загрузить только указанные url, а не весь сайт
    -o, --only ТОЛЬКО_ПО_ФИЛЬТРУ           Ограничить загрузку теми url которые совпадают с этим фильтром
                                     (используйте нотацию // чтобы фильтр обрабатывался как регулярное выражение)
    -x, --exclude ФИЛЬТР_ИСКЛЮЧЕНИЯ     Пропустить загрузку url, которые совпадают с этим фильтром
                                     (используйте нотацию // чтобы фильтр обрабатывался как регулярное выражение)
    -a, --all                        Расширить загрузку на файлы ошибок (40x и 50x) и редиректов (30x)
    -c, --concurrency ЧИСЛО         Число одновременно загружаемых файлов
                                     По умолчанию это один файл за раз (пример, 20)
    -p, --maximum-snapshot ЧИСЛО    Максимальное число рассматриваемых снимков страниц (по умолчанию это 100)
                                     Посчитано в среднем на 150,000 снимках на страницу
    -l, --list                       Только вывести список url файлов в формате JSON с метками времени архивирования, ничего не загружать
    -v, --version                    Показать версию

Руководство по Wayback Machine Downloader

Страница man отсутствует.

Примеры запуска Wayback Machine Downloader

Для скачивания полной копии сайта suip.biz из веб-архива:

wayback_machine_downloader https://suip.biz

Только вывести ссылки на файлы из архива сайта hackware.ru, но ничего не загружать (-l) и сохранить эти ссылки в файл (> hackware-urls.json):

wayback_machine_downloader https://hackware.ru -l > hackware-urls.json

Установка Wayback Machine Downloader

Установка в Kali Linux

gem install wayback_machine_downloader
wayback_machine_downloader --help

Установка в BlackArch

gem install wayback_machine_downloader
sudo mv ~/.gem/ruby/3.0.0/bin/wayback_machine_downloader /usr/local/bin/
wayback_machine_downloader --help

Информация об установке в другие операционные системы будет добавлена позже.

Скриншоты Wayback Machine Downloader

Инструкции по Wayback Machine Downloader

• Веб-архивы Интернета: как искать удалённую информацию и восстанавливать сайты