waybackurls
Описание waybackurls
Эта программа извлекает все URL указанного домена, о которых знает Wayback Machine. Это можно использовать для быстрого составления карты сайта.
По умолчанию получает ссылки для *.domain, то есть также и для субдоменов — это можно изменить опцией.
Может работать со списком доменов, который нужно передавать в стандартный ввод программы. В этом списке каждый домен должен быть записан на отдельной строке.
Домашняя страница: https://github.com/tomnomnom/waybackurls
Автор: Tom Hudson
Лицензия: ?
Справка по waybackurls
Программа считывает домены из стандартного ввода, поэтому для запуска получения адресов страниц одного домена нужно использовать конструкцию вида:
echo ДОМЕН | waybackurls
Для получения всех URL множества сайтов в качестве ДОМЕНЫ.txt нужно указать файл, в котором перечислены все домены в формате один домен на одну строку:
cat ДОМЕНЫ.txt | waybackurls
Опции:
-dates
добавить первый столбец с датой архивирования страницы
-no-subs
не включать субдомены целевого домена
Руководство по waybackurls
Страница man отсутствует.
Примеры запуска waybackurls
Получить список всех страниц о которых знает Wayback Machine для домена suip.biz:
echo suip.biz | waybackurls
Получить список всех адресов страниц из Wayback Machine для домена hackware.ru и показать дату архивирования (-dates):
echo hackware.ru | waybackurls -dates
Для всех доменов, указанных в файле domains.txt, получить список URL и сохранить все эти списки в файл urls.txt.
cat domains.txt | waybackurls > urls.txt
Установка waybackurls
Установка в Kali Linux
Начните с установки Go, для этого перейдите к статье «Установка Go (компилятора и инструментов) в Linux» и выберите вариант «Ручная установка самой последней версии компилятора Go».
Затем выполните:
go get github.com/tomnomnom/waybackurls waybackurls --help
Установка в BlackArch
Программа предустановлена в BlackArch.
sudo pacman -S waybackurls
Информация об установке в другие операционные системы будет добавлена позже.
Скриншоты waybackurls
Comments are Closed