Ultimate Facebook Scraper (UFS)

Описание Ultimate Facebook Scraper (UFS)

Бот, которые собирает практически всё с аккаунта пользователя Facebook, включая все публичные посты/статистику, доступные в событиях пользователя, выгруженные фотографии, фотографии с метками, видео, список друзей и их фотографии профилей (включая подписчиков, на кого подписан, друзей по работе, коллег и т. д.).

Этот инструмент автоматизирует взаимодействие с социальным медиа для сбора сообщений, фотографий, видео, друзей, подписчиков и много много другого на Facebook.

Собранные данные сохраняются в организованном виде, поэтому могут использоваться для образовательных/исследовательских целей. Эта программа не использует Facebook's Graph API, поэтому нет таких проблем как лимиты.

Домашняя страница: https://github.com/harismuneer/Ultimate-Facebook-Scraper

Авторы: Haris Muneer, Hassaan Elahi

Лицензия: MIT

Справка по Ultimate Facebook Scraper (UFS)

У программы отсутствуют как таковые опции, некоторая настройка выполняется в исходном коде и с помощью дополнительных файлов.

# загружать фотографии или нет:
download_uploaded_photos = True
download_friends_photos = True

# если загружать фотографии, то полный размер или привью (маленький размер)
# если выбран маленький размер, то загрузка произойдёт быстро (поскольку они уже присутствуют на странице,
#  если выбран большой размер, то каждую фотографию требуется открыть и это займёт время
friends_small_size = True
photos_small_size = True

total_scrolls = 2500
current_scrolls = 0
scroll_time = 8

old_height = 0

Руководство по Ultimate Facebook Scraper (UFS)

Страница man отсутствует.

Примеры запуска

В файл credentials.txt внесите email и пароль имеющейся у вас учётной записи на Facebook

gedit credentials.txt

В файл input.txt введите список целей:

gedit input.txt

Затем выполните запуск:

python3 ./scraper.py

Установка Ultimate Facebook Scraper (UFS)

Установка в Kali Linux

Для работы программы нужно сделать так, чтобы программа могла запустить Google Chrome с правами обычного пользователя. Самый простой способ реализовать это — создать нового пользователя Kali Linux и работать под ним.

Создание нового пользователя в Kali Linux:

useradd -m -G sudo -s /bin/bash new_user

Замените new_user на желаемое имя.

Установите для него пароль:

passwd new_user

Установите Google Chrome в Kali Linux, для этого:

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
dpkg -i google-chrome-stable*.deb
apt-get install -f

Проверьте, что программа запускается:

xhost + && su -c /usr/bin/google-chrome new_user && xhost -

Теперь перезагрузитесь и войдите под обычным пользователем (не root).

Установите требуемую зависимость (обязательно без sudo!):

pip3 install selenium

Скачайте саму программу:

git clone https://github.com/harismuneer/Ultimate-Facebook-Scraper
cd Ultimate-Facebook-Scraper/src/

Затем выполните:

wget https://chromedriver.storage.googleapis.com/`curl -s https://chromedriver.storage.googleapis.com/ | grep -E -o '<Key>[0-9.]+/chromedriver_linux64.zip' | tail -1 | sed 's/<Key>//'`
rm chromedriver
unzip chromedriver_linux64.zip

Установка в BlackArch

Программа предустановлена в BlackArch.

sudo pacman -S ultimate-facebook-scraper

Установленный из репозиториев Ultimate Facebook Scraper вряд ли будет работать, поскольку по умолчанию его файлы находятся в директории /usr/share/ultimate-facebook-scraper/src. В этой же директории программа будет пытаться сохранить данные результатов, но у неё будет недостаточно прав на запись. Если запустить программу с sudo, то она не сможет запустить Google Chrome, которые не работает от root.

Подсказки по запуску Ultimate Facebook Scraper в BlackArch смотрите в разделе, посвящённым установке этой программы в Kali Linux.

Информация об установке в другие операционные системы будет добавлена позже.