MassMine
Описание MassMine
MassMine — это приложение для добычи и архивирования данных из социальных медиа, оно упрощает процесс сбора и управления большим количеством данных из множества источников. Оно создано в целях исследования, он должен стать гибкой платформой для решения индивидуальных потребностей в научных исследованиях. MassMine создан для работы как на персональных компьютерах, так и на выделенных серверах/кластерах. MassMine умеет работать данными для авторизации, ограничением скорости, сбором данных и архивированием, а также настраивовым экспортом и анализом данных.
С MassMine вы можете:
- Автоматизировать доступ к социальным медиа и веб-данным через гибкий интерфейс. MassMine работает как на персональных компьютерах, так и в безголовом окружении, таком как выделенные сервера.
- Собирать текущие и прошлые данные из таких источников как Twitter, Facebook, Google trends и Wikipedia. Ваши данные сохраняются на вашей локальной машине.
- Обрабатывать и анализировать ваши данные для удовлетворения разведочным и целенаправленным исследованиям тенденций социальных медиа и связанности сети.
MassMine — это инструмент исследования, созданный для упрощения сбора и использования данных из социальных медиа.
В частности, MassMine:
- Создан для использования на персональных компьютерах или на серверах/кластерах.
- Работает с получением данных с сайтов, таких как Twitter, Wikipedia и т. д., в том числе придерживается лимитов, налагаемых этими сёрвисами.
- Делает лёгкой настройку пользовательских запросов, что позволяет гибкое развёртывание под индивидуальных исследовательские нужды.
- Автоматически создаёт и управляет базами данных собранной информации. Это означает, что все твиты, тренды, посты и т. д., связанные с вопросами вашего исследования, постоянно сохраняются на ваш локальный жёсткий диск.
- Он создан для долгоработающих проектов по сбору данных. MassMine делает простым создание вашей собственной базы данных контента социального медиа, охватывающую дни, месяца или года.
-
Баланс между простотой использования и мощной гибкостью:
- Предлагает доступ к API социальных медиа.
- Создан так, что даже не-программисты могут работать с исследованиями больших данных, но для продвинутых пользователей предложена дополнительная функциональность.
Документация: http://www.massmine.org/docs/index.html
Домашняя страница: http://www.massmine.org/
Автор: Nicholas M. Van Horn
Лицензия: GPLv3+
Справка по MassMine
Использование:
massmine ... [опции...]
-h, --help Информация помощи
-v, --version Информация о версии
-p, --project=ИМЯ Создать проект
-a, --auth=ФАЙЛ Файл с учётными данными
-o, --output=ФАЙЛ Файл для записи
-t, --task=ЗАДАЧА Имя задачи
-q, --query=ЗАПРОС Строка запроса
-c, --count=ЧИСЛО Количество записей
-d, --dur=СЕКУНДЫ Максимальное время выполнения
-g, --geo=ЛОКАЦИЯ Расположение
-l, --lang=ЯЗЫК Язык
-u, --user=ИМЯ Имя экрана
--date=ГГГГ-ММ-ДД Дата (или диапазон даты)
--config=ФАЙЛ Файл конфигурации
--no-splash Блокировать экран заставки
Смотрите 'massmine -h <опция>' для чтения о конкретной опции
или 'massmine -h task-options' для просмотра опций, поддерживаемых каждой задачей
или 'massmine -h examples' для детальных примеров
Руководство по MassMine
Страница man отсутствует.
Примеры запуска MassMine
Автоматический сбор информации по аккаунтам Twitter'а
В первую очередь необходима ввести данные своей учётной записи Twitter'а, для этого наберите
./massmine --task=twitter-auth
Дополнительные подробности будут показаны в программе.
Найти всех фолловеров твиттер-аккаунта FakeMORF
./massmine --task=twitter-followers --user=FakeMORF
Посмотреть последние 10 твиттов твиттер-аккаунта FakeMORF
./massmine --task=twitter-user --count=10 --user=FakeMORF
Собрать 200 твитов из Twitter в реальном времени, совпадающих с ключевым словом 'love'. Записать результаты в файл my_data.json
massmine -t twitter-stream -c 200 --query love -o my_data.json
Как и выше, но собрать максимальное количество твитов за 10 секунд
massmine -t twitter-stream -d 10 -q love -o my_data.json
Поиск по 100 предыдущим существующим твитам, содержащих 'potato' или 'climbing'. Ограничить результат английскими твитами. Напечатать результат в стандартный вывод (не в файл). Обратите внимание на одиночные кавычки вокруг сложных запросов.
massmine -t twitter-search -c 100 -q 'potato OR climbing' -l en
Получить текущие топ-10 тенденций в мире
massmine -t twitter-trends -g 1
Как и выше, но убрать экран заставки MassMine
massmine -t twitter-trends -g 1 --no-splash
Получить текущий топ-10 тенденций, исключая #hashtags, в New York, New York. Записать результаты в файл NY_trends.json
massmine -t twitter-trends-nohash -g 2459115 -o NY_trends.json
Автоматизированная работа с Википедией (Wikipedia)
Получить все ссылки, включённые в заданную страницу Википедии.
massmine --task=wikipedia-page-links --query=Earl_Grey_tea
Поиск в Википедии по ключевому слову. Возвращается метаинформация для всех страниц содержащих совпадения поисковому запросу.
massmine --task=wikipedia-search --query=bergamot
Вернуть полный текст (просто текст с удалённым форматированием), заданной страницы Википедии.
massmine --task=wikipedia-text --query=Earl_Grey_tea
Вернуть количество ежедневных просмотров заданной страницы Википедии за указанный месяц.
massmine --task=wikipedia-views --query=Earl_Grey_tea --date=2015-09-01
Установка MassMine
Установка MassMine из бинарных файлов
MassMine должна работать на большинстве версий Linux, FreeBSD, OpenBSD и Mac OS X. Продвинутым пользователям рекомендуется собрать MassMine из исходников.
Загрузите подходящий вам исполнимый файл с официального сайта: http://www.massmine.org/docs/install.html
Распакуйте скаченный архив:
Для zip-архивов:
unzip massmine-*
Для тарболов:
tar -xzf massmine-*
В результате будет создана директория “massmine”. Это всё, что вам нужно для работы! Вы можете переместить эту директорию в любое место в вашей файловой системе для надёжного хранения.
Внутри директории “massmine” вы найдёте исполнимый файл под названием massmine. Вы можете запустить его напрямую для быстрого старта. Работа внутри директории “massmine”
./massmine --help
Ещё лучше создать команду massmine, доступную из любого места на вашем компьютере, это можно создав символьную ссылку на исполнимый файл, который размещён где-то на вашем компьютере. Опять показана команда для рабочей директории “massmine”:
ln -s `pwd`/massmine /usr/local/bin
Вам могут понадобиться административные привилегии для последней команды, в этом случае попробуйте:
sudo ln -s `pwd`/massmine /usr/local/bin
Это всё! Теперь вы готовы для использования massmine.
Установка MassMine из исходных файлов
Загрузите код:
git clone https://github.com/n3mo/massmine.git
Для установки запустите файл deploy.sh. Для успешного завершения должны быть установлены зависимости, которые не документированы. Как минимум, должен быть установлен пакет chicken-bin:
apt-get install chicken-bin
Скриншоты MassMine
Это утилита командной строки.
Инструкции по MassMine
Ссылки на инструкции будут добавлены позже.
Comments are Closed