You are here: Home » Сбор информации » MassMine

MassMine

Описание MassMine

MassMine — это приложение для добычи и архивирования данных из социальных медиа, оно упрощает процесс сбора и управления большим количеством данных из множества источников. Оно создано в целях исследования, он должен стать гибкой платформой для решения индивидуальных потребностей в научных исследованиях. MassMine создан для работы как на персональных компьютерах, так и на выделенных серверах/кластерах. MassMine умеет работать данными для авторизации, ограничением скорости, сбором данных и архивированием, а также настраивовым экспортом и анализом данных.

С MassMine вы можете:

  • Автоматизировать доступ к социальным медиа и веб-данным через гибкий интерфейс. MassMine работает как на персональных компьютерах, так и в безголовом окружении, таком как выделенные сервера.
  • Собирать текущие и прошлые данные из таких источников как Twitter, Facebook, Google trends и Wikipedia. Ваши данные сохраняются на вашей локальной машине.
  • Обрабатывать и анализировать ваши данные для удовлетворения разведочным и целенаправленным исследованиям тенденций социальных медиа и связанности сети.

MassMine — это инструмент исследования, созданный для упрощения сбора и использования данных из социальных медиа.

В частности, MassMine:

  • Создан для использования на персональных компьютерах или на серверах/кластерах.
  • Работает с получением данных с сайтов, таких как Twitter, Wikipedia и т. д., в том числе придерживается лимитов, налагаемых этими сёрвисами.
  • Делает лёгкой настройку пользовательских запросов, что позволяет гибкое развёртывание под индивидуальных исследовательские нужды.
  • Автоматически создаёт и управляет базами данных собранной информации. Это означает, что все твиты, тренды, посты и т. д., связанные с вопросами вашего исследования, постоянно сохраняются на ваш локальный жёсткий диск.
  • Он создан для долгоработающих проектов по сбору данных. MassMine делает простым создание вашей собственной базы данных контента социального медиа, охватывающую дни, месяца или года.
  • Баланс между простотой использования и мощной гибкостью:

    • Предлагает доступ к API социальных медиа.
    • Создан так, что даже не-программисты могут работать с исследованиями больших данных, но для продвинутых пользователей предложена дополнительная функциональность.

Документация: http://www.massmine.org/docs/index.html

Домашняя страница: http://www.massmine.org/

Автор: Nicholas M. Van Horn

Лицензия: GPLv3+

Справка по MassMine

Использование:

massmine ... [опции...]

-h, --help Информация помощи

-v, --version Информация о версии

-p, --project=ИМЯ Создать проект

-a, --auth=ФАЙЛ Файл с учётными данными

-o, --output=ФАЙЛ Файл для записи

-t, --task=ЗАДАЧА Имя задачи

-q, --query=ЗАПРОС Строка запроса

-c, --count=ЧИСЛО Количество записей

-d, --dur=СЕКУНДЫ Максимальное время выполнения

-g, --geo=ЛОКАЦИЯ Расположение

-l, --lang=ЯЗЫК Язык

-u, --user=ИМЯ Имя экрана

--date=ГГГГ-ММ-ДД Дата (или диапазон даты)

--config=ФАЙЛ Файл конфигурации

--no-splash Блокировать экран заставки

Смотрите 'massmine -h <опция>' для чтения о конкретной опции

или 'massmine -h task-options' для просмотра опций, поддерживаемых каждой задачей

или 'massmine -h examples' для детальных примеров

Руководство по MassMine

Страница man отсутствует.

Примеры запуска MassMine

Автоматический сбор информации по аккаунтам Twitter'а

В первую очередь необходима ввести данные своей учётной записи Twitter'а, для этого наберите

./massmine --task=twitter-auth

Дополнительные подробности будут показаны в программе.

Найти всех фолловеров твиттер-аккаунта FakeMORF

./massmine --task=twitter-followers --user=FakeMORF

Посмотреть последние 10 твиттов твиттер-аккаунта FakeMORF

./massmine --task=twitter-user --count=10 --user=FakeMORF

Собрать 200 твитов из Twitter в реальном времени, совпадающих с ключевым словом 'love'. Записать результаты в файл my_data.json

massmine -t twitter-stream -c 200 --query love -o my_data.json

Как и выше, но собрать максимальное количество твитов за 10 секунд

massmine -t twitter-stream -d 10 -q love -o my_data.json

Поиск по 100 предыдущим существующим твитам, содержащих 'potato' или 'climbing'. Ограничить результат английскими твитами. Напечатать результат в стандартный вывод (не в файл). Обратите внимание на одиночные кавычки вокруг сложных запросов.

massmine -t twitter-search -c 100 -q 'potato OR climbing' -l en

Получить текущие топ-10 тенденций в мире

massmine -t twitter-trends -g 1

Как и выше, но убрать экран заставки MassMine

massmine -t twitter-trends -g 1 --no-splash

Получить текущий топ-10 тенденций, исключая #hashtags, в New York, New York. Записать результаты в файл NY_trends.json

massmine -t twitter-trends-nohash -g 2459115 -o NY_trends.json

Автоматизированная работа с Википедией (Wikipedia)

Получить все ссылки, включённые в заданную страницу Википедии.

massmine --task=wikipedia-page-links --query=Earl_Grey_tea

Поиск в Википедии по ключевому слову. Возвращается метаинформация для всех страниц содержащих совпадения поисковому запросу.

massmine --task=wikipedia-search --query=bergamot

Вернуть полный текст (просто текст с удалённым форматированием), заданной страницы Википедии.

massmine --task=wikipedia-text --query=Earl_Grey_tea

Вернуть количество ежедневных просмотров заданной страницы Википедии за указанный месяц.

massmine --task=wikipedia-views --query=Earl_Grey_tea --date=2015-09-01

Установка MassMine

Установка MassMine из бинарных файлов

MassMine должна работать на большинстве версий Linux, FreeBSD, OpenBSD и Mac OS X. Продвинутым пользователям рекомендуется собрать MassMine из исходников.

Загрузите подходящий вам исполнимый файл с официального сайта: http://www.massmine.org/docs/install.html

Распакуйте скаченный архив:

Для zip-архивов:

unzip massmine-*

Для тарболов:

tar -xzf massmine-*

В результате будет создана директория “massmine”. Это всё, что вам нужно для работы! Вы можете переместить эту директорию в любое место в вашей файловой системе для надёжного хранения.

Внутри директории “massmine” вы найдёте исполнимый файл под названием massmine. Вы можете запустить его напрямую для быстрого старта. Работа внутри директории “massmine

./massmine --help

Ещё лучше создать команду massmine, доступную из любого места на вашем компьютере, это можно создав символьную ссылку на исполнимый файл, который размещён где-то на вашем компьютере. Опять показана команда для рабочей директории “massmine”:

ln -s `pwd`/massmine /usr/local/bin

Вам могут понадобиться административные привилегии для последней команды, в этом случае попробуйте:

sudo ln -s `pwd`/massmine /usr/local/bin

Это всё! Теперь вы готовы для использования massmine.

Установка MassMine из исходных файлов

Загрузите код:

git clone https://github.com/n3mo/massmine.git

Для установки запустите файл deploy.sh. Для успешного завершения должны быть установлены зависимости, которые не документированы. Как минимум, должен быть установлен пакет chicken-bin:

apt-get install chicken-bin

Скриншоты MassMine

Это утилита командной строки.

Инструкции по MassMine

Ссылки на инструкции будут добавлены позже.

Близкие программы: