Как извлекать данные из различных источников
Поиск с открытыми исходными кодами — это не только интересное мастерство само по себе, но и значительный навык, какой сможет понадобиться в настоящих расследованиях. эмпирические трекеры просто применяют специфические инструменты, В этой статье мы рассмотрм как извлекать данные из различных источников.
SNOOP PROJECT
Project Snoop — перспективный инструмент, полезный в основном в странах СНГ. Он может осуществлять поиск по более чем 3000 веб-сайтам. Я не смог бы процитировать и десятой части этого, но он умеет извлечь из каждого из них хоть немного информации. Большим преимуществом является кроссплатформенность. Snoop можно легко использовать в Linux, Windows и даже Android (вам понадобится Termux).
Для установки перейдите на страницу выпусков инструментов, выберите самую последнюю версию и загрузите файл на нашу платформу.
mkdir Snoop
wget https://github.com/snooppr/snoop/releases/download/V1.3.8_7_July_2023/Snoop.for.GNU_Linux.rar
unrar e Snoop.for.GNU_Linux.rar Snoop
Меня немного удивило, что автор распространяет бинарник Linux в виде RAR-архива.
Вы должны запускать не скрипт, который можно открыть и проверить, а кота в мешке с непонятным содержимым. Это неправильно делать.
Но мы работаем в виртуальной среде, поэтому сам дьявол нам не брат. Предоставляем права на запуск и выполняем:
chmod +x snoop_cli
./snoop_cli -f username
Результаты поиска отображаются не только в терминале, но и в виде HTML-файла, где удобно сортировать результаты.
Инструмент очень крутой, хоть и не без странностей, и ему однозначно есть место при разнообразных расследованиях.
OCTOSUITE
Project Snoop нужен для сбора информации о пользователях, репозиториях и организациях на GitHub. С помощью этого скрипта можно получить информацию о разработчиках, коммитах, задачах и так далее — все бесплатно, без регистрации и СМС. Полезно для тех, кто хочет встроить в свой конвейер анализа никнеймов как можно больше интересных инструментов, но не знает, как добраться до GitHub.
Установка предельно простая через pip:
pip install octosuite
Справка по командам Octosuite доступна по ключу -h.
Для демонстрации я забил в аргументы свой ник и посмотрел, что оно выведет:
octosuite --method user_profile --username username
Конечно, в Octosuite доступны и другие функции, которые позволяют просматривать список пользовательских репозиториев, информацию о каждом конкретном репозитории, включая его форки, и многое другое.
NETSOC_OSINT
Этот скрипт написан на Bash и направлен на загрузку максимального количества информации о пользователе из отдельных социальных сетей. При этом авторизация в них не требуется. Выглядит это так: вы выбираете одну из доступных сетей и работаете исключительно в рамках того, что доступно конкретно для нее. Но делайте это максимально точно. Но лично для меня самым важным было то, что для работы скрипта даже не нужно доставать API токены левых аккаунтов и вписывать их в конфиги.
Поддерживаются следующие сервисы:
- Instagram;
- TikTok;
- Twitter/X;
- Twitch;
- Telegram;
- GitHub.
Для каждого доступна работа не только с открытыми, но и с приватными учетными записями.
Установка проста. Сценарий представляет собой всего лишь один файл без каких-либо зависимостей (если у вас нет Bash). Давайте загрузим репозиторий, предоставим разрешения на выполнение и начнем.
Вы можете установить язык и тогда мы перейдем в само меню инструментов. Здесь вам будет предложено выбрать интересующую вас социальную сеть.
В качестве теста я покажу вам поиск в Instagram, Telegram и GitHub. Сначала выберите Instagram, введите никнейм человека, которого ищете, и посмотрите результаты.
Результаты для Telegram, увы, выглядят очень скудно: фактически все это можно посмотреть и самостоятельно в любом клиенте. Даже ID аккаунта не выводится, что совсем уж ни в какие ворота не лезет. Зато есть возможность скачать аватарку, если она тебе по какой‑нибудь причине вдруг понадобится.
Информации про GitHub уже куда больше, и удобно, что ее можно получить целиком. Смысл от использования однозначно есть.
В целом инструмент предоставляет достаточно полную информацию (в пределах того, что доступно через сам сервис), при этом не требуя никаких ключей для доступа к API.
ZEHEF
Программа Zehef написана на Python и предназначена для сбора информации об адресе электронной почты. Он проверяет репутацию адреса в различных источниках и разыскивает допустимо сопряженные аккаунты в социальных сетях. очень положительно проверить, имеется ли где-нибудь электронная почта, а при определенном успехе еще и заполучить логины от аккаунтов в социальных сетях и прочих сервисах.
Для установки Zehef просто клонируем репозиторий и устанавливаем зависимости:
git clone https://github.com/N0rz3/Zehef.git
cd Zehef
pip install -r requirements.txt
Запускаем:
python3 zehef.py <email>
Вывод попытались красиво отформатировать, но он оказался не очень информативным. Вам придется просмотреть всю постановку, чтобы собрать все интересное, а интересного очень много.
Мы видим, что наш тестовый адрес имеет учетные записи, а также зарегистрирован в Twitter/X, GitHub и нескольких порносайтах.
Как и любая более или менее сложная программа, Zehef иногда выдает ошибки. Если вы получили ошибку, подобную той, что на скриншоте ниже, удалите код поиска TikTok и все заработает как надо.
Стереть нужно вот этот файл:
Zehef/modules/possible_accounts/social/tiktok.py
А также удаляй выделенные на скриншотах ниже части кода в Zehef/output/main.py.
Альтернативный вариант — просто закомментировать глючные участки
TOUTATIS
Toutatis знает, как получить от инстаграм-аккаунта даже больше, чем видно в клиенте. данный план даже выводит контактную информацию, подобную как адрес электронной почты и заключительные две цифры номера телефона. Да, настоящее не так много, как хотелось бы, но полезно, если номер цели сейчас знаком и вам просто необходимо подтверждение, что это их аккаунт.
Все, что вам нужно установить, это pip. Я настоятельно рекомендую установить версию 1.3, поскольку другие оказались проблематичными.
Тогда нам понадобится файл cookie сеанса Instagram для работы. Заходим в специально созданную учетную запись и копируем cookie sessionid любым удобным способом. Например, в браузере Chrome нажмите клавишу F12, и наш идентификатор сеанса появится на вкладке «Хранилище» в разделе «Файлы cookie».
Копируем его и вставляем в команду для запуска (аргумент -s).
toutatis -u <username> -s <sessionid>
Вместо <username> вставляем юзернейм интересующей нас учетной записи.
Toutatis работает отлично, жаль только то, что вам придется получать идентификатор сеанса вручную. Если бы он автоматически научился это делать, было бы еще лучше.
ВЫВОДЫ
Нынешние пять инструментов станут замечательным добавлением к вашему тревожному OSINT-чемодану, хотя и не смогут всецело сменить коммерческие решения для взрослых. Впрочем отдельные из них расширяют большие инструменты, которые не работают с некоторыми незначительными источниками. Это может являться полезным.