Молох - это система, которая предоставляет инструменты для визуальной оценки транспортных потоков. и поиск информации, относящейся к сетевой активности. Проект была создана в 2012 году с целью создания открытой замены торговой платформы. обработка сетевых пакетов, которая может масштабироваться до уровня объемов трафика AOL.
Внедрение новой системы в AOL позволило им получить полный контроль над инфраструктурой, развернув ее на своих серверах и значительно сократив расходы.
Использование Moloch для полного захвата трафика во всех сетях AOL стоит столько же, сколько при использовании коммерческого решения, которое раньше тратило на захват трафика в одной сети. Систему можно масштабировать для обработки трафика со скоростью до десятков гигабит в секунду. Объем хранимых данных ограничен только размером доступного дискового массива. Метаданные сеанса индексируются в кластере на основе механизма Elasticsearch.
О Молохе
Moloch включает инструменты для захвата и индексации трафика в формате PCAP. обычный, а также для быстрого доступа к индексированным данным.
Для анализа накопленной информации предлагается веб-интерфейс. что позволяет просматривать, искать и экспортировать образцы. Также предоставляется API, позволяющий передавать данные о перехваченных пакетах в формате PCAP и проанализированные сеансы в формате JSON со сторонними приложениями. Использование формата PCAP значительно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark.
Доступ к Молоху защищен с помощью HTTPS с надежными паролями или с помощью прокси-сервера для проверки подлинности, предоставляемого веб-сервером. Все PCAP хранятся в датчиках и доступны только через интерфейс Moloch или API. Moloch не предназначен для замены IDS, но работает вместе с ними для хранения и индексации всего сетевого трафика в стандартном формате PCAP, обеспечивая быстрый доступ.
Молох Он состоит из трех основных компонентов:
- Система захвата трафика: многопоточное приложение на языке C для мониторинга трафика, записи дампов PCAP на диск, анализа перехваченных пакетов и отправки метаданных о сеансах (SPI, проверка пакетов с отслеживанием состояния) и протоколах в кластер Elasticsearch. Файлы PCAP могут храниться в зашифрованном виде.
- Веб-интерфейс на платформе Node.js, который работает на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к индексированным данным и передачей файлов PCAP через репозиторий метаданных и API на основе Elasticsearch.
- Веб-интерфейс предоставляет различные режимы отображения.От общей статистики, карт соединений и наглядных графиков с данными об изменениях сетевой активности до инструментов для изучения отдельных сессий, анализа активности по протоколам и анализа данных из дампов PCAP.
Код написан на языке C (интерфейс Node.js / JavaScript) и распространяется под лицензией Apache 2.0. Поддерживается работа на Linux и FreeBSD. Готовые пакеты подготовлены для разных версий CentOS и Ubuntu.
Как установить Молох на Linux?
По умолчанию предлагаются пакеты, созданные для Ubuntu и CentOS, которые мы можем получить на официальном сайте проекта.
Те, кто использует Ubuntu, могут получить пакет, набрав одну из следующих команд.
Для Ubuntu 16.04 LTS:
wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-16.04/moloch_2.3.0-1_amd64.deb
Для Ubuntu 18.04 LTS:
wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-18.04/moloch_2.3.0-1_amd64.deb
Для установки просто введите:
sudo apt install ./moloch*.deb
В случае пользователей CentOS доступные пакеты можно получить, набрав.
6 CentOS
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-6/moloch-2.3.0-1.x86_64.rpm
7 CentOS
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-7/moloch-2.3.0-1.x86_64.rpm
8 CentOS
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-8/moloch-2.3.0-1.x86_64.rpm
Для установки просто введите:
sudo rpm install moloch*.rpm
Для других дистрибутивов компиляцию можно выполнить, набрав:
git clone https://github.com/aol/moloch ./easybutton-build.sh --install make config
Наконец, для конфигурации вы можете проконсультироваться вики по ссылке ниже.