Traffic analyze tools网络流量分析工具

这个仓库用于测评、使用和modify现有的流量分析工具，尤其是pcap等文件的静态分析、DPI，而非关注整个工具链条和实时轻量分析

pywhat：可用于pcap分析和字段分析

pywhat能够通过格式正则化发现并识别各类文本和文件中的IP地址、URI、邮箱地址、电话号码、信用卡号、加密货币地址、经纬度等关键信息，能用于分析pcap里有什么和字符串是什么，即内容信息提取工具，支持命令行和python API。
bee-san/pyWhat: 🐸 Identify anything. pyWhat easily lets you identify emails, IP addresses, and more. Feed it a .pcap file or some text and it’ll tell you what it is! 🧙‍♀️ (github.com)

1
2
3
pip3 install pywhat && pywhat --help
# 高速版本
$ pip3 install pywhat[optimize]

常用方法：

1
2
3
4
5
6
7
what [字符串 |文件路径|文件夹路径]
# 例如：
what "0x52908400098527886E0F7030069857D2E4169EE7"
what  xxx.pcap
what ./
# 查看支持的结果过滤规则：include\exclude\
pywhat --tags

其它：排序/导出结果和匹配

  • Sorting You can sort the output by using what -k rarity --reverse TEXT. Use what --help to get more information.

  • Exporting You can export to json using what --json and results can be sent directly to a file using what --json > file.json.

  • Boundaryless mode What has a special mode to match identifiable information within strings.
    Pywhat API：
    api文档目录：查询返回结果-get started-主要函数的参数-过滤等更多

[flowcontainer]：基于tshark和python的流级基本信息提取工具(https://github.com/jmhIcoding/flowcontainer)

过滤: 默认滤除重传、乱序数据包、mdns、ssdp、icmp数据包，只保留IP数据包。
提取目标: 默认为流的源IP，源端口，目的IP，目的端口，IP包长序列，IP包到达时间序列，流到达时间戳、流结束时间戳、载荷长度序列，载荷到达时间序列，还可以提取其它部分
速度：50G左右的流量2个小时左右即可完成所有流信息的提取，5G左右的流量12分钟即可解析完毕。

sniffnet: Comfortably monitor your Internet traffic 🕵️‍♂️

本不想介绍，但是star太多，研究了一下，最大的优势是简单易用，阅览页直观展示了所有服务、流数量，可以设置警报/事件触发器、过滤器、监听网卡，用处不大
输入图片说明
输入图片说明

Scapy

这个不用讲了，非常便于包操作的python工具,但是比较慢，适合小流量

待调研/测试：

zeek

这是我要找的 ！！

  • 深入分析：Zeek包含许多分析器，能够在应用层进行高级语义分析。
  • 适应性和灵活性：Zeek的特定领域脚本语言允许特定站点的监控策略，并且不局限于任何特定的检测方法。
    参考：

fq: jq for binary formats - tool, language and decoders for working with binary and text formats

my_awesome/网络分析.md at master · regoo/my_awesome (github.com)

PcapPlusPlus：似乎是c++版本的

PcapPlusPlus is a multiplatform C++ library for capturing, parsing and crafting of network packets. It is designed to be efficient, powerful and easy to use.
It provides C++ wrappers for the most popular packet processing engines such as libpcap, Npcap, WinPcap, DPDK, AF_XDP and PF_RING

但是其处理速度慢于libpacp,因为它是基于libpcap的，请看Benchmarks | PcapPlusPlus.

pcapplusplus vs libpcap

libpcap、tshark、flowcontainer

PcapPlusPlus Alternatives - C++ Networking | LibHunt