n2disk™
具有索引功能的10/40 Gbit网络流量记录器
n2disk™是网络流量记录器应用程序。使用n2disk™,您可以从实时网络接口以几Gigabit速率(在足够的硬件上以10 Gigabit / s以上)捕获全尺寸的网络数据包,并将其写入文件中而不会丢失任何数据包。n2disk™旨在将文件长时间写入磁盘,您必须指定在执行过程中可以写入的不同文件最大数量,如果n2disk™达到最大文件数量,它将开始回收文件从最旧的一个。这样,您可以在固定的时间窗口中完整了解流量,并提前知道所需的磁盘空间量。
n2disk™使用行业标准的PCAP文件格式将数据包转储到文件中,因此可以将输出结果轻松地与现有的第三方甚至开放/源分析工具(例如Wireshark)集成。
n2disk™的设计和开发主要是因为大多数网络安全系统都依赖于捕获完整大小的数据包,因为任何数据包都可能导致了攻击或包含了我们试图发现的问题。Netflow信息更易于管理,并且需要存储的磁盘空间更少,但是在某些情况下,例如深度数据包检查分析或受控的流量再生,它并没有用。
n2disk™可以有效地执行许多活动,其中包括:
- 通过提供诸如Snort之类的专用工具来进行离线网络数据包分析。
- 重建特定的通信流或网络活动。
- 将先前捕获的流量复制到其他网络接口。
n2disk™的主要功能
当前的n2disk™版本远不只是一个简单的“从数据包到磁盘”的应用程序。n2disk™的部分功能包括:
- 完全可由用户配置
- 使用标准PCAP文件格式(常规和纳秒级)
- 线速64字节数据包到磁盘记录
- 支持Intel 1/10 / 40Gbit商品适配器(Intel和Myricom)和FPGA加速的NIC(Accolade Technology, Napatech和Silicom / Fiberblaze)
- 40 Gbit连续数据包到磁盘,具有FPGA加速的NIC(以及足够的存储子系统)
- BPF筛选器支持(使用与流行的tcpdump工具相同的格式)从记录过程中过滤掉不需要的网络数据包
- 优化的类似于BPF的过滤器支持,可以更快地替换BPF过滤器(支持BPF语法的子集),该过滤器可用于数据包捕获和捕获后过滤
- 多核支持。n2disk™在设计时考虑了多核架构。它至少使用2个线程(一个用于数据包捕获,一个用于磁盘写入),并且可以使用多个线程进一步并行化数据包捕获。线程之间的通信已经过仔细优化
- PF_RING加速。n2disk™利用标准PF_RING和PF_RING ZC提供的数据包捕获加速。
- 直接IO磁盘访问。n2Disk™采用直接IO方式访问磁盘,以获得最大的磁盘写吞吐量。
- 实时索引。n2disk™能够在数据包捕获过程中动态生成索引。可以使用类似于BPF的语法查询索引,以在指定的时间间隔内快速检索感兴趣的数据包。除了每个转储文件索引之外,n2disk™还可以生成时间轴,这是一种按时间顺序保存整个捕获流量的方法。使用n2disk™随附的实用程序,可以在时间轴上查询在给定时间间隔内属于整个转储集的特定数据包。
- PCAP和索引压缩。n2disk™可以选择动态压缩PCAP文件和索引,从而优化I / O吞吐量和磁盘空间。
性能
n2disk™旨在跟上商用硬件上的多千兆位速率。
上表显示了使用以下系统配置进行的最差情况性能测试的结果:
上表显示了使用以下系统配置启用索引和PCAP压缩的性能测试结果:
数据包大小(字节) | n2disk™持续吞吐量,在10 Gbit时无丢包 | |
---|---|---|
固定的64 | 线速 | |
固定的128 | ||
固定512 | ||
随机64-1500 |
- OS: Ubuntu 16.04
- CPU: Intel(R) Xeon(R) E5-1660 v3 @ 3.0GHz
- Motherboard: Supermicro
- Memory: 32 GB
- Card: Intel PCIe X520 10 Gigabit
- Disks: 8x 1TB 10K RPM SATA
- Commands used:
- n2disk -i zc:eth1 -o /storage/ -p 1024 -b 4096 -q 1 -C 4096 -S 0 -c 1 -w 2
流量类型 | 压缩率 | 吞吐量 |
---|---|---|
合成的(64字节) | 95% | 线速 |
高频交易 | 82% | |
Internet/GTP | 6-10% |
- OS: Ubuntu 16.04
- CPU: Intel(R) Xeon(R) E5-1660 v3 @ 3.0GHz
- Motherboard: Supermicro
- Memory: 32 GB
- Card: Intel PCIe X520 10 Gigabit
- Disks: 8x 1TB 10K RPM SATA
- Command used:
- n2disk -i zc:eth1 -o /storage/ -b 4096 -C 4096 -p 1024 -g -s 1518 -M -I -A /storage/timeline/ -Z -S 0 -c 1 -z 2,3 -w 4 -m 100 -n 50 -H
用户指南
有关所有n2disk™配置选项和性能优化技术的信息,请参阅《n2disk™用户指南》
许可证license
n2disk是根据EULA分发的,每个系统需要一个许可证。
得到它
n2disk™有三种类型。您可以将其作为二进制软件包进行测试或获得永久许可证。所有Linux版本均支持Intel,Silicom和Napatech NIC。
n2disk 10/40/100 Gbit也可以解锁PF_RING FT以进行L7过滤(不需要其他许可证)。
版本 | 最大转存速度 | L7过滤 | Linux | Unix/OSX |
---|---|---|---|---|
n2disk1g | 1Gigabit | 支持(需要FT) | 原本的PF_RING支持 | 基本的基于libpcap的数据包捕获 如果需要可提供 |
n2disk5g | 5Gigabit | 支持(需要FT) | 增强的PF_RING支持 (即完整的数据包捕获加速) | 基本的基于libpcap的数据包捕获 如果需要可提供 |
n2disk | 10/40/100Gigabit | 支持(包括FT) | 多线程零拷贝数据包捕获 | 无法使用 |
注意: