基于分布式爬虫的高性能Tor网络内容监控系统

摘要：

随着网络的发展和普及,人们对于安全性、匿名性、反审查等信息安全的需求快速增强,越来越多的人开始关注和研究Tor匿名通信网络.目前针对Tor网络内容监控的研究工作大部分存在功能少、性能弱等劣势,如缺乏为暗网设计的专用爬虫,网络连接速度较慢,本文设计开发了一套综合性的Tor网络内容动态感知及情报采集系统,包含数据采集爬虫以及网页内容分类两个部分.其中爬虫部分使用了分布式架构,包括了任务管理模块、爬虫调度模块、网页下载模块、页面解析模块、数据存储模块,同时创新性地优化了 Tor连接链路以提高爬取速度和稳定性;网页内容分类部分使用了自然语言处理技术,建立训练模型并对抓取到的信息进行精准高效分类,解决分类的准确度和复杂性问题,最后根据结果分析暗网的内容结构和敏感信息.我们也相应地为保障系统运行设计了容错模块和预警模块,从而对系统各个组件的当前状态进行实时监控,并将系统的状态数据进行整合、收集和展示.最后我们将该系统放到了实际Tor网络环境中进行了测试,从系统网页爬取效果、内容分类效果及系统性能等三方面进行了评估和分析,并与国内外7中现有的框架的功能进行了对比,证明本文提出的方案在暗网域名、网页、数据爬取的量级和速度性能方面均为最佳.

关键词：洋葱路由、暗网、爬虫、自然语言处理

所属期刊栏目：8

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;公安部技术研究计划项目;陕西省自然科学基金;陕西省创新团队的资助

在线出版日期：2023-03-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：144-153