一种基于银行家算法的网络爬虫资源配置策略

摘要：

死锁是多用户操作系统正常运行的一个重要问题，系统资源不足会导致爬虫算法进入不安全状态，进而引发死锁等问题。引入被广泛用于操作系统的银行家算法，调度多个网络爬虫进程并发运行，并且为每个进程合理分配系统资源，当进程无法获取系统资源时，则等待其他进程分配完成后释放系统资源，从而完成资源分配，有效降低死锁率。采用C＋＋编程，设计并实现基于银行家算法的网络爬虫配置策略。通过2 h 21 min 35 s工程测试，urllib2算法死锁率为30％，新算法死锁率仅为2％，测试证明该策略能够有效降低死锁率，能高效完成多个任务进程的资源分配。

关键词：操作系统、资源配置、死锁、系统安全、银行家算法、网络爬虫

分类号：TP361;TM75(计算技术、计算机技术)

在线出版日期：2015-08-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：494-498