摘要：针对Web访问日志中可疑请求难以逐条分析的问题，本文设计并说明了一套基于机器学习的异常访问行为检测系统。系统采用五层模块化架构，支持访问日志和CSIC格式CSV两类输入，围绕URL结构、时间、IP行为与客户端信息构建特征，并集成孤立森林、单类支持向量机和局部离群因子三种可切换的异常检测方法。通过PyQt5桌面工作台实现文件导入、参数配置、检测记录筛选、完整详情复核、运行日志与异常CSV导出。
内容简介
本文依据项目文档、界面截图及评估图表进行结果整理，并通过混淆矩阵复算主要指标。在61,065条记录的全量展示材料中，孤立森林准确率为73.03%，精确率67.62%，召回率65.82%，F1为66.71%；另行提供的18,320条评估图组对应准确率73.30%、F1为67.51%，ROC图标注AUC为0.80。三种方法表现出不同误报与漏报权衡，孤立森林在当前材料中具有较好的综合结果，LOF精确率较高但召回率较低。
研究形成了从日志解析、特征构建到结果复核的完整设计，并明确区分预测异常比例、真实异常率和无标签数据的统计含义。由于材料未提供完整源代码、原始数据及划分索引，实验结论限定于已给出的配置和统计，后续需补充独立复现、特征消融及跨场景验证。系统适合作为本地批量日志分析原型，为人工发现和调查可疑访问提供辅助。
文档概述
文档信息
版本：初稿
页数：49页
字数：20754个字
格式：word（可编辑）
图表：16张图、16张表、18个公式
文档目录
第1章 绪论 1
1.1 研究背景与意义 1
1.1.1 研究背景 1
1.1.2 研究意义 1
1.2 国内外研究现状 1
1.2.1 从规则识别到数据驱动分析 1
1.2.2 典型异常检测方法 2
1.2.3 现有问题与本课题切入点 2
1.3 研究内容与技术路线 2
1.4 论文组织结构 3
第2章 相关理论与关键技术 4
2.1 Web访问日志与检测对象 4
2.1.1 日志结构与字段含义 4
2.1.2 异常访问与攻击行为的关系 4
2.2 数据表示与特征预处理 5
2.2.1 从记录到特征矩阵 5
2.2.2 数值变换与编码 5
2.2.3 结构特征与行为特征 6
2.3 异常检测模型设计 6
2.3.1 孤立森林模型 6
2.3.2 单类支持向量机模型 7
2.3.3 局部离群因子模型 7
2.4 评价指标与分数约定 8
2.4.1 二分类评价指标 8
2.4.2 ROC曲线与异常分数方向 8
2.5 软件技术与本章小结 8
第3章 系统需求分析与总体设计 10
3.1 系统需求分析 10
3.1.1 用户角色与业务过程 10
3.1.2 功能需求 10
3.1.3 非功能需求 11
3.2 系统总体架构 11
3.2.1 五层模块化架构 11
3.2.2 模块接口与职责边界 12
3.3 数据层与特征工程设计 12
3.3.1 双通道输入设计 12
3.3.2 清洗与质量控制 13
3.3.3 四类特征的组织 13
3.4 算法接口与任务流程设计 14
3.4.1 统一输入输出约定 14
3.4.2 完整检测流程 15
3.5 界面与结果管理设计 17
3.6 本章小结 17
第4章 系统实现 18
4.1 开发环境与实现依据 18
4.2 数据导入与预处理实现 19
4.2.1 文件读取与格式识别 19
4.2.2 原始日志解析与生成数据 19
4.2.3 特征构建与原始记录保留 20
4.3 检测模块与统一适配 21
4.3.1 孤立森林调用流程 21
4.3.2 单类支持向量机调用流程 21
4.3.3 LOF调用与并列分数处理 22
4.4 图形交互与结果复核实现 23
4.4.1 筛选搜索与分页 23
4.4.2 详情窗口与人工复核 23
4.4.3 状态反馈与运行日志 24
4.5 结果导出与使用说明 25
4.5.1 异常记录导出 25
4.5.2 系统信息与帮助页面 25
4.6 本章小结 27
第5章 实验与结果分析 28
5.1 数据来源与实验口径 28
5.1.1 CSIC数据集与项目数据 28
5.1.2 材料分组与证据层级 28
5.2 全量展示结果与算法比较 29
5.2.1 预测分布与性能指标 29
5.2.2 误报与漏报的定量比较 29
5.2.3 训练耗时的来源与限制 30
5.3 评估图组的结果核算 30
5.3.1 混淆矩阵与指标一致性 30
5.3.2 ROC曲线与阈值关系 32
5.3.3 分数分布与错误构成 33
5.4 参数影响与功能案例分析 35
5.4.1 预期异常比例的影响 35
5.4.2 无标签场景的正确解释 36
5.5 实验有效性与改进验证方案 36
5.5.1 数据划分与泄漏控制 36
5.5.2 特征验证与消融设计 36
5.6 本章小结 37
第6章 总结与展望 38
6.1 工作总结 38
6.2 研究不足 38
6.3 后续研究方向 38
参考文献 40
致谢 42
配套项目
- 点击查看：基于网络日志的异常访问行为检测设计与实现
作者联系
作者信息
原创作者：bob（可提供二次开发有偿修改服务）
项目编号：SD-24-P
原创声明：本项目为原创作品
联系方式
开源协议
本项目采用AGPL-3.0开源协议，允许个人和组织自由使用、修改和分发代码，但基于本项目的衍生作品必须同样开源，且用于提供网络服务时需向用户提供完整源代码。本项目仅供学习研究使用，作者不对使用本项目产生的任何后果承担责任，使用者应遵守当地法律法规，合理合法使用本项目。如本项目对您的研究或工作有所帮助，欢迎引用并注明出处。
评论(0)