背景
在21世纪的信息安全领域,网络安全已经成为各个领域关注的焦点。随着全球网络攻击事件的增多,企业和个人面临的安全挑战也愈发严峻。掌握最新的漏洞信息是强有力的防御措施之一,而 CNVD(China National Vulnerability Database,即中国国家信息安全漏洞共享平台)作为中国的重要资源库,为研究人员和网络安全从业者提供了全面的漏洞数据支持。本指南将详细解析如何通过自动化脚本方案,稳妥、高效地获取 CNVD 提供的共享 XML 数据。
前期准备
账户注册与验证
在开启数据之旅之前,首要任务是注册并登录 CNVD 平台账户。使用以下步骤确保您获得全面访问权限:
- 访问官网:打开浏览器,输入 [CNVD 官方网站]。
- 账户创建:查找页面中的注册按钮,点击进入注册页面。注册过程可能需要填写详细的个人信息,包括用户名、电子邮箱、密码等。
- 邮箱验证:提交注册信息后,您会收到一封来自 CNVD 的邮件,包含账户激活链接。请及时查阅您的邮箱并激活账户以完成注册流程。
注册并登录后,您可以访问共享数据下载页面。获得数据访问权限不仅是为了获取技术资料,也是为了合法合规地遵循平台使用条款。
浏览器环境配置
为确保脚本的流畅运行,我们推荐使用现代化的浏览器,如 Google Chrome 或 Mozilla Firefox。这些浏览器对 JavaScript 的支持完善,通过配合开发者工具,能够更好地进行脚本调试与执行。
- 安装插件:确保浏览器支持 JavaScript 和相关功能扩展。必要时,您可以访问浏览器扩展商店下载开发者友好的插件,比如 JSON Viewer、XML Formatter 等工具。
- 启用开发者工具:在浏览器中按下
F12
键(或通过菜单访问工具)可以开启开发者工具。在进行脚本开发及调试过程中,该工具是不可或缺的。
需求分析
数据的重要性与挑战
在复杂的网络环境中,漏洞信息的及时性和完整性是保障网络安全的基石。准确掌握潜在威胁,制定有效防御措施,不仅可防止经济损失,也可保护企业声誉。由于 CNVD 提供的漏洞信息详尽而及时,是开展漏洞研究与安全分析的重要数据源。
然而,直接的爬虫抓取方式常常因受反爬机制限制而面临挑战。因此,我们转而关注 CNVD 提供的共享数据接口,以低频、不干扰的访问策略实现数据的批量获取。
自动化解决方案
为实现数据的自动化下载,我们探讨如下两种方案:
- 按钮自动点击:通过脚本模拟用户在页面上点击下载链接,通过设置浏览器的不同选项,实现自动翻页下载。这种方法需要处理页面DOM元素,难度较高。
- 链接请求循环:通过发送请求获取每个独立数据链接,这是基于URL结构规律实现的爬虫方案。这一方法实现路径简单明了,只需了解页面的链接结构,即可实现自动化。
经过对比后,我们选择了第二种方案。经过页面分析,发现 CNVD 的数据下载链接遵循 https://www.cnvd.org.cn/shareData/download/编号
的模式,这为自动化提供了技术可行性。
实施步骤
引入 FileSaver.js
由于浏览器环境的限制,JavaScript 默认无法直接保存文件。因此,我们引入 FileSaver.js
这一 JavaScript 库,允许在客户端环境保存文件。具体步骤如下:
脚本与引入:复制并引入。
var saveAs = saveAs || (function(view) { "use strict"; // IE <10 is explicitly unsupported if (typeof view === "undefined" || typeof navigator !== "undefined" && /MSIE [1-9]\./.test(navigator.userAgent)) { return; } var doc = view.document // only get URL when necessary in case Blob.js hasn't overridden it yet , get_URL = function() { return view.URL || view.webkitURL || view; } , save_link = doc.createElementNS("http://www.w3.org/1999/xhtml", "a") , can_use_save_link = "download" in save_link , click = function(node) { var event = new MouseEvent("click"); node.dispatchEvent(event); } , is_safari = /constructor/i.test(view.HTMLElement) || view.safari , is_chrome_ios =/CriOS\/[\d]+/.test(navigator.userAgent) , throw_outside = function(ex) { (view.setImmediate || view.setTimeout)(function() { throw ex; }, 0); } , force_saveable_type = "application/octet-stream" // the Blob API is fundamentally broken as there is no "downloadfinished" event to subscribe to , arbitrary_revoke_timeout = 1000 * 40 // in ms , revoke = function(file) { var revoker = function() { if (typeof file === "string") { // file is an object URL get_URL().revokeObjectURL(file); } else { // file is a File file.remove(); } }; setTimeout(revoker, arbitrary_revoke_timeout); } , dispatch = function(filesaver, event_types, event) { event_types = [].concat(event_types); var i = event_types.length; while (i--) { var listener = filesaver["on" + event_types[i]]; if (typeof listener === "function") { try { listener.call(filesaver, event || filesaver); } catch (ex) { throw_outside(ex); } } } } , auto_bom = function(blob) { // prepend BOM for UTF-8 XML and text/* types (including HTML) // note: your browser will automatically convert UTF-16 U+FEFF to EF BB BF if (/^\s*(?:text\/\S*|application\/xml|\S*\/\S*\+xml)\s*;.*charset\s*=\s*utf-8/i.test(blob.type)) { return new Blob([String.fromCharCode(0xFEFF), blob], {type: blob.type}); } return blob; } , FileSaver = function(blob, name, no_auto_bom) { if (!no_auto_bom) { blob = auto_bom(blob); } // First try a.download, then web filesystem, then object URLs var filesaver = this , type = blob.type , force = type === force_saveable_type , object_url , dispatch_all = function() { dispatch(filesaver, "writestart progress write writeend".split(" ")); } // on any filesys errors revert to saving with object URLs , fs_error = function() { if ((is_chrome_ios || (force && is_safari)) && view.FileReader) { // Safari doesn't allow downloading of blob urls var reader = new FileReader(); reader.onloadend = function() { var url = is_chrome_ios ? reader.result : reader.result.replace(/^data:[^;]*;/, 'data:attachment/file;'); var popup = view.open(url, '_blank'); if(!popup) view.location.href = url; url=undefined; // release reference before dispatching filesaver.readyState = filesaver.DONE; dispatch_all(); }; reader.readAsDataURL(blob); filesaver.readyState = filesaver.INIT; return; } // don't create more object URLs than needed if (!object_url) { object_url = get_URL().createObjectURL(blob); } if (force) { view.location.href = object_url; } else { var opened = view.open(object_url, "_blank"); if (!opened) { // Apple does not allow window.open, see https://developer.apple.com/library/safari/documentation/Tools/Conceptual/SafariExtensionGuide/WorkingwithWindowsandTabs/WorkingwithWindowsandTabs.html view.location.href = object_url; } } filesaver.readyState = filesaver.DONE; dispatch_all(); revoke(object_url); } ; filesaver.readyState = filesaver.INIT; if (can_use_save_link) { object_url = get_URL().createObjectURL(blob); setTimeout(function() { save_link.href = object_url; save_link.download = name; click(save_link); dispatch_all(); revoke(object_url); filesaver.readyState = filesaver.DONE; }); return; } fs_error(); } , FS_proto = FileSaver.prototype , saveAs = function(blob, name, no_auto_bom) { return new FileSaver(blob, name || blob.name || "download", no_auto_bom); } ; // IE 10+ (native saveAs) if (typeof navigator !== "undefined" && navigator.msSaveOrOpenBlob) { return function(blob, name, no_auto_bom) { name = name || blob.name || "download"; if (!no_auto_bom) { blob = auto_bom(blob); } return navigator.msSaveOrOpenBlob(blob, name); }; } FS_proto.abort = function(){}; FS_proto.readyState = FS_proto.INIT = 0; FS_proto.WRITING = 1; FS_proto.DONE = 2; FS_proto.error = FS_proto.onwritestart = FS_proto.onprogress = FS_proto.onwrite = FS_proto.onabort = FS_proto.onerror = FS_proto.onwriteend = null; return saveAs; }( typeof self !== "undefined" && self || typeof window !== "undefined" && window || this.content )); // `self` is undefined in Firefox for Android content script context // while `this` is nsIContentFrameMessageManager // with an attribute `content` that corresponds to the window if (typeof module !== "undefined" && module.exports) { module.exports.saveAs = saveAs; } else if ((typeof define !== "undefined" && define !== null) && (define.amd !== null)) { define("FileSaver.js", function() { return saveAs; }); } var downloadTextFile = function(mobileCode,a) { if(!mobileCode) { mobileCode = ''; } var file = new File([mobileCode], a+".txt", { type: "text/plain;charset=utf-8" }); saveAs(file); } var a = 242; var timer = setInterval(function(){ a = a+1; if(a>733){clearInterval(timer)} $.ajax({method:'GET',url:'/shareData/download/'+a,success:function(res){ downloadTextFile(res,a)}} )}, 2000)
- 库初始化:在网页中,通过
<script>
标签加载库文件,确保在后续代码调用时已完成加载。
<script src="path/to/FileSaver.min.js"></script>
脚本开发与测试
设计并编写 JavaScript 脚本,自动化请求并下载 XML 数据:
var downloadTextFile = function(content, fileName) {
if(!content) content = ''; // 确保内容非空
var file = new File([content], fileName + ".xml", { type: "application/xml;charset=utf-8" });
saveAs(file);
}
随后,通过 jQuery 实现 AJAX 请求,以遍历并获取所有数据链接:
var start = 242;
var end = 733; // 应根据 CNVD 实时更新调整
var timer = setInterval(function() {
if (start > end) {
clearInterval(timer);
console.log('下载完成');
return;
}
$.ajax({
method: 'GET',
url: '/shareData/download/' + start,
success: function(res) {
console.log('下载成功: ' + start);
downloadTextFile(res, 'CNVD-' + start);
start++;
},
error: function(err) {
console.log('下载失败: ' + start);
start++;
}
});
}, 2000);
说明:调试过程中,观察是否存在请求频率超出网站限制的情况,可适时调整 setInterval
的时间参数。
数据处理与清洗
完成下载后,需对文件进行数据清洗。可能会有一些文件因为内容为空而不需要保留。使用 Python 脚本,自动删除这些体积较小的文件:
import os
def clean_directory(path):
for root, _, files in os.walk(path):
for file in files:
file_path = os.path.join(root, file)
if os.path.getsize(file_path) < 2048: # 小于2KB的文件
os.remove(file_path)
print(f"Removed: {file_path}")
if __name__ == '__main__':
download_path = './CNVD'
clean_directory(download_path)
总结与展望
完成上述步骤后,您将获得未经清洗与处理的漏洞 XML 文件。在数据的应用阶段,可以进一步结合数据分析手段、自然语言处理技术进行信息提取与漏洞特性挖掘。
在网络安全快速演变的背景下,持续的漏洞数据监测和分析将为机构提供坚实的安全基础。随着 CNVD 更新的持续和技术的革新,希望本指南能为网络安全从业者提供实用支持,并帮助大家在信息安全的道路上走得更远。
通过本次扩展,我们在详细讲解每个实施步骤的同时,还提供了重要的背景知识及操作细节,以帮助您充分利用 CNVD 数据进行安全研究。如果您有更具体的需求或问题,欢迎与我讨论与交流。