历史潮流浩浩荡荡,顺之者昌,逆之则亡。——孙中山

社工库搭建

信息安全 徐 承恩 302℃ 0评论

社工库想必大家伙都懂!

一、技术选型 

Elasticsearch + javaWeb

社工库主要用来检索用户数据,数据量一般在数十亿甚至数百亿,只有写入(导入)和查询,写入次数少,查询次数多,频率高。

与数据库比起来,es支持的数据量更大,更方便水平扩展,天生高可用,检索更快(实际测试5亿数据毫秒级响应),各原始数据的导入更方便。

对于前端交互用java或者python或者php本质上没有多少区别,比较社工库的用户量不大,前端开发工作量也不大。

二、系统搭建

1.硬件

磁盘1T 内存16G * 3

2.软件

centos6.5 + jdk1.8 + elasticsearch2.3.3

3.elasticsearch集群配置

node1

node2和node3

插件安装

4.数据导入

社工库的原始数据,一般是mysql、mssql数据库备份数据,或者是大文本文件。

a.文本数据,通过python读文本,使用es库写索引

b.数据库备份文件,首先还原到对应数据库中,然后通过elasticsearch-jdbc或logstash写索引

三、数据检索

完成步骤二后,访问“http://172.1.1.33:9200/_plugin/head/”

head插件提供了基础的数据查询,状态展示等功能,基础的社工库功能已实现。

在对外提供服务时,设计页面,完成elasticsearch查询接口实现。

转载请注明:徐叔科技 » 社工库搭建

喜欢 (4)or分享 (0)
发表我的评论
取消评论
表情

嗨,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址