需求    我们都知道nginx日志里面有域名，同时也有用户的远程ip。但是ip其实我们看不出什么东西，我们知道通过ip其实可以查询一些地理位置信息出来的（很多网站都可以直接查的）。这个过程就是GeoIP：就是通过来访者的IP，定位他的经纬度，国家/地区，省市，甚至街道等位置信息。而在logstash里面就有一个解决这个需求的插件：logstash-filter-geoip数据格式    logstash-filter-geoip 本身不用安装，logstash默认已经安装了，如果您的没有安装，可以直接执行安装命令/usr/share/logstash/bin/logstash-plugin install logstash-filter-geoip    该插件有如下信息"geoip" => { &nb;

缘由    git 目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求，因为代码也是公司的资产。这几年使用过好几个，最开始的是gitlab，我专门写过一篇文章：用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。Gitea    gitea是从 gogs发展而来的，我个人使用过程发现感觉比gogs安装和使用都方便，还有是开源的。这点必修要佩服哪些开源的人和团队，因为有了这些开源工具才让我们研发效率更高更快。具体更详细的介绍，可以看官方文档，具体链接我放在参考资料部分了。准备gitea需要数据库记录基本信息，数据库我选用的是MySQL安装  二进制安装最简单，参考地址：二进制安装文档 。下载执行就好了wget -O gitea https://dl.gitea.io/gitea/

缘由    我们在大数据数据里面有一类数据是 域名，例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理，这个其实就是TLD（TOP LEVEL DOMAIN）顶级域名解析过程。    大家看过我们前面ELK相关文章的，都知道我们处理过程是 FileBeat -> Redis -> LogStash -> ES 。在 聊聊公司的技术栈  这篇文章中我就说过这个过程，但是肯定很多人很郁闷，为什么不能直接从FileBeat 直接 到 ES。其实就是因为原始数据要结果处理之后才能进入ES，而FileBeat处理能力是有限并且是非常差的（至少我们在使用过程中发现就是这样的一个结果）。解决方案    logstash有很多插件可以用，找了很久发现了一个 ： https://gi

缘由        有个朋友是做广告推广的，圈内人称：放户。由于他们广告户特别多，客户有时候半夜喜欢加很多违禁词。这样人工就非常不好维护和监管，同时如果投放了违禁词被媒体或者代理发现了是要罚款的，罚款金额一般都不低。基于这样一个诉求 我们开发了 广告媒体风控系统思维导图主要诉求：方便账户管理，及时发现风险并及时报警并删除技术选型YII2框架MySQLBootstrapjQuery特别说明下，本系统就是基于我们今年整理过的CMS系统开发的，可以省不少事情，而不是每次来都是重新做数据流图        如下图可能有人会有疑问：为什么要使用这么多数据库对列表，而不使用redis。这里面其实有一个原因是，大部分使用这个系统的人 基本都不懂技术（他们擅长做广告），如果架构过于复杂 维护成本很高后续工作截图创意链接的初始图片监控创意链接的内容