All Posts

常用工具 10 个爬虫工程师必备的工具：https://mp.weixin.qq.com/s/rpzXGjttpcNGubAy50CWpA --- 正则 写爬虫，怎么可以不会正则呢？https://mp.weixin.qq.com/s/BLma5UWhc1rtHL4GkG7s7Q --- XPath 简单的标签搜索：http://www.spbeen.com...

Mysql数据实时同步 go-mysql-elasticsearch 本节参考了：https://www.linuxhub.org/?p=4665；大部分内容是一样的，只是原文有些细节部分导致很多问题；全程下来遇到很多错误，这里填一下坑。 中间件：https://github.com/siddontang/go-mysql-elasticsearch 原理：...

起因 昨天下午，Codis集群的codis-server节点不停的timeout；因为下午开发那边运行了大量的服务，是很消耗带宽的，这是事先就知道的，当时以为是跑服务的原因，没有注意到机器出了问题（随机一个节点timeout的，如果只是一台出了问题，问题就好排除了） 到了晚上，网站开始出现搜索异常，搜索结果时有时无；boss找我，无奈12点也要看；此时看到有...

今天偶然发现一台测试主机（redis端口是默认的6379，没有密码，也没有数据）；上有三条数据，类似以下这样的。 标题说的太过了，其实还没有实现的。 第一个脚本： 第二个脚本内容是：”Not Found“，可能也没完成，只是在Redis中写入了三条key。 第二个、第三个脚本是以第一个脚本为基础的。

本篇记录一些可以直接复用的代码片段。持续更新。 代码网站(可以找找有没有现成的)：http://outofmemory.cn/code-snippet/c/python/ --- Flask JWT认证 参考资料： https://mp.weixin.qq.com/s/S32HM0yvuy8ptSKYjsKu6A --- 伪造IP 简单的伪造headers；...