使用远程桌面玩骑马与砍杀 2 遇到的坑

背景 做了 10 年的骑马与砍杀 2 终于发售了,买一个回来尝试一下 在家里玩游戏一般是通过 Remote Desktop 玩的,一方面是主机散热比较大而且太吵,单独放在一个地方,通

PyHive 用户名异常小问题解决

背景 公司 hive 连接方式调整,手上有些古老代码,仍在使用着 SQLAlchemy + PyHive 的连接方式。建立连接到方式如下 1 2 3 4 5 6 from sqlalchemy.engine import create_engine test_db = create_engine('hive://{}@{}:{}/{}?auth={}'.format( HIVE_CONFIG['user'], HIVE_CONFIG['host'], HIVE_CONFIG['port'], 'test', HIVE_CONFIG['auth'], HIVE_CONFIG['user']), ) 其中 Auth 发生了

如果自动提交 Baidu 链接

简介 建立 blog 后,希望每次在 Drone 自动构建完成博客后,自动提交网站链接。 此种更新一般情况是由站点生成 sitemap.xml 搜素引擎根据 sitemap.xml 记录进行更新。 但是由于 baidu 要求的 sitemap.xml

Hugo + Gogs + Drone 搭建博客

引入 已经好久没有写博客了,近期准备重新拾起这个习惯,决定再次开始写一些东西。最终决定使用 Hugo + Gogs + Drone 搭建,使用这个组合的原因如下: Hugo 是 Golang 的一个

群晖上配置生产力工具 gogs + drone

引入 群晖的 docker 实在是好用,同时当前手上缺少一个私有的 Git 以及 CI / CD 的服务。先想到公司中使用的 gitlab + jenkins 比较好用,尝试在群晖上部署,不得不说 gitlab 动不动就

MongoDB 数据导入导出

介绍 在使用 MongoDB 的过程中,偶尔会需要进行数据的导出导入,通过 mongodump 导出,通过 mongoimport 以及 mongorestore 可以简化操作,在此记录备忘 mongodump 1 mongodump -h host -u user -p pass-d db_name --authenticationDatabase admin mongoimport 1 mongoimport -h host -u user

Docker 监控 ui-for-docker

引入 在本机使用 Docker 的过程中,需要对各个容器的状态进行监控,采用 ui-for-docker 进行,以下内容从 https://github.com/kevana/ui-for-docker 搬运,进行备忘 QuickStart 1 run -it -d --name docker-web -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock docker.io/uifd/ui-for-docker 启动服务 1 docker start docker-web

supervisor 3.3.3 在 centos 6 上的安装以及配置

引入 由于单一项目需要使用不同的 workdir 以及 environment ,将 supervisor 从 2 更新到 3 卸载与安装 卸载旧的 supervisor ,安装最新的 supervisor 1 2 3 yum remove supervisor pip install supervisor service 配置 由于安装后的 supervisor 没有默认的 init

Celery 使用 Customer AutoScaler

引入 在使用 celery 进行并发时,发现默认的自动控制并发的算法中没有进行内存的控制,导致服务占用过多内存而出现服务器宕机,现实现 Custom AutoScaler 以解决此问题 项目配

requests 请求打印请求信息

引入 打印请求详细信息,在此记录,以防忘记 请求参数 1 2 3 4 5 try: import http.client as http_client except ImportError: import httplib as http_client http_client.HTTPConnection.debuglevel = 1

修复 ssh key 登录服务器

引入 服务器一直 ssh 登录正常,突然有段时间发现不能登录了,查看原因 从客户端查看 1 ssh -v user@host 查看过后,发现问题不在客户端上面 从服务器上查找原因 首先查看

搭建自己的 pypi server

引入 通常我们 pip 安装的 python 包都是从 https://pypi.python.org/pypi 安装,偶尔国内网速慢的话也可以修改为 https://pypi.doubanio.com/simple 但是遇到一些公司内部的私有包需要管理,搭建自己的 pypi server ,可以简化很多 安装

Mongo 迭代方式查询大量数据

引入 工作时,使用 mongo 查询全部 collections 的数据,在运行一段时间后,因为内存的问题导致程序被 kill,现使用迭代的查询方式解决 想法 使用 ObjectId 进行排序,从最小的

MySql 表,库大小查询

引入 在工作中,需要查询表的占用的空间以及数据库占用的空间 查询语句 查询每个数据库占用的空间的大小 1 SELECT table_schema, concat(round(sum(DATA_LENGTH/1024/1024),2),'MB') as data FROM TABLES group by table_schema; 查询每个表占用空间的大小

爬虫抓取回来的数据重复问题

通过返回的页面信息判断重复 完全重复 内容和布局格式上毫无差别 内容重复 内容毫无差别 布局重复 重要内容重复,布局相同 部分重复 重要内容重复,格式不同 页

js 相关爬虫解析方法分享

引入 由于现在反爬虫机制的加强,传输数据的中间流程也发生了改变,一些不希望被爬取的网站纷纷加入了一些防盗设施,这是反反爬虫的解析 js 进行抓取的流

CentOS 安装 autofs

Install 安装 autofs ,直接使用 yum 安装即可 1 yum install autofs Configuration 配置 autofs 相关项 auto.master 中添加一下语句 1 /data/nfs /etc/auto.nfs auto.nfs 中添加一下语句 1 2 image -rw,soft,intr your-host:/your/folder/path page_saver -rw,soft,intr you-host:/your/folder/path Auto Start 开机自启动 rc.local 中添加以下语句 1 /sbin/service autofs

Django csrf 部分操作

引入 在毕设的初期 csrf 的中间件 CsrfViewMiddleware 都是被我注视掉的,在之后了解了跨域攻击,认为防御跨域攻击还是需要的 CsrfViewMiddleware 防止跨域攻击的原理 Django 防止 CSRF 攻击的方法其实是在