杏彩体育平台张戈博客 关注IT运维技术及互联网的个人博客view=3 allow-anchor-click interval-time=3000 hover-disable-interval show-anchor allow-keyboard allow-swipe

　　sub-trigger= auto-scrolling

　　最近我在改造手头负责的一个HTTP Restful API服务，集成对gRPC协议（在鹅厂叫tRPC，是gRPC的本土衍生版本）的支持。由于是从0学习这个协议，因此也踩了不少坑，这里用一篇文章来记录下，希望可以帮助到同样从0学习gRPC的朋友。列表参数赋值老的Rest接口中，大量用到了列表参数，看了下pb协议，给这个参数定义如下：message Foo { rep...

　　最近新来的实习生小伙子在重构一个我入职时开发的老系统，这个系统之前用的是Python twisted框架开发的，这次重构希望可以换到FastAPI，也就是我上一篇文章分享的Flyer开发框架。小伙子很给力，花了几天自学了下FastAPI和Flyer就开始开发了，结果用Flyer框架的时候，连接MySQL报错如下：sqlalchemy.exc.OperationalError: (...

　　概述我们经常会听到“不会开发的运维不是个好运维”，确实在运维工作当中，娴熟的开发经验能让运维工作如鱼得水，事半功倍！高级的运维除了需要精通Shell脚本编程之外，最好还需要掌握一门高级语言，比如Python、Golang、PHP、Lua等。高级语言除了可以解决一些更复杂的运维场景，还可以帮助我们更好的理解业务，做好业务运维，毕竟知己知彼才能百战不殆。经常看到很多运维同学写接口通常...

　　我们这有个内部网站同时支持2个域名访问，最近因升级需求希望统一到一个域名，即老域名做一个301跳转到新域名。这个在Nginx直接配置一个if逻辑，判断是老的host并跳转到新的域名即可。那这个Case在APISIX里面应该怎么配置呢？看了下APISIX文档，发现有两种跳转插件：redirect和response-rewrite，前者只能跳转uri不包含协议主机部分，后者可以通过修改返回头...

　　最近手头有个业务是基于Apache Karaf开发的，运行在K8S里面，跑了一堆的bundle，偶尔里面挂一两个bundle容器是没什么感知的，但是业务可能会局部异常。要推动业务优化的话，周期就会拉得很长，因此先弄个定时拨测来监控下bundle是不是都在正常运行的。看了下要查看Karaf里面的bundle需要ssh进去执行bundle list命令，因此基于之前的经验利用Python p...

　　APISIX为了提高性能，默认会打开keepalived特性，预设会线s，我们在部署网关的时候也保留了这个优化特性，恰好我的上游服务基于Gunicorn+FastAPI开发框架，也开启了keepalived，会线s。这样就有问题了：网关和上游服务建立连接后60s内，新请求会继续复用这个连接，但是上游却在5s后主动关闭了连接，因为网关将新请求转发给上游时，才发现连接已经被关闭了，因此就出现了上述报错。...

　　自从博客几乎断更之后，就已经很少关注SEO了。昨天机缘巧合在百度搜了下“zhang.ge”这个国外线路域名的时候，居然发现有如下提示：纳尼？还有这种事情？但是搜索“却没有，看起来应该是误报。点击打开会有如下提示：看到有个“申请解封”按钮，就点过去，填写表单提交了下：结果，没等多久，大概之后个把小时就收到了百度发来的审核通过的...

　　自从APISIX网关推广使用以来，在我们部门已经有很多生产业务接入使用。有一天被拉进了一个问题群，被告知APISIX网关性能有问题，整体表现还不如之前的ZUUL网关。纳尼？APISIX性能再怎么不济也不至于比ZUUL差吧？废话少说，直接上手弄了个串行请求对比测试了一下生产环境的APISIX网关和ZUUL网关，结果大跌眼镜！正常情况下，APISIX的耗时都优于ZUUL网关，但是AP...

　　Configmap的方式来配置APISIX。最开始我们就采用 Configmap的方式在腾讯云TKE上部署APISIX，当网络区域越开越多时，每个TKE集群都需要去定义一套config.yaml对应的Configmap，管理非常繁琐。因此，这里我们利用Python的Jinja2插件来自动化渲染APISIX的配置文件，整体非常方便！...

　　熟悉Docker的朋友都知道，Docker是可以开启远程控制API的，默认TCP 2375端口，它有非常丰富的接口方法，可以用来远程控制Docker Daemon来做很多操作。Docker版本迭代很快，因此不同的版本官方也提供了不同版本的API文档，本文主要基于当前最新的v1.40简单介绍下一些常用操作及最佳实践。一、安装DockerCentos 系统可以直接使用yu...

　　嗨，我正在写一个简单的程序，我要让这个程序打印出一个整数。 #include stdio.h    int main() {        int linux = 701;        printf(%d, linux);        return 0;    }  够简单吧。真的吗？我把它存成了code.c现在我...

　　最近在折腾博客主题，通常来说大多数人认为换主题会影响SEO，实际上只要你把工作都做到位了，是没有任何问题的。比如，换主题后你得仔细检查标题和描述等内容是否发生改变、换主题后是否带来了大量的404页面等。当然，更细微的可能是换主题之后，网站的内链网络也发生了微妙的改变，但是整体的影响较小。总之，张戈博客这次更换主题基本上没有看到明显的SEO影响，反而出现几个新的关键词。好了，题外话到...

　　一直想写一篇关于网站本地备份和远程备份的文章，相关草稿其实在6.12号就写好了，一直因为没有测试环境，没发布出来。时间久了，也就忘了，回头找个时间测试下再发布好了。今天分享的工具也和备份有关，而且是远程备份，这个工具算是我的无聊之作吧，虽说WordPress已经有wp2pcs这类备份插件了。相信折腾VPS的站长会喜欢我这个工具的，因为它不会常驻占用资源。一、工具档案工具名称：Bac...

　　导读：毋庸置疑，数据备份是网站可持续性运营中至关重要的一个工作，如果还没有做任何备份机制的网站，建议尽早完善，莫要等到追悔莫及。本文将分享一个安全稳定、快速可靠、花费廉价的备份方案。一、优点分析张戈博客在2年前已经分享过一篇关于网站备份的文章：《Linux/vps本地七天循环备份和七牛远程备份脚本》，今天将再次结合这个脚本，将网站数据通过阿里云内网备份到阿里云OSS。对于阿里云...

　　这是我在百度回答知友时写的，用于自动以管理员身份执行命令或程序→百度原址批处理代码，功能：自动以管理员身份执行test.exe：start admin.vbs runas /user:administrator test.exeadmin.vbs 代码（延时是为了成功传值给bat命令，确保成功）dim wsh set wsh=WScript.CreateObje...

　　最近在跟一个自动化发布平台的建设事项，其中Linux系统的远程控制通道则由我独立开发完成，其中涉及到了Linux系统远程命令和文件传输操作。因为之前写Linux系统密码管理系统的时候，用的是Paramiko的SSHClient。所以，我这次依然采用Paramiko来做实现，代码虽短，说起其中的坑，我也是一把辛酸一把泪的填上了。先上完整代码：# -*- coding: utf-8...

　　编写初衷：公司用的是Symantec杀毒软件，在客户端更新失败的时候，维护人员总是需要手动去下载离线更新包然后到客户端执行，非常麻烦！于是写了这个脚本丢到服务器上建立任务计划，客户端要更新的时候直接脚本调用\\server\symantec\update\20131225-002-i32.exe即可。脚本名称：Symantec更新包[XP-i32]在线下载工具脚本功能：主要用于Syma...

　　最新更新：张戈博客已推出功能更强大的轻量级CC攻击防御脚本工具CCKiller==传送门前天没事写了一个防CC攻击的Shell脚本，没想到这么快就要用上了，原因是因为360网站卫士的缓存黑名单突然无法过滤后台，导致WordPress无法登录！虽然，可以通过修改本地hosts文件来解决这个问题，但是还是想暂时取消CDN加速和防护来测试下服务器的性能优化及安全防护。前天写的Sh...

　　由于电信宽带和谐了443端口，近期我花了不少时间折腾了下近半年都没瞅一眼的博客。经过一番折腾（详见前文），博客总算可以运行在家里的NAS上，整体部署方案如下：图1. 张戈博客部署架构图一、预缓存从上图可以看到，由于中间用于代理转发的腾讯云CDN和阿里云CDN都是没有缓存的，如果CloudFlare的缓存过期，将需要绕过多层链路回源获取网页内容，相比速度就会慢很多。所以，需...

　　多年没写过批处理了，来新公司的第一个case却是需要写一个bat脚本，批量更新采集agent的配置文件，其中就涉及到远程IP的端口检测。本以为会和Linux一样可以简单判断：echo qtelnet -e \q\ $ip $port echo $ip:port 通echo $ip:port 不通结果发现Windows下面telnet退出并没有执行...

　　这次生产环境上线了多台Linux服务器，需要全部纳入Zabbix监控范畴，一台一台的去装Zabbix Agentd插件那就太苦逼了，所幸Zabbix客户端插件是支持绿色安装的，就写了个简单的一键安装脚本，然后配合 Secure CRT 的多窗互命令一次性就可以搞定了。正常启动Zabbix客户端服务其实只需要2个文件： zabbix_agentd 和 zabbix_agentd....

　　一开始搭建中国博客联盟，既有博友提醒我，做网址大全这类网站维护很麻烦，需要大量的精力去Debug一些已夭折的网站，更是拿松哥的博客大全举例。当然，我也是深以为然。前些时间，看到梦轩丽人的boke123网址大全的维护记录，好像是纯手工检查，张戈实在是佩服的五体投地，太有毅力了。现在博客联盟也收录的博客也已破200了，全部来自自主提交，不管你是草博还是名博，张戈不会强买强卖。由于大部分都是建站...

　　今天发现一个疑难杂症：发现批量发布一个新版本程序时，发现有一台没有成功。亲自登陆上去看了下，发现原来是发布帐号在某个目录下创建目录失败了！杏彩平台登录人工 touch 试了下，发现提示没有权限。然后 ls -l 看了下，发现一切正常：[.212.132:/data/TNM2/release]# ll 36240-rw-r--r-- 1 publish user...

　　LVS+Keepalived 介绍LVSLVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；十种调度算法（rrrwrrlcwlclblclblcrdhshsednq...

　　最近入手了一台创宇云的VPS，然后将2个网站都给搬家了。作为一个运维工程师，终于不用再处处受制于人了，虚拟主机真的只能玩个球！拿到VPS并快速部署好环境后，开始着手完善一下安全设置，以下过程记录，供大家参考：一、用户权限安全设置root权限太高，误操作就相当危险，所以日常操作使用普通账号，只有特定时候才使用su切换到root身份。①、新建普通用户，比如zhangge...

　　CentOS 7.0.1406正式版发布，附更新记录及CentOS7 iso镜像文件下载地址

　　上次张戈博客刚公布了RHEL7的最新资讯及下载地址，并且在文章结尾也猜测centos7也会即将发布，杏彩平台app于是一直持续关注着Centos 7的最新动态，前些天centos发布了一个预览版，而非正式版，张戈也就没分享出来。今天，刚从厦门旅游回来，突然发现Centos在7/8号就已经发布了！好吧，我也奥特曼了。下面转载一段来自【太平洋电脑网】的相关介绍，就懒得另行码字了。7月8日，Cen...

　　最近在上海新建机房的时候，给了我2台M2机型服务器，在做初始化的时候发现有一堆磁盘：[:~]# fdisk -l grep \300.1 GB\ sortDisk /dev/sda: 300.1 GB, 6 bytesDisk /dev/sdb: 300.1 GB, 6 bytesDisk /dev/sdc: 3...

　　这也是一个老方法了，只是今天用到了，就过来记录下。总觉得公司服务器磁盘不给力，有时候vim编辑的时候都会卡顿，IO经常90%+，很纳闷，就测试了一下磁盘的读写速度。一、测试写速度：time dd if=/dev/zero of=/tmp/test bs=8k count=1000000测试结果：565 MB/s二、测试读速度：time dd if=/tmp/te...

　　前言：不知道写什么，就总结一下我个人安装完成windows7之后要做的一些设置吧！以下全文均为个人回忆总结，文章也很冗长，难免有纰漏或者不符合你个人习惯的内容，如果发现有让你觉得很不屑的内容，立即关闭此网页，以免浪费时间~~虽然Win8已经推广使用，但目前windows7还是普通用户的主流系统，个人虽然也挺喜欢Win8的一些功能，比如超级任务管理器、可暂停的复制/粘贴等。但个人比...

　　根据Websense安全实验室最新的研究报告指出消费者PC端递交给微软的错误报告有可能被黑客截取，并依据这些信息帮助黑客制定相关攻击策略。当系统出现崩溃的时候会弹出相应的对话框，这些信息中详细包含了设备的运行状态，Windows的版本信息，应用等信息，而这些信息都有可能被黑客到。       虽然当系统或者应用程序崩溃的时候会弹出错误报告，通常需要用户的确认才是否将这些错...

　　昨天在给服务器做年终“大扫除”整理时，发现有个目录下因为文件过多而删除失败，最终使用xargs才搞定，于是顺便来记录下。在执行某些命令时，当Linux某个目录下文件过多就会因为“参数列表过长”而报错无法执行。比如，我要清空/var/spool/clientmqueue/下的庞大数量的临时文件，如果直接执行 rm  -f  *，有时就会会出现“参数列表过长”的错误提示，因为linux下一般的...

　　作为一个大公司的运维，手头管理了成百上千的服务器是家常便饭，甚至更多。而我们一般都是用跳板机登陆，由于这些机器一般都是克隆或者虚拟化出来的，所以登陆后的命令行提示符几乎是一个模子刻出来的，比如都是：[ ~]#这时，我们肯定会经常遇到这样一个困扰：操作服务器时因某事中断，回头继续操作的时候肯定会ifconfg确认下是否是我要操作的服务器，因为无法从表象识别...

　　4月27日，有幸参加了由Aftership组织、CloudFlare的大牛孟鑫主讲的《CloudFlare 最新边缘API，打造无服务器(Serverless)架构》课程，感觉收获颇丰。因为这个课程非常接地气，大部分内容都在实战，而不像有些分享一味的讲理论、拼PPT，听得云里雾里，分享的时候是一个样子，真正你去尝试的时候却是另外的样子，duang~，当然，还有一个原因就是张戈博客目前也在用Clo...

　　最近一直在帮一个购买了张戈博客付费服务的朋友做网站防护，为了简单抵挡一下竞争对手的DDoS攻击，他给网站开启了Incapsula的免费CDN服务。开启CDN之后，我之前给他写的Shell防护脚本也就宣告无效了，因为不管是正常访问还是攻击访问，脚本拿到的IP都是CDN节点的，而我不可能把CDN的节点IP也给禁用了，那就都不能访问了。为了解决这个窘迫，我想到了以前看过的Nginx访问限...

　　这年头原创技术博文真心难写，不可能每天都有灵感，也不可能每天都出问题。而且技术教程也非常全面，不管是百度一下，你就知道，还是谷歌一把，你就找到，基本要啥有啥，只有你想得到，没有你搜不到。。。如果突然发现搜不到了，那恭喜你，你又可以来个原创研究项目了！之所以开篇吐槽这么多，也是因为张戈今天确实没东西写，又不想转载， 就来点伪原创吧！主要是更换域名之后，确实需要很长一段时间的原创文章来取得搜索...

　　最近接到了一个需求：通过Nginx代理把现网一个自研代理程序给替换掉，感觉有点意思，也有所收益，简单分享下。需求背景部门的生产环境异常复杂，有部分第三方引入的系统位于特殊网络隔离区域，请求这些系统需要通过2层，如图所示：中心源系统请求目标系统API的形式各异，我简单收集了下，至少有如下3种：curl --digest -u admin:xxxxxx...

　　我们这有个内部网站同时支持2个域名访问，最近因升级需求希望统一到一个域名，即老域名做一个301跳转到新域名。这个在Nginx直接配置一个if逻辑，判断是老的host并跳转到新的域名即可。那这个Case在APISIX里面应该怎么配置呢？看了下APISIX文档，发现有两种跳转插件：redirect和response-rewrite，前者只能跳转uri不包含协议主机部分，后者可以通过修改返回头...

　　APISIX的高级路由非常厉害，可以基于任意变量来做转发路由，比如可以基于Header、cookie、querystring参数等。而我们这里历史上有个非常的用法：基于Body里面某个参数的值来路由，即不同的值要转发到不同的后端IP:PORT（这个问题主要是因为服务拆分时偷懒，没有推动客户端修改请求留下的尾巴）。...

　　我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被UC神马搜索收购！所以本文已去掉宜搜蜘蛛的禁封！==相关文章)。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛...

　　今天，产品那边发来需求，说有个APP的IOS版本下载包需要新增https协议，在景安购买了免费的SSL证书。当我往nginx上新增ssl时，发现服务器上的nginx居然没编译SSL模块！看了下旧版本nginx的configure选项：linux-gz215:# /usr/local/sbin/nginx -Vnginx version: nginx/1.0.11built by...

　　在以前的公司曾安装过Varnish，可惜还没摸热就离职了，这次接着倒腾了下Varnish，并搭建成功，特来记录下，以备后用。一、测试环境系统版本：CentOS 6.4 x64WEB环境：Nginx+PHP+MySQLVarnish：3.0工作原理：简单的说，在本次测试中，Varnish将来自80的请求转发到后端的nginx8080端口，当匹配到请求是jpg、css、...

　　昨天一个网友通过QQ联系我，说按照我博客之前分享的http2配置教程不能生效，想请我帮忙看看。经过测试，使用谷歌浏览器访问他的测试站点，确实没有开启http2，但他的配置和编译参数都正确的，这有点奇怪了。不过昨天太忙就没有继续帮他分析，他只好将服务器账号和密码都留言给了我。今天中午我抽空在他服务器重新编译测试了一把，才发现原来是这么一个梗！他在编译Nginx之前，使用的是yum...

　　年前，终于迎来了期待已久的php7正式版，我也在第一时间就给博客用上了。性能确实有了质的飞跃，问题还是有不少的。比如鱼叔的微信插件在php7下面自动回复异常等。为了继续使用微信插件，我只好将php5.6又开了起来，下面简单分享一下多个版本php共存的方法。一、编译路径多个版本php要共存，必须使用不同的安装路径。比如，之前php5.6安装在/usr/local/php，那么我们安装...

　　Nginx内容替换模块http_substitutions_filter_module及实用案例分享

　　说到Nginx的内容替换功能，大部分人应该都听说过Nginx内置的的subs_filter替换模块，但是这个模块有个缺憾，就是只能替换一次，而且还不支持正则表达式，这就有些鸡肋了。不过，我们可以集成一个第三方的替换模块：ngx_http_substitutions_filter_module，来实现我们的各种需求。经过测试，这个模块至少有如下实用功能：①、支持多次替换②...