从零开始的麻将AI论文复现（二）
本来想省略掉所有麻将游戏的实现细节的，但后来发现强化学习算法需要一个游戏环境，因此完整实现一整套麻将游戏的流程也属于论文复现的一部分，还是有必要对游戏实现时遇到的一些技术细节进行解释。
如何判定和牌立直麻将共有三种和牌形，分别是：
面子手：m * AAA + (4-m) * ABC + DD
七对：7个互不相同的对子
国士无双：所有幺九牌各一张，并且其中之一成对子
七对和国士无双比较容易判定，但面子手的和牌形涉及到刻子、顺子、雀头的不同拆分，判定方法会比较麻烦。最容易想到的方法就是用dfs遍历所有的拆分可能性，如果能拆分完全，则满足面子手形状。曾经我也实现过这个算法，但dfs的问题在于时间复杂度不是很能接受。
考虑一个用程序实现的麻将游戏，这个程序在什么时候会需要进行和牌的判定？实际上，在每一个玩家摸完牌之后，程序都需要为该玩家判定一次和牌；另外，当玩家切出一张牌时，程序都需要为其他三位玩家各判定一次和牌。因此，在一局20巡目左右的麻将游戏中，程序大约共需要进行至少20 * 4=80次和牌判定。另外，程序还需要为玩家判定一手牌是否听牌、是否可以立直等，显然这两者比和牌判定更为复杂。 ...
从零开始的麻将AI论文复现（一）
这篇文章，我来介绍一下我对麻将局面信息的特征编码方法。
首先，通过阅读论文，我们了解到Suphx在「弃牌模型」和「立直模型」中使用了通道多达838的特征，而「鸣牌模型」用到的特征更是多了120个通道。文中给出了一些比较基本的特征的编码方法，但对于这多达838个通道都是如何编码来的并未详细说明（其实是直接没说），不过，我们完全可以先做一个简化版的出来，日后再慢慢增加特征。
手牌编码论文的图片已经很形象地说明了手牌的编码方法。该方法将手牌编码为4通道的34维向量，即形状为（4，34）的矩阵。首先将34种牌编码为0-33，当玩家手牌中拥有X张Y（0≤Y≤33）的时候，就将该矩阵第Y列的前X个元素置为1。
为了编码的方便，我们可以为每个Agent维护一个手牌计数器，然后通过下面的函数即可生成编码：
def get_hand_tile_feature(self, counter):
"""
自家手牌
:param counter: Counter
:return: (4, 34)
"""
feature = np.zeros(shape=(4, ...
从零开始的麻将AI论文复现（零）
前段时间，博主突然开始沉迷偶尔玩玩立直麻将，受自己“职业病”的影响，遂想着能不能搞个AI出来帮我上段。
先找找有没有现成的算法。上网一搜，发现果然早有不少麻将AI的算法诞生了，比如东京大学开发的「爆打」、由Dwango发布的「NAGA25」、由MSRA开发的「Suphx」等。看了一圈，决定试着复现一下「Suphx」。
论文简介论文传送门如下：
引用站外地址，不保证站点的可用性和安全性
Suphx: Mastering Mahjong with Deep Reinforcement Learning
arXiv
如论文所说，该算法仅在监督学习下就能达到人类顶级水平，而在self-play以及reinforcement learning算法的加持下，Suphx能够达到特上房的最高段位十段，其稳定段位更是能达到8.7段，远超人类高手的稳定段位：7.4段。
Suphx并没有开源代码，因此唯一 ...
PKU GeekGame 2nd 部分题目Write-Up
GeekGame 2nd结束了，今年的题没有了去年那种套娃，难度有所下降，总体感觉不错，也取得了比去年更高的总排名（29），对一名非专业菜鸟玩家而言，我已经相当满意。
更重要的是，我在解题过程中学到了不少东西，也获得了不少乐趣，而不是像去年那样晕头转向没有方向感。
引用站外地址，不保证站点的可用性和安全性
本次比赛的官方存档
GitHub
†签到†去年的签到我想了半个小时，今年只用了20秒。别问，问就是一模一样，见去年的题解。（PKU GeekGame的出题人怎么不在签到题上点心。 官方题解出来后发现其实和去年的签到是有区别的，这次的PDF用某些阅读器打开会发现无法复制，然而我是用Chrome的沙拉查词插件带的PDF阅读器打开的，因此不受影响。
本题附件
小北问答 · 极速版查看题面菜宝十分擅长网上冲浪，会使用十种甚至九种搜索引擎。本届 PKU GeekGame 一开始，她就急不可耐地 ...
USTC Hackergame 2022小部分题目Write-Up
Hackergame 2022留给我一段让我这个恋爱脑非常难受的回忆：
今年Hackergame开始当天，科大因为疫情原因封校了，女朋友被封在了学校里，而我住在校外进不了校，因此情绪上受到了比较大的影响，导致今年没心情认真做题，后面的难题压根没心思看，只完成了一些比较靠前的题。明年继续努力！
截图于比赛截止日前一天，目前排名已掉至49
引用站外地址，不保证站点的可用性和安全性
本次比赛的官方存档
GitHub
签到查看题面众所周知，签到题是一道手速题。
为了充分发挥出诸位因为各种原因而手速优异于常人的选手们的特长，我们精心设计了今年的签到题。进一步地，为了更细致地区分不同手速的选手，我们还通过详尽的调研及统计分析，将签下字符的时间限制分为了多个等级。只有最顶尖的手速选手，才能在 CPU 来得及反应之前顺利签下 2022，从而得到光荣的 flag！
签到题要求在四块手写区域分别写下 ...
局域网下禁止某些域名的AAAA解析
在双栈上网环境下，有一个很常规的需求，即我们需要避免使用IPv6地址来访问某些网站（如果你无法理解这种需求，就不需要看下去了）。
首先，由于需要访问某些IPv6 only的网站，我并不希望禁止全局AAAA解析。虽然很多操作系统可以设置IP协议的优先级，但若能从源头解决问题，当然是最好的，即能否只禁止解析这些指定域名的AAAA记录。
听说Smartdns这个软件提供了该功能，但无奈我在路由器上怎么都开不了这个软件（用过官方发布的release，也自己编译了几遍，均无用，可能是操作姿势不对）。后续研究了一下，发现其实只用Dnsmasq就可以做到这一点。
假设我们需要禁止域名example.com的AAAA解析，那么只需在Dnsmasq的配置文件（位于/etc/dnsmasq.d/目录下）中添加如下一条：
address=/example.com/::
并重启Dnsmasq。如此一来，等原先的DNS缓存过期以后访问该域名就可以正常走IPv4流量了。
在Ubuntu桌面系统用原生微信的方法
优麒麟系统（Ukylin）推出了原生的微信，于是我们把优麒麟软件源里的微信拿过来用即可。（补：都用Linux系统了还是别用微信了罢）
首先我们建立一个新的sourse.list文件，用于放置Ukylin的软件源：
sudo vi /etc/apt/sources.list.d/ukapps.list
在打开后的文件中添加以下内容：
deb http://archive.ubuntukylin.com/ubuntukylin focal-partner main
然后导入软件源的密钥：
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 56583E647FFA7DE7
接下来，执行：
sudo apt update
sudo apt install weixin
即可安装微信！体验上佳，只是没表情包、朋友圈，如下：
Ubuntu桌面系统下双击运行sh文件
在桌面系统的Ubuntu下，我们运行sh文件通常仍需要打开终端，然后敲一条命令才能运行，非常麻烦，很自然的想法就是是否可以像windows一样通过双击的方式，来运行一个sh文件。
早一些版本的Ubuntu系统似乎是可以直接在文件系统里进行设置的，而我用的版本并没有该功能的直接设置界面（反正我没找到），因此需要安装一个软件：
sudo apt install dconf-editor
然后运行：
dconf-editor
依次选中以下选项：
然后可以在Custom value中将’display’替换为’ask’。
最后，右键sh文件选中Properties，在Permissions栏下勾选Allow executing file as program。如此，在双击sh文件的时候，便会对你进行询问：
通过ZeroTier实现外网设备与局域网内所有设备互联
前一篇文章，我们已经可以通过为设备安装ZeroTier软件来接入虚拟局域网，以此实现P2P访问，但这种方案的问题在于，需要为每一台想接入的设备均安装ZeroTier软件并在控制台加入网络，非常不方便。
其实我们只需要在局域网的出口设备——路由器上安装该软件，并进行一定的配置，就可以达到外网访问任意局域网设备的效果。
前置条件
路由器系统：OpenWrt
一个ZeroTier虚拟局域网ID
OpenWrt内网段（文中假设为192.168.0.0/24）与ZeroTier虚拟网段无冲突
愿意捣鼓、无惧踩坑的你
OpenWRT端软件配置后文将默认你已经在OpenWrt上成功安装了ZeroTier客户端，否则请出门左转～
首先，如果是自建planet，我们需要将planet文件放到ZeroTier的配置目录下，planet文件的生成方法见此文。如果是自建moon，则需要将moon文件放置到配置目录的moons.d目录下，本文假设配置目录为/etc/zerotier。需要注意的是，OpenWrt下某些版本的ZeroTier，行星服务器的配置文件名可能并不是planet，而是world。
接下 ...
自建一个ZeroTier行星/卫星服务器
ZeroTier是一款好用的P2P虚拟局域网开源软件，通过它可以实现外网到内网设备的访问。本文从服务端到客户端一条龙搭建一个简单的ZeroTier虚拟局域网，实现从外网对内网树莓派的访问。
ZeroTier的优点有：
非常容易配置，只要拿到虚拟网络的ID，就可以加入网络，并自动分配IP地址，对小白具有亲和力。
虚拟网络内的设备端对端建立连接，不需要经过中转服务器，响应快，不受服务器带宽、流量限制。
但其缺点也很明显，其官方的服务器位于国外，直连状态下容易打洞失败，这样第二条优点便无法体现。
为了改善使用体验，我们可以通过搭建moon服务器进行加速，或者也可以直接建一个行星服务器（planet），来实现自己的ZeroTier服务。
前置条件
一台拥有公网IP的服务器
服务器上有docker、docker-compose（因为我后面的操作就是通过docker的，非docker部署法请自行谷歌）
服务端安装因为有大佬开源的docker镜像keynetworks/ztncui，因此安装的过程比较方便，但该镜像默认只提供一个管理平台，若直接使用该镜像而不加以任何修改，则并不能提供plane ...
使用Nginx反向代理ShareLaTeX服务并配置SSL
前面已经为WordPress配置了反代，此文将给出Nginx反代ShareLaTeX的配置。
首先，我们将ShareLaTeX的docker容器映射到一个宿主机上不常用的空闲端口（例如8080）。
然后配置Nginx：
server{
listen 80;
listen 443 ssl;
server_name latex.fyz666.xyz;
index index.php index.html index.htm;
ssl_certificate /etc/letsencrypt/live/blog.fyz666.xyz/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/blog.fyz666.xyz/privkey.pem;
if ($scheme = http){
return 301 https://$host$request_uri;
}
location / {
proxy_pass http://127.0.0. ...
使用Nginx反向代理WordPress并配置SSL
此举是为了将原先部署在443端口的WordPress网站使用反向代理的方式重新部署。部署反代的过程踩了不少的坑，主要还是因为WordPress作为动态博客框架所具有的特殊机制。（说起这个就要后悔当时为啥没搞个静态博客了）
首先介绍一下环境，我的WordPress网站运行在docker容器下，由Apache服务启动，原先的配置是docker容器内的Apache配置了SSL证书，并将容器443端口映射至宿主机。
为了在宿主机上用Nginx做反代，首先要对容器内的服务进行一些修改。两次SSL肯定是不划算的，因此首先要将容器内的Apache服务停用https，然后我们修改容器的端口绑定为0.0.0.0:8000->80/tcp（这个8000随便选一个宿主机的空闲端口即可，后面Nginx配置反代时会用到）。注意：这个时候WordPress数据库内站点的地址仍然是https的地址，为了站点的优雅，这里的地址不要改动。
接下来，配置Nginx，首先要确保安装的Nginx支持SSL（可通过nginx -V查看是否有SSL相关的模块）。
server{
listen 80;
li ...
使用Let's Encrypt生成通配符证书
本站长期以来维护着多个Web服务，除了此博客外，还有一个部署在80端口的ShareLaTeX以及其他杂七杂八的网站，这些站点没有https，每次访问时还得手动输入http://以及端口号，感觉既不安全也不优雅。因此最近我想用反代优化一下服务器站点的URL分配。
我所期望的结果是：
将所有网站服务均反代到443端口。
通过域名对服务进行区分。
所有服务都开启SSL。
那么不可避免地，我需要申请一张多域名的SSL证书（不然得各自申请证书，维护起来过于麻烦）。基于一劳永逸的考虑，这里我决定直接为通配符域名*.fyz666.xyz申请证书。
各大平台出售的通配符证书都贼贵，但这种东西明明是可以免费的，何必花这个冤枉钱。Let’s Encrypt早已支持通配符SSL证书的签发，而且十分方便。
我的环境如下：
阿里云的Ubuntu 18.04镜像服务器，运行了多个Web服务，每个Web服务都独立运行在一个docker容器中。
接下来，我们安装Certbot：
sudo apt install certbot
安装完成后，准备用该程序来签发证书。运行certbot：
sudo certbot c ...
中科大中区游泳馆购票脚本
鉴于游泳馆预约平台已经更换，本文所述方法已失效。
最近天气逐渐变热，同学们对中区游泳池的需求量越来越大，票一放出来，没多久就抢完了，没点手速还真抢不过。因此，我决定深入研究一下购票系统，看看能不能写个脚本。
这回用到的软件还是Charles，配置方法见前面的一篇文章。下面直接开始抓包。
将手机连上Chalres代理，登录购票系统，随便找一张票，选定日期，点击“提交订单”，进入了“订单详情”页面，等待几秒后，点击“我已阅读并同意此协议”，此时，Charles抓到了一条我们需要的数据包：
这是条Post请求，向https://yuyue.ustc.edu.cn/client/easyserpClient/ticket/freeBuyTicket发送了一个表单，表单内容为：
参数
说明
ticketInfo
票务信息（包含id与价格）
token
一个疑似用于身份认证的字符串
shopNum
经测试为常量
useDay
日期（%Y-%m-%d）
经分析，表单参数ticketInfo中的tickedId的值与场次数相关，每天的第n场对应的ticketId为 ...
一次Emergency Mode修复
今天重启了一下Ubuntu系统，再开机时进入了emergency mode。心态大崩。
又重启了一下，则进入了GRUB界面，怀疑有错误的内核，因此我选了一下Advanced options for Ubuntu，然而发现并没有多余的内核。启动后仍然是emergency mode。于是，执行命令：
journalctl -xb | grep failed
发现一条这样的错误：
Unit boot-efi.mount has failed.
显然是efi分区挂载失败了导致没法正常启动。手动挂载：
mount /boot/efi
报错（大概长下面这样）：
FAT-fs(nvme0n1p1): IO charset iso8859-1 not found.
然后上Stack Overflow一搜，就找到了解决方法，执行下面命令即可：
depmod
重启，问题解决！又可以愉快上网了！
Ubuntu系统设置IPv4优先
使用透明代理进行科学上网的时候，若你的计算机与目标网站均有IPv6地址，计算机可能会优先使用IPv6对目标网站进行访问，而我们的代理一般是IPv4的地址，此时就会发现代理失败了。
对于Ubuntu系统，以下方法可以让系统优先使用IPv4地址。
sudo vi /etc/gai.conf
将上述打开文件以下内容取消注释（同时将最后的数字由10改成100）：
precedence ::ffff:0:0/96 100
PKU GeekGame 1st 部分题目Write-Up
Hackergame结束后，我又参加了PKU举办的GeekGame，本以为在Hackergame发挥不错，可以在GeekGame混混名次。
然而参赛后感觉难度太大了，全程被大佬们按在地上摩擦，一阶段完整解出的题只有五道，只拿了1000分，总排名仅为42；二阶段随着提示的放出，基本丧失了做题兴趣，也没有再怎么拿分了。
引用站外地址，不保证站点的可用性和安全性
本次比赛的官方存档
GitHub
→签到←Hackergame的Web签到题做多了，导致拿到一个Misc的签到题有点不知所措，题目没有给任何描述，只有一个PDF文件：
本题附件
用Chrome浏览器打开这个PDF文件如下所示：
似乎说后面一串奇怪的字符就是flag的样子，但我完全没办法把这些字符和flag联系起来。
研究了许久无果后，我无意间全选了一下PDF里面的内容，复制粘贴到一个空白文件中，发现了玄机：
1
fa{ae ...
USTC Hackergame 2021部分题目Write-Up
USTC Hackergame 2021结束了，这里从一个非科班选手的角度写一下部分题的解题思路与过程。
引用站外地址，不保证站点的可用性和安全性
本次比赛的官方存档
GitHub
签到查看题面为了能让大家顺利签到，命题组把每一秒的 flag 都记录下来制成了日记本的一页。你只需要打开日记，翻到 Hackergame 2021 比赛进行期间的任何一页就能得到 flag！
签到题还是一样简单，打开页面显示一个时间为：1970-01-01 08:00:00 +08:00点一下Next，时间多了一秒，同时注意到url多了一个参数：/?page=1。结合题意知道只要访问/?page=当前的时间戳，即可拿到flag。调用Python的time库的time函数即可获取当前的时间戳，取整放到url参数中即可。
flag{HappyHacking2021-29decda8a3}
当然只要你点鼠标 ...
Ubuntu开机黑屏左上角光标不闪烁的解决办法
不小心装错了显卡驱动，导致Ubuntu系统开机黑屏。这种情况很有可能是装驱动的时候生成了新的系统内核，然后GRUB默认用新内核启动，而新内核有问题导致的。
遇到这种情况时，可以重启，进入GRUB界面时，选择Advanced options for Ubuntu，如果显示内容和下图类似，那么可以通过删除错误内核的方式，解决此问题。
图片中显示有两个Linux内核，前面的5.4.0-87是默认内核，但无法正常启动，因此该内核是有问题的，我们可以选择第三个5.4.0-86，应该可以正常启动起来。
在正常启动后，使用命令删除一些相关的包，然后删掉/boot路径下与5.4.0-87内核相关的所有内容，最后更新一下GRUB即可，命令如下：
sudo apt remove *5.4.0-87
sudo update-grub
再次重启，发现已经可以正常启动了！
Python实现12306购票（四）
该系列最后一篇文章，来实现提交订单（购票），不过：不支持付钱。
本文只涉及一个函数confirm_single_for_queue，位于此文件
提交订单在前面余票查询完成后，我们就可以真正地提交订单了，提交订单的请求如下：
POST https://kyfw.12306.cn/otn/confirmPassenger/confirmSingleForQueue
参数：
passengerTicketStr
oldPassengerStr
randCode
purpose_codes
key_check_isChange
leftTicketStr
train_location
choose_seats
seatDetailType
is_jy
is_cj
whatsSelect
roomType
dwAll
_json_att
REPEAT_SUBMIT_TOKEN
encryptedData
前面几个参数（从randCode到train_location）都与前一篇文章一样，来自于ticketInfoForPassengerForm这 ...