星阵回应质疑:任意路数技术与“针对性训练”
文章来源:星阵围棋
近期星阵专业版上线测试后,广受高水平棋手和普通围棋爱好者的好评。与此同时,网络上出现了一些关于星阵的不实信息,其中很多言论与事实明显不符。现选取比较有代表性的几点质疑进行回应,以正视听。为了更客观地还原事实真相,这几天来我们寻找了大量的资料,包括之前的新闻报道、棋谱等最直接的证据。本文中的几点质疑由网友“百年孤独”陈列,并均为其原话。
质疑1:“由说katago是星阵一年前的技术,也就是去年9月份就有的技术。令人存疑,据我所知,星阵的任意路数也是11月份以后,8月份的9路大赛,星阵下出的棋负于人类,和katago差不少,而且卡塔狗支持任意路数(大于19也支持,还有长方形棋盘),在去年的宣传中,星阵方面并没有说过支持任意棋盘,也没有说过支持19路以上的棋盘,我怀疑星阵支持小棋盘用的缩图法,并不是卡塔狗方法。”
回应:事实上在2018年4月人机大战时,星阵已经拥有任意路数的技术。目前搜索当时的新闻仍然可以找到相关报道,在此仅举一例:
澎湃新闻:柯洁执白不敌国产人工智能“星阵”,但他的勇气格外珍贵http://news.sina.com.cn/o/2018-04-27/doc-ifztkpip3073988.shtml
此时并没有公开测试,但中间有多位棋手参与了私下的测试。之后经过多次测试改良,在2018年8月南宁中国围棋大会上进行了公开9路挑战赛,在2018年12月在弈客进行了天弈17路挑战赛。并且在弈客的比赛筹划阶段曾经在17路和21路之间选择,后来因为21路一盘棋时间较长因此没有进行比赛。关于星阵支持任意路数的方法,早在2018年9月的相关新闻中就已经有明确报道:
体育:刘鹤副总理视察星阵围棋 并与人工智能现场对弈(图)
http://finance.sina.com.cn/china/gncj/2018-09-19/doc-ihkhfqns7459116.shtml
以上证据可以说明所谓“星阵的任意路数也是11月份以后”、“去年的宣传中星阵方面并没有说过支持任意棋盘”说法不实。希望今后再有此类疑问时首先查阅公开资料,不要人云亦云。
质疑2:“星阵比赛(2018年4月星阵对leelazero七番棋)的时候为什么要求lz公布权重,而且lz公布权重和实际权重不一样的时候反而取得了胜利,这个很容易让人有针对性训练的遐想。”
回应:公布权重是星阵方向组织者弈客提出的,目的是赛后验证招法真实性和数据分析,为了人机大战做准备,得到了leelazero方代表的同意。并且规则只要求公布权重信息(而且是赛前半小时),没有对leelazero使用权重的选择做出任何限制(包括赛前不公开的权重)。所谓“lz公布权重和实际权重不一样的时候反而取得了胜利”更是缺乏说服力。这里找到了2、3、4局的权重公示情况。
第2局:
https://home.yikeweiqi.com/#/gonews/detail/16941?type=1
第3局:
https://home.yikeweiqi.com/#/gonews/detail/16972?type=1
第4局:
https://home.yikeweiqi.com/#/gonews/detail/16995?type=1
可以看到第2局和第3局均没有使用官方权重(星阵方不清楚这两个权重赛前是否公开),第4局公示使用官方权重但据说实际使用的是非官方权重并取得胜利(问题的由来)。首先比赛前半小时才会公示使用权重,每一局leelazero使用的均是不同权重,而且很多权重是当天才更新。本身就不存在针对性训练这种技术,更何况权重赛前未知、并且不断更新。而且从棋的内容看,前三局星阵赢的并不轻松,第四局也是苦战惜败,不存在明显的差别。所谓“公布权重和实际权重不一样反而取得了胜利”只是一种巧合衍生出的猜测。
质疑3:“星阵最开始说租机是最新权重,然后后来用ox测试,ox并不弱,然后立刻改口说稳定版权重,在索要ox权重后,进行升级,突然对ox碾压,根据实际elo曲线,如果不靠针对性方法这个进步至少200分以上,能在短时间内进步200分,这种神奇的速度,然而比赛仍负绝艺,令人费解。”
回应:首先拿来测试的据我们所知被称为oxb02权重,和ox有所区别。并且某棋友当时在野狐公开测试星阵12x对5卡2080ti的oxb02权重战成1:1平,之后当晚24x执黑0:1 oxb02。然而第二天开始有人开始在各个qq群微信群大肆宣传,声称“oxb02同配置2:0星阵”。
我们得知这一消息后,马上进行自查。通过在野狐测试和自战测试发现最新权重可能存在一定问题。为了保险起见把权重回退到最新的稳定版权重(8月份比赛版本)。因此在10月19日之后到目前为止,网页版使用的均为8月份的稳定版权重,那么8月份的星阵是如何针对后面出现的ox(b02)进行针对性训练的?如果有兴趣验证的话,由于权重时间较早,网页版目前开局阶段黑棋胜率整体比当时所谓“2:0星阵”时要高,可以和当时“第一视角”截图做对比。同时还可以拿目前的网页版来分析9月份在野狐上“FuzzyPants”账号的招法重合度。各种证据都可以说明网页版是回退到旧权重,而不是所谓的“升级”,“针对性训练”谣言不攻自破。
从另一个方面看,星阵出道以来在大赛中多次战胜非开源AI,在决赛番棋中以较大优势战胜过AQ、小爱,同时星阵也是在凤凰围棋后唯一在正式比赛赢过绝艺的AI。同时ELF(赛后放出最新权重v1)、Leelazero等开源AI在比赛中均使用了未公开的权重,可以说在AI大赛中本来就不存在公开权重的AI,如果星阵是靠所谓的“针对性方法”提升水平,那么是如何在历届AI大赛中面对各种对手都取得好成绩的?
质疑4:“星阵认为已经超过zero的天花板,这个并未有证据?难道星阵自己跑到过zero的天花板?如果没有,如何认为zero天花板没有master方法高?”
回应:首先zero指的是AlphaGoZero论文中40B模型,想对比的是该模型的水平而不是算法的优劣。比较水平最直接的方法是对战,但是这个验证方式基本不可能实现。该论文中包含各版本的等级分推算,可以看到Raw network也就是纯神经网络输出的水平是3055elo分(这里是goratings的分数,并不是中国围棋等级分)。而星阵对应的Raw network就是星阵陪练小程序9d所使用的。从小程序的使用反馈以及其他相关的对比测试,猜测星阵的Raw network可能超过了3055分,并不是严格的证据,星阵也从未发表过“证明了”超过AlphaGoZero这种言论。
关于zero天花板的master对比,论文中没有提到过AlphaGo Master的模型大小,主流的非官方消息为20Block。而论文中并没有提到20Block的zero版本与master版本的棋力对比,因此只看论文无法说明zero天花板高于master。星阵只发表过类似“master方法天花板不一定低于zero方法”的言论,所谓“认为zero天花板没有master方法高”完全是曲解原意。
质疑5:“星阵支持日本规则尚存疑问,日本规则双活无目,请问如何用中国规则模拟日本规则,如果只是看谁收后的方法,不是真正意义上的日本规则。”
回应:日本规则是一种存在大量人为规定棋例的规则,本身很难程序化,星阵也没有声称过支持“真正意义上的日本规则”。星阵设计了一种“实战解决的数目法”,与日本规则近似度很高,并在17路挑战赛中使用,并不是简单的只看谁收后的方法。在2019年3月日本进行的人机配对赛中,星阵和搭档芮乃伟老师执黑半目(盘面7目)险胜对手,过程中星阵判断精准,已经可以说明问题。如果一定要较真的话,星阵确实支持不了“真正意义上的日本规则”。
质疑6:“去年5月ai大赛,星阵10卡打单卡elf(虽然elf是v100,但是计算速度其实并不高),星阵宣称那时候已经达到elf水平,最终结果确是2:3险胜。”
回应:“虽然elf是v100,但是计算速度其实并不高”这个前提毫无根据。根据elf公开的论文https://arxiv.org/abs/1902.04522,50秒约计算80000个盘面,折合1600playouts/sec。而星阵的10卡是1080ti,平均速度为1500 playouts/sec,考虑到elf模型较小,性能上星阵可以算稍占优势,3:2的比分也说明了当时星阵与elf水平相近。
后记:星阵团队近期正在全力开发星阵网页版,目的是让每个喜欢围棋的棋友都能无门槛用上高水平的围棋AI。从星阵围棋在去年4月公开亮相开始,各种阴谋论的猜测就陆续出现了。多次世界围棋AI大赛星阵均取得了上佳的成绩,对人类的让先、17路、让二子挑战赛也表现出色,同时今年开放的微信小程序“星阵陪练”(纯神经网络)也受到广大棋友的一致好评,其中的9D水平被公认明显强于已有的任何开源AI的纯神经网络,这些都证明了星阵的水平和技术创新。
然而不断有人刻意忽略部分事实,例如将“星阵12x 1:1、24x 0:1 5卡”的结果宣传为“2:0同配置星阵”。还将星阵团队成员的一些正常言论进行“加工”,去掉上下文、曲解原意,修改变成有争议的言论并广为传播。包括本次质疑的内容,其中有很多前提就存在明显的错误,由此推论出的星阵种种自然毫无说服力可言。为了澄清这些质疑,尽量还原事情的真相,我们力求每一个问题都找到当时的新闻报道、对局记录等,做到言之有据。
关于网页版的水平,较少盘数水平的测试原本就存在较大波动,对星阵有利的结果被歪曲成“星阵使用了各种不光彩的手段”,对星阵不利的结果自然被解释成“星阵就是这个水平”。并且先后出现了大量自相矛盾的说法:当有人询问星阵水平的时候,可以说“星阵同配置与XX权重差不多”;为了说明星阵“针对性训练”,又会说“星阵碾压XX权重”。
星阵团队认可每一个开源AI对围棋所做的贡献,肯定每一个开源AI的实力。同时欢迎客观公正的对比测试,接受合理的意见,为广大真正热爱围棋的爱好者们做出自己的贡献。