为什么人工智能在围棋上几乎击败全人类,仍然不能完全解决交易问题?

论坛 期权论坛 期权     
陈卫立   2018-9-23 04:08   246578   6
如题,围棋很复杂吧?为什么AI在象棋、围棋的应用如此成熟和无敌,在交易上实践这么难呢?望各位大佬指点
分享到 :
0 人收藏

6 个回复

倒序浏览
2#
石川  4级常客 | 2018-9-23 04:08:27 发帖IP地址来自

为什么棋类游戏最先被 AI 攻克?我们来看棋类游戏的特点:1、信息边界明确,状态有限;2、所有信息完全公开透明;3、游戏在有限步内结束,有明确的胜负判断标准。这几点造成了棋类游戏的的整个状态空间是有限确定的。以围棋为例,每个交叉点上是黑子/白子/空三种状态,一共 3^{361} 种局面,之外的任何信息都对策略没有影响。就是一只猪,把每个局面最优着法记下来,也成了围棋之神。当然,以目前的技术列出围棋的全部局面是不可想象的,但是计算机相较于人的长处正是海量数据的存储与高速运算。因此计算机在棋类游戏中击败人类就不足为奇了。

再看投资领域,与围棋相比在上述几个特点上都显著的更为复杂。与围棋的全部信息都在棋盘之中相比,对于投资你很难预先确定整个问题的信息边界。这对于现阶段的 AI 已经构成了天大的挑战。现在的 AI 从技术以及形态上显然无法像人类一样主动去现实世界探索信息,那么如果让 AI 去投资,整个系统的输入是什么?哪些信息是相关的哪些信息是无关的?对于投资这种开放性问题,大千世界的任何信息都有可能会对决策产生影响,信息量巨大而信噪比极低。AI 不可能获取到一切有可能有意义的信息,从目前常见的做法来看,除了各类报表数据,就是接入互联网,从新闻以及舆论中挖掘一些有意义的信息。但这远非投资需要了解的全部,反而引入了大量的噪音。

如上图所示,AI 能够使用的信息实际只是现实世界全部信息一小部分,其中还包含了大量的无用噪音甚至是虚假、错误信息。在这样的数据基础上,无论使用多么先进的算法,也无异于盲人摸象,难以获得令人满意的结果。

另外棋类游戏有确定的结束标志,存在明确的胜负标准,这也对 AI 的学习提供了极大的便利。最新的 AlphaGo Zero 版本正是依赖于此,让程序从 0 开始,不断的自我对弈以提升棋力。其背后唯一的逻辑很简单:一盘下完了,赢棋方的着法总是比输棋方走得好。这其实是一类非常特殊的问题。深入分析一下,围棋 AI 希望尽可能的提高棋力,而对弈胜负正是棋力真实客观的外在量化标准,可以直接测量、反馈。作为 AI 只需要不断地追求胜利即可,这个量化目标与根本目的是完全一致的。同样的事情放在投资上就不那么显然了。选出中国平安的策略比较厉害?还是选出贵州茅台的策略比较厉害?我们希望尽可能的提高 AI 的投资能力,但是这个投资能力缺乏一个明确的可量化评测标准。我们只能利用唯一的历史数据,使用类似“近十年的投资信息比率”、“近五年的收益率”等代理指标。但是我们应当清醒的认识到,这些简单指标均无法完全准确的代表投资能力。过于片面的追求这些指标的优化,还容易陷入过拟合的风险。

目前取得重大进展的以深度学习为代表的 AI 技术,本质上还是基于数据的统计,是一种高维空间的模式识别。这使得 AI 无法“理解”任务内容,在 AI 看来所有的任务都是寻找 f 使得 f(X) \rightarrow Y 的过程。这样 AI 的效果将极其依赖于给定的输入 X 与输出 Y。前面两节已经提到,在投资任务中,输入 X 中包含了大量的垃圾信息,又将很多真正有意义的信息排除在外;输出 Y 又不易准确量化评价。对于人类来说,存在大量的领域背景知识,可以轻松的滤掉“显而易见”的无用或错误信息。但是现阶段技术下,这种领域背景知识很难迁移到 AI 中。AI 将对所有信息一视同仁,努力在其中发现模式,而这种模式将完全不同于人类的思维和理解方式,对于人类来说几乎是一个黑箱。这等于 AI 放弃了人类文明千百年来的持续积淀,仅通过目前人类给他划定的一部分信息,采用不同于人类的方式自学成才。对于围棋来说,棋盘上的信息是完全的,人类的所有领域知识积累都可以从棋盘上推演得到,人类的知识显得“多余”了。但对于投资来说,涉及的信息无法穷尽,此时放弃人类知识就是非常危险的。那些人类闭着眼都不会踩到、甚至根本无法意识到其存在的坑,都很可能就会让 AI 阴沟里翻船。更何况现在的 AI 对于针对性构建的恶意样本还非常脆弱,一旦被人恶意利用,后果不堪设想。

同时,现阶段的 AI 投资还面临一个重大挑战就是数据匮乏。从基于统计的机器学习开始,到现在的深度卷积神经网络,对于复杂的问题采取了使用海量数据学习以暴制暴的方式。AlphaGo 对弈了数百万盘围棋,达到了人类的水平。而一个人类棋手从学棋开始至达到职业水平的对弈数连 AlphaGo 的零头都不到。在这一点上,目前的 AI 与人类的思维方式还有着显著的差别。AlphaGo 击败了人类也不意味着机器就比人更聪明。

人类的优势是对复杂数据进行高层次的抽象,大道至简;而深度学习算法则是充分发挥机器的优势,以量取胜。这使得人类能够从少量的样本中总结出深层次的简单规律,并利用这些规律做出各种预测;而 AI 在目前阶段无法做到这一点。观察到苹果落地,牛顿总结出是因为地球的引力,据此发展出万有引力定律;爱因斯坦总结出是因为地球质量造成时空弯曲,据此发展出广义相对论。他们都通过少量(相对 AI 的训练数据规模)的观察准确的抽象出了高层次的一些规律。

在小样本上的学习能力、深层次规律的抽象泛化能力,人类远远强过 AI。如果巴菲特是 AI,他可能需要看过 100 万家“可口可乐”公司的成功,才能在实际中选出可口可乐。但很可惜,可口可乐公司只有一个,历史也只有一次。对于 AI 来说,这样的学习数据实在是太少了。现阶段的 AI 算法,如果学习数据太少,会非常轻易的陷入过拟合的陷阱 —— AI 记住了所有的学习数据,而非其中真正能够持久生效的一些深层规律。从投资到计量经济学,都注定了只有唯一的历史数据可以学习,时间持续流逝,环境不断变化,你也无法控制同样的环境反复的实验验证。此时就要求必须能够从这少量的甚至是唯一的样本中总结规律。现在 AI 言必称大数据,而爱因斯坦 100 年前没有任何实际的观测,通过“零数据”就预言了引力波的存在,直到 100 年后的今天才被实际观测到,这种能力现阶段的 AI 是无法企及的。专家们早已注意到了机器学习过于依赖样本的局限性,小样本学习的问题已经被推到 AI 领域前沿,但迄今未出现像深度学习算法这样的重大突破。目前 AI 仍然无法脱离模式识别的范畴,我们离实现真正的智能还有很长的路要走。

尽管整个投资任务对于 AI 来说过于宽泛复杂了,但 AI 在一些特定的具体领域任务上足以与人类媲美,已经证明了其巨大价值。AI 的长处在于大量繁杂数据的高速处理,而人类的长处在于化繁为简,达到更高的抽象层次。人类和机器具备各自独特的优势而又能够有效互补。对于投资来说,AI 可以作为工具,帮助人类去高效的完成一些特定环节。我们仍然应当以人类投资的成功经验为基础,在其中一些特定环节上由 AI 替代人类高效完成。目前我们关注研究的重点不应当是 AI 如何替代人类做投资,而是如何作为工具帮助人类更高效更好的进行投资。将 AI 引入投资领域的商业本质仍然是效率的优化,是时间、成本、质量之间的平衡。AI 的引入能够大幅降低低端人力成本,提高企业投资业务处理能力,从而获得更高的边际效益。作为专业投资者应当拥抱这种变革,深入理解 AI 技术、了解 AI 的优势与局限、让 AI 为投资发挥其最大的效能。

3#
悭臾  4级常客 | 2018-9-23 04:08:28 发帖IP地址来自

类似的问题以前回答过:


我们可以理解一下围棋为代表的棋类、德扑为代表的牌类,以及股票和期货为代表的交易类,这些活动之间是不同的。


棋类,特点是“历史一定会重演”,你用ABCDEFG的走法被别人HIJKLMN的走法克制了,输了,那么你下次用同样的走法,他也用同样的走法,你一定会再输一次。所以棋类是很“死”的,之所以这么“死”依然具有可玩性,那是因为它每一步的概率叠乘起来终究是个天文数字,相对于人脑的计算能力来说无法穷举,所以在人脑面前棋类也是混沌的。但对于AI来说不一样,机器的计算能力成指数化增长,渐渐有一天机器的运算能力已经可以穷举或者近似穷举棋谱了,那么围棋对于AI来说就是必胜的,完全“死”了,不再具有可玩性。


牌类,特点是“历史有可能重演”,牌类在棋类的基础上增加了洗牌发牌的随机性因子,所以每一局的变化大大增强,即使在回合数远远少于棋类的情况下,总体可能触发的逻辑路径也不输于棋类,故而依然具有可玩性。原理跟棋类相似,对于人脑来说,不可计算,对于AI来说,部分可以计算、随机性部分不可计算,所以牌类上面AI相对人类而言只在定势方面有绝对优势,在随机性部分只具有相对较弱的计算能力优势,牌类上面如果没有较多的局数来保证大数法则发挥作用,AI并不能确保战胜人类。


交易,特点是“历史会重演才特么见鬼了”,任何具备基本活跃度和自由度的交易市场,我截取任意50天的K线图,你如果能在不同时段任意品种上截取到跟我这一段100%相同的50天K线,我就直播裸奔成都春熙路。棋局的每一步只有2个影响因子、牌局的每一步只有 (剩余牌数 * 参与人数) 个影响因子,而交易没有步数限制,在每一个瞬间都可能产生影响因子,而且连影响因子的数量都是不可知的。纵使AI有天大的计算能力,也无法在过多的未知参数下获得答案,甚至连近似答案都无法获得,相对人脑,连概率优势都确保不了。


所以,交易领域,严格说来,AI对于人类无威胁力




从数学方面思考:交易和棋牌,背后的数学原理是不同的。


下棋是两个人的博弈,打牌是几个人的博弈,而期货股票交易是成千上万甚至十万百万人的博弈。


下棋是步进的,你一手我一手这样轮流落子,AI算得快一点或者慢一点,出不出网络延迟,都没有关系。并且落子只有一个维度那就是位置,对于围棋来说,假设棋盘还剩100个格子,那么我下一步的走法最多只有100种可能,计算机可以轻易将可能的走法穷举一遍。


交易不同,交易是实时的,开盘时间内任何时间都有可能有成交,也可能没成交,别的交易者不会在挂单后等着你挂单再成交,AI计算得快一点或者慢一点、下单快一点或者慢一点,都是有区别的。而且交易有多个维度,多空是一个维度、下单和成交的时间是一个维度、成交金额也是一个维度,潜在参与者数量也是一个维度、甚至连对手交易者是人还是AI这也是一个维度,这些维度的任意组合对目前的计算机运算能力而言都是不可穷举的,未知信息太多了。


目前的人工智能算法看似强大,本质不外乎简单穷举和带学习的优化穷举两种。简单穷举在复杂问题上基本已经淘汰,因为太浪费算力。而学习型穷举根本无法应对带有反身性的复杂环境。你在学习市场,但市场本身也受到你的学习行为的影响,参数本身在不断变化,这就是一个N体运动,数学上不可测。


从哲学本质来思考:排除市场本身的价值增量以及手续费减量,在微观层面,市场交易是零和博弈,一方赚钱必然有一方亏钱。那么,如果AI真的能在交易上形成对人脑的绝对优势,那么可以想象,因为AI的赚钱效应,市场上会遍布AI,由此,整个市场的环境就变了,博弈双方不再是AI和人,而是AI和AI,这时候一定还是会有输家和赢家,总有一方不能完全解决交易问题。再进一步,假设一部分AI比别的AI更厉害,就叫它AI-S,假设AI-S能完全解决交易问题,那么市场上又会淘汰别的AI,最终遍布AI-S,这样又成了AI-S和AI-S的博弈,同样会有赢家和输家之分,部分AI-S又会失败。剩下的有效AI-S又会重复前面的失效过程,总之博弈市场永远有输家,交易问题不可绝对求解,博弈式交易没有必胜之法。



AI对人类的优势在于无与伦比的记忆能力和运算速度,但交易不需要太好的记忆力,也不需要多大的计算量,AI的优势根本无从发挥。


AI在短期内利用统计计算的优势做概率投机,是有机会大赚特赚的,但这个方法在更多AI加入以后就会很快失效。再到后来,人类之前几十年上百年积累的交易特征数据就会完全失去统计意义,市场波动会呈现更强的随机性,从算法上AI将完全失效。


当然,AI具有奇快的下单手速和变态的执行力,但这些都是人脑搭配程序化交易就能做到的,不是AI的绝对优势。


总之,短期内AI确实有可能成为交易领域的洪水猛兽,但长期来看完全不足为惧,市场本质是混沌的,AI的存在既不能让它不混沌,也不能让它更混沌,AI什么都不是。因为市场上任何参与者都只表现为下单方向、下单时间、下单金额,而不呈现智力特性。


记住,你只是个单子,AI也只是个单子。



人工智能时代,判断型主观交易还有什么机会?
4#
FoolyCooly  4级常客 | 2018-9-23 04:08:30 发帖IP地址来自

因为交易市场上对手和你是完全不一样的主体,他的力量,目的和行为持续时间完全不可知,只能预测一个概率,围棋则是你一子我一子,绝对公平透明。交易市场上你觉得你在和对手下围棋,人家也许只是下五子棋,下几手就跑了。

5#
花村妇联主席  2级吧友 | 2018-9-23 04:08:32 发帖IP地址来自
别说交易了,ai打星际争霸都打不赢游戏自带的简单电脑。。。。
6#
netsys  4级常客 | 2018-9-23 04:08:33 发帖IP地址来自

什么叫完全解决??一个人类都没有?

少年,饭要一口口吃,路要一步步走。

如今AI已经开始威胁很多人类岗位了。


高盛600交易员剩2人 AI时代你会被机器替代?

高盛600交易员剩2人 AI时代你会被机器替代?


【天极网网络频道】近日,据《MIT技术评论》报道,由于人工智能的“高歌猛进”,华尔街的部分交易员已被自动化程序替代。今天,高盛在纽约总部的现金股票交易柜台只剩2个人,而在2000年,高盛的柜台雇佣了600名交易员,他们根据投资银行大客户的订单买卖股票。

  人工智能正在冲击传统的银行交易,一些银行交易员的工作正在被自动化程序所取代,这一切每天都在上演。

600名银行交易员变成2人 背后是自动交易程序在工作

  这背后的大部分工作已被自动交易程序接管,它们由200名计算机工程师进行支持。该公司副首席财务官和前首席信息官Marty Chavez在哈佛举行的一场研讨会上解释了这一点。事实上,这只是高盛公司转型的一个例子。计算机交易开始被越来越多的华尔街公司看重,并在过去5年得到加速发展。同时,它们不断进入人类曾经主宰的金融领域,取代部分人类交易员的工作。



Marty Chavez

  在4月份,Marty Chavez将成为首席财务官。他表示,在交易领域,比如股票甚至是投资银行等部分业务领域,都是沿着股票走过的自动化方向发展。

  根据一家跟踪行业的英国公司宣称,近45%的交易都是以电子方式完成的。现在,除了后勤办公室的文员,华尔街的机器取代了很多高薪人士。

人工智能的发展 将让许多投资银行节省大笔成本

  对许多公司来说,这可以一个天大的好消息。根据联盟统计,在销售、交易和研究领域,全球12个最大的投资银行员工的平均薪酬为50万美元,包括薪资和奖金。而联盟研究主管Amrit Shahani说,75%的华尔街薪酬给了这些高薪“前端”员工。一旦这些交易员被机器取代,它们以前获得的薪酬将直接计入公司利润。毫无疑问,如果能够替公司节省一大笔花费,许多投资银行还是愿意做的。

  人工智能的发展,让深度学习等各种算法开始大放光彩,甚至“攻占”人类的优势领域。复杂交易算法,有一些甚至具有机器学习能力,首先替换了销售价格易于确定的交易,包括由高盛交易的旧600支股票。



  事实上,自动化正在高歌猛进。在一些交易领域,如货币和期货,它们不是在像纽交所这样的地方交易。它们价格的波动性大,现在也更多地纳入到自动化。为了执行这些交易,算法被设计为尽可能接近人类的行为。

人类在逐渐退出一些工作领域 人工智能将发挥极大作用

  高盛已经开始推行自动化货币交易,并发现以前的4个交易者可被1个计算机工程师替代,Amrit Shahani在哈佛的大会上说。现在,高盛员工总数的三分之一,约9000人是计算机工程师。

  并且,他还表示,投资银行的任务接下来会被自动化取代,这包括传统上一直专注于人力技能和建立关系的工作。虽然这些人不会被完全取代,但是流程的自动化已经在逐步实施。

  “我们做的一切工作都是由数学和大量软件进行支撑的,”Marty Chavez在1月份告诉哈佛听众。现在,高盛的新消费贷款平台旨在整合信用卡余额,安全由软件运行,没有人为干预。在短短的12个月内,它就被推出并被培养成一家小公司。他说,这是一种新模式,高盛公司正在继续推进,高盛公司在纽约总部的一些交易空间现在已经变得空空荡荡。



  高盛公司的动作表明,人工智能正在逐渐取代部分人类的工作。在人类社会中,随着经济、社会的发展,一些工作会兴起,而另一些工作则会消失。比如,工业革命时期的纺纱工人。然而技术的进步,尤其是人工智能的发展,则正在加快这种工作的更迭。机器自动化正在取代那些简单、机械和毫无创造性的工作,例如工厂中的自动化机器人,它们正在取代大批的蓝领工人,这将带来一波失业浪潮

  虽然高盛的600名交易员变成2个,背后却增加了200名计算机工程师。这意味,人工智能在消灭工作的同时,也会创造新的工作机会。然而,就该公司而言,仍然有389名交易员面临着失业的机会。他们如果不能转到公司其他岗位,可能就会失业。事实上,人工智能会消灭和创造工作机会,但是创造的新工作机会需要以前的人们积极转变,学习新知识、新东西,否则还是不能胜任新岗位。

写在后话:

  高盛的事情表明,人工智能正在渗入人类工作领域,与人类“争抢”饭碗。然而,这却显示出人工智能所具有的各种可能性,取代部分人类工作,让人类能够专注更具创造性、思想性的东西。如果未来几十年,能够有颠覆人类社会的事情,那么人工智能绝对算一个。然而,现在有些工作,尤其是一些脑力和创造性工作,人工智能还做不来。

7#
番茄射手  1级新秀 | 2018-9-23 04:08:34 发帖IP地址来自

题主问这个问题的深层含义是:为什么人工智能没有能实现 投机交易 稳定盈利?

如果只是交易,哪里难了?这么多AI做市算法、AI配对算法、AI风险预测算法早都应用在交易上了。美国开放的做市制度下算法交易几乎是成交额的70%+,AI上世纪就有了。

做市交易,几乎是算法交易的天下,绝大部分模型是风险中性模型,而不是为了留着大敞口等着赚钱/亏钱的,自己的头寸几乎必须对冲。人家卖你个期权,你以为拿着头寸跟你对赌呢?这时候市场流动性判断、对手信用判断、自身头寸管理,这些领域AI早都做得很好了。新闻里说的什么大投行开除交易员也是开除的做市交易员,里面很多情绪冲动或者三心二意的,被AI替代是必然。

高频套利交易,偶尔才有机会,而且原理几乎人尽皆知谁都能做,比的是谁有关系谁能把服务器放交易所机房,能更快执行交易。

但是,就算你用了什么100多层的深度循环神经网络多因子去投机(赌博),得到的收益只会是一个与市场相关的分布,而不是单纯的赚/不赚。你开始抱怨,什么垃圾人工智能,交易问题真难,赌场真黑。。。

因为你没有对冲,因为你在投机,你的头寸或多或少或正或负会和市场一起沉浮。

总结就是人家算法是用来服务市场的,不是用来跟你赌博的。只要你控制不了每一个参与者,这个市场反馈给投机者的就是有正有负的分布。你喜欢什么投机交易你就去玩,反正最后出来结果还是β。


P.S.:无对冲的统计套利也算投机

P.P.S.:看到很多还在沉迷“猜涨跌”的“金融从业者”对“AI”抱有乌托邦式的期望,我对自己系统学习了金融感到幸运233

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:
帖子:
精华:
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP