国内目前的量化交易是否很少涉及到机器学习？

看了几篇券商金工的报告，策略大都很简单，主要是对一些技术指标进行量化再选股或者择时，但是筛选的参数很多还是主观设计的。boss也说现在基本不用机器学习。所以现在国内机构的量化领域机器学习应用的还很少吗？是因为效果不如简单的策略吗？（经常overfitting等）

匿名用户 · 2018-10-13 14:22:58

提示: 作者被禁止或删除内容自动屏蔽

江嘉键 · 2018-10-13 14:22:57

从广义的角度来说，机器学习不仅仅是模型选择的问题。它涉及到数据预处理，特征工程，特征选择，模型选择，结果的验证和分析等一整套建模流程。因此，如果我们把机器学习应用于量化交易狭义地理解为 “用支持向量机成功预测股票涨跌” 这样的研究，这种认识接近于买椟还珠——令人遗憾地对机器学习领域散落遍地的珍珠视而未见。

      最近一些时间，机器学习和数据挖掘的热门导致了舆论上的小小逆反——大数据和机器学习的东西是否已经被过分吹捧？似乎与之相关的人和事都显得躁动不安。在社会科学研究中，有一个“经济学帝国主义”的说法，大致的意思是，经济学的研究范式被各个社会科学大量借鉴，其研究的范围似乎一望无际，了无边界，令其它学科的学者感到窘迫。如果我们去观察一些社会科学近几十年的发展脉络，我们会意识到，其趋势大致都可以用 “从定性到定量” 来概括。因此，放在这个历史进程中考量，机器学习的崛起无非是这一趋势的延续——过去模糊不定的经验，现在可以通过系统的数据分析证实或是证伪；而那些未曾被察觉的规律，则在机器学习算法的抽丝剥茧下得以浮现纸面。

      那么，当我们聚焦于“机器学习将如何深刻改变量化交易”这个命题，未来将会向我们展示何种图景？在我看来，大概有两个方向：（1）特别针对量化交易的统计学习算法被提出，使其适合于噪声大，分布不稳定的金融数据分析；同时在模型参数优化的过程中，考虑了夏普率或收益率最大化，风险最小化等量化交易者关心的目标；（2）对于机器学习的热情回归理性，从工具为导向回归到问题为导向——从 “不管怎么样先套用机器学习模型试试” 回归到 “我想要解决这个问题，而机器学习中正好有一个趁手的工具”。

   对于第一个方向，即研究更好更有针对性的新算法，我们能力有限，只能寄希望于学术界给我们带来启发；对于第二个方向，如何以问题为导向，在机器学习算法中挑选合适的工具，我们米筐科技量化策略研究团队最近一段时间做了不少的思考和尝试。以下是我们的一部分思路和经验，希望对你们有所帮助。

1 缺失值处理

由于早期的数据采样和收集不完善，或是数据源本身的问题，在金融的量化分析中，处理缺失值都是一个不可避免的问题。选取合理的缺失值处理方法，依赖于数据本身的特点、其对应的经济学意义和数据缺失的情况（大段缺失或是个别缺失），还有我们需要使用数据进行何种计算。

作为一个例子，在我们尝试构建多因子模型时，我们选择了两种缺失值替换方法：（1）把模型中包含的所有因子作为特征变量，并赋予其相同的权重，再采用机器学习中的K-近邻算法（K-nearestneighbors algorithm, KNN）来寻找最相似的标的，保证缺失值替换后，不会强化一部分因子的影响力；（2）采用期望最大化算法（ExpectationMaximization Algorithm, EM）来用同一变量的已知数据对缺失值进行极大似然估计。

2 特征工程和特征选择

在机器学习应用中，特征工程是用于解决数据集中已有的特征变量不够多，或者已有的特征变量不足以充分表征数据特点的情况；而特征选择则适用于当我们拥有大量的特征，需要判断出哪些是相关特征，哪些是不相关特征。在多因子模型中，特征工程和特征选择则可以帮助我们解决产生并筛选因子的问题。

在研究中，我们以 WorldQuant LLC 给出的 101 个阿尔法的数学表达式为例，进行了特征/因子构建的尝试；并在我们的研究平台上，实现了一个特征/因子的集成打分器，以对其进行系统的筛选。关于这方面的研究，有兴趣的朋友可进一步参考以下的知乎答案和知乎专栏：

江嘉键答过的问题

米筐科技（RiceQuant）策略研究：沪深300指数的特征工程和聚类分析-以WorldQuant Formulaic 101 Alphas为例 - 机器学习 & 金融量化分析 - 知乎专栏

米筐科技（RiceQuant）策略研究报告：特征选择方法探析—沪深300指数的集成特征选择和聚类分析 - 机器学习 & 金融量化分析 - 知乎专栏

3 多因子模型的因子权重计算

在构建多因子模型的时候，当我们已经选定了一系列因子，下一步我们需要解决的是如何根据不同的市场情况调整各个因子的权重。在我们过去的研究中，发现随机森林算法（Random Forest）对于存在非线性、噪音和自变量共线性的训练集的分析结果较其它算法更为出色。因此，在多因子模型的权重上，我们目前采用当期收益率对上期因子进行随机森林回归分析，以确定下一期多因子模型的因子权重。

4 舆情数据

通过分析群体情绪和新闻热点来预测证券价格的研究，大致上发轫于2011年的一篇研究《Twitter mood predicts the stock market》。尽管其采用的分析方法已经存在多年，但是直到直到各种社交平台的兴起，获取大量、即时的舆情数据才变得方便可行（大数据！）。而与之对应的自然语言处理（natural language processing, NLP）则是机器学习传统的研究领域。由于其涉及到的数据体量，这个研究方向天然就是复杂、精巧的机器学习理论和算法竞赛的舞台。如今，舆情数据的研究的方法和理论已是蔚为大观，可供尝试的工具和算法非常多。在应用舆情数据进行证券市场预测的研究上，我们团队的经验也非常浅。随着更多的舆情数据源纳入我们的平台，与舆情数据相关的研究也会成为我们团队下一步的重点。

以上就是我们团队目前对于机器学习应用于量化交易的一些尝试。希望对你们有所启发，也欢迎大家跟我们分享你的想法和经验。我们也将会陆续分享更多的研究成果，有兴趣的朋友也可以逛逛我们的专栏：

Moneycode - 知乎专栏

庄学坤 · 2018-10-13 14:22:56

因为他们驾驭不了

匿名用户 · 2018-10-13 14:22:55

提示: 作者被禁止或删除内容自动屏蔽

匿名用户 · 2018-10-13 14:22:52

提示: 作者被禁止或删除内容自动屏蔽

Austin · 2018-10-13 14:22:49

谢邀。

同意 @记忆豆豆的评论。以下说一下我自己对于机器学习（其实我更愿意使用统计学习）的一些鄙陋之见吧。

首先，提供一个从量化投资决策过程的角度。我想在任何一个负责任的机构，任何类型的策略，都需要向投资人回答“我们挣什么钱”这个最重要的问题。

在中低频策略领域，量化投资仅仅是认识市场的一种手段或哲学之一，绝不代表仅仅只是Data Manipulation。这意味着什么呢？这意味着纵然量化投研人员需要花大量的时间在学习新的技术与手段，但是认识市场、了解市场，发现市场的无效，也是量化投研必要的日常主题之一。假如我能够发现一个特别明显、持续、强劲的市场无效点且加以量化，在可以的前提下，线性模型无疑是最好的。

线性模型最大的优势就是“鲁棒性”好，对于金融数据这种高噪声的数据模式是最为稳健的。而且，往往线性模型的经济学解释和数学解释都非常直观。举个比较极端的例子，假如你有一系列信号，然后用SVM来预测股票涨跌。但是一旦经过一个月的实盘，你发现SVM分类持续出错，在实盘环境下，你想迅速找出问题所在并应对调整正确是非常困难的。这时候线性模型的优势就体现出来了，你可以很方便的通过归因分析发现哪些因子可能被under estimated, 哪些被over estimated。简而言之，“很多时候”，机器学习是Black Box。而非监督式的学习就更是耍流氓了。

对于实际投资而言，可解释性、鲁棒性往往与过拟合是一个硬币的正方面。比如WorldQuant在之前的论文中，提出：输入固定的“操作符”、基础信号，在一定的复杂度内可以通过它们来随机生成信号。但是，即使通过这种方法找出一些In sample表现非常优异的信号，你敢将其运用到实盘吗？这恐怕要打一个巨大的问号吧？最终，可能还是需要通过这些信号来探寻其背后的经济学意义，才能简化用于实战。

但是，机器学习在量化领域还是有着很深的介入的，它解决着线性模型天生的缺陷或弊端，在国内并非很少人应用。除去凸优化、降维(提取市场特征)等领域的应用，目前两个最重要的弊端就是“非动态性”和“非线性”。比如上面回答提到的adaboosting。很多时候，金融关系之间并不是线性的，也不是静态的。这个时候，统计学习的优势就会体现出来，它们能够迅速地适应市场，或者用一种更“准确的”方式来描述市场。而统计学习关注方法本身的统计学特征，应该说更适用于投资。

参见德银关于adaboosting在Alpha上的报告。

举例来说，IC(Information Coefficient，参见QEPM)是指信号与未来收益率之间的截面相关性，是一点典型的线性关系。它被经常用来描述信号的优劣。如果IC > 0，则意味着截面意义上，信号与下一期的收益率是正相关的。很多时候，它被用来分配在信号之间的权重。但是，（一）、IC在不同的市场状况下可能表现非常不同，所以我们可以用决策树/HMM等等方式来对此建模；（二）、IC可能不是一个很好地描述因子准确度的指标。所以，我们可以把股票分成N个篮子，计算因子在每个篮子的预测准确度。所以，我们可以把它转换成一个分类问题。我们可以用Boosting/SVM/Logit等等等等的方式来建模。

所以，在量化投资中，总是先有问题，再去寻找工具。应该说，统计学习是众多武器库中的一种。

其次，在国内，机器学习在量化内应用跟领域很大的关系。比如CTA的运用可能就要多于股票。CTA处理数据的维度要远小于股票，但是可获取市场的长度和动态却强于股票。其次，期货市场的momentum要强于股票市场的momentum，从这个意义上来讲，它的趋势相对股票要更为明显和低噪声。这些特征都更有利于机器学习发挥它的作用。

再次，在国内，机器学习的应用跟频率也有很大的关系。跟很多方法一样，机器学习在大样本下的表现要远优于小样本的表现。统计上来讲，因为机器学习能够不断试错，不断“学习”，所以通过不断的训练，实现对各种情况下概率的准确估计，从而实现超越普通模型。这也是为什么AlphaGO需要训练各大高手的对局棋谱的原因。

比如，在国内一些交易执行算法的设计上，就可能借鉴了机器学习。通过学习订单薄特征，我们可以对下一期盘口变化做一些概率上的预测，由于算法执行频率较高，经过一定样本的训练之后，能够显著地提升算法表现。

但是我仍是谨慎看好深度学习等机器学习方法的。原因在于，这些方法与现行的大部分方法不在一个维度上认识市场，而这个优势使得它们能够捕捉到其他方法正常无法捕捉到的收益。索罗斯说，不做拥挤的交易，这句话反过来说，一个新的认识市场的角度才能带来alpha。
--------------------------------------------------------------------------------------------------------------------------------------------
下面是胡说八道：

我总是希望提醒自己，更多把量化作为与市场交互的方式，“增强学习”自己对于市场的理解和认知，而不是让机器替代这一过程。我记得邱国鹭曾经在书里写过主动投资是一个非常有积累的行业，因为在这个行业里，经验是不可替代的。但是他觉得做IT就不是这样，因为IT的更新太快，积累太容易被淘汰和更新。他观点的对错按下不表，但其实，对于量化投资，又何尝不是这样。

只有把通过量化所感知的市场逻辑转化为自己的投资逻辑，无论机器或者主动，我想才能真正立于不败之地吧。

与诸君共勉。

Lee Sam · 2018-10-13 14:22:47

以我不专业的感觉看，机器学习特别擅长那些人也能知道答案，但是精力有限的问题，比如语音识别，人脸识别，物品分类，客户行为预测等任务。这些任务的特点就是你让人去做，给他足够时间和资源，他也能做好，但因为精力有限，让计算机做更划算。

而金融市场的预测本身就是一个人也不知道答案的问题。几百年来，从街边大妈到物理学教授到华尔街交易员，全世界无数精英人才使尽了能力，从基本面分析到数学模型到巫术，把能用的方法全用上了，到现在为止市场能否被长期稳定的预测仍然是个未解问题。在这种不确定环境下如果机器学习开始预测了，那一定是帮人类发现了新规律。这点上我还没见到机器学习有太多成果。

第二点就是市场本身是个互动式系统，规律是会随着预测者自身的行为而发生改变的。出现一个能预测市场的算法，就必然会出现针对这个算法的算法，一轮接一轮，最后让各种策略都短命。最后的长期的稳定状态，估计还是会像现在的高频交易一样，拼硬件速度。

ww2 · 2018-10-13 14:22:46

交易市场和语音识别有个重大区别，那就是找到的特征能否有预测能力，在语音或者人脸识别领域，是不证自明的，因为说话的还是那些人；但在股票数据，这中间却有个跳跃。
随便给一个随机游走的一个实现，你可以总结它的路线特征，但这对预测却完全没有用处。

桂能 · 2018-10-13 14:22:45

1.感觉好多做交易的人，完全不懂机器学习，主要是没有机器学习的理论基础，好多人都认为机器学习就是一堆算法，然后把这堆算法当做一个黑盒子去做预测，如果失败了，他们就会说机器学习没用。
2.其实相对于机器学习，传统的金融工程定价理论才更不可靠.
（1）首先对于经典的资产定价模型来说，最重要的风险项，它就解释不清楚，到底什么是风险，金融工程其实一直围绕着这个话题，如果波动是风险，那我们怎么度量它，你用价格序列的标准差来度量波动，但是你只能得到历史数据呀，你怎么知道某个资产的波动在未来不会变，你不知道，你只是assume这个而已，假设你的波动率是个随机变量，那ok，你的分布形式是什么，参数是什么，你怎么知道这个分布形式是不是选取的合理，这个参数不会变，你还是不知道，你只是assume这个分布的某些性质是平稳的。对应到机器学习里面，我们是在优化empirical loss，但是empirical loss能不能代表真实的loss，你不知道的，但是机器学习中有很多的理论，用来试图让empirical loss尽量代表真实loss。
（2）还有因子模型，当年搞这个research的fama french也很奇怪，他们一上来就直接suppose因子跟价格之间有一个线性关系，然后弄一个线性回归觉得效果还不错就搞起来了，也难怪有人喷他们是数据挖掘，如果这二位懂机器学习的话，他们起码会考虑一下，这个因子的结构，反正我觉得小市值这个因子跟价格存在线性关系我是接受不了。
（3）好多金工的论文用随机过程来建模，这本质上还是一种model，这里会有一个真实概率空间的问题，其实你并不知道真实的分布是什么样子的，好多搞金工的人整天说厚尾，但是厚尾的那一部分怎么度量，而且这个厚尾只是统计特性，你也是一直在assume这个特性不会变，但是你其实不知道它会不会变。对于机器学习来说，我们是可以model这个过程的，比如典型的logistic回归，它是有概率解释的，它assume自变量跟因变量之间的线性关系，它还assume残差服从某个分布，而对于这个分布的参数，我们还可以继续assume他们服从某种分布，这个就是概率图模型呀，也是机器学习里面的重要的一块，有了概率图，我不但可以定量地说你的价格序列存在厚尾，还可以定量地model这个厚尾。
3.你一个策略，说到底就是一组signal，无论这个signal简单也好，复杂也好，如果你把每个signal作为一个feature，然后把你策略的买卖作为label学习，这是个典型的boolean function的学习呀，如果给了足够的sample，机器学习可以guarantee学到你这个策略，从这个意义上讲，机器学习在模型上的表达能力不会比交易模型弱。既然算法没有问题，剩下的就是feature engineering了。
4.机器学习是一门关于预测的学问，active portfolio management里面，不知道说了多少次，主动投资就是预测，只是预测什么这个事情属于量化的范畴，如果你能比较准确地预测波动率，那么就可以围绕波动率做策略，如果你能比较准确地预测事件对于价格的影响，那么就能做事件套利，如果你能比较准确地预测方向，那么就可以围绕方向直接交易。策略的设计是量化的事情，而预测则是机器学习的擅场。
5.当然，我没有说量化简单，我只是说，从理论上来讲，机器学习的能力可以做到今天金融工程能做的所有的事情，只多不少，因为金融工程往往对分布有有个先验的假定，而对于机器学习来说，它一直试图挑战的就是，给一个有限的样本，去学习某种能力，而且这个样本是给定的，所以你是不能设计采样策略的，在这样的苛刻的条件下，还要能在某种程度上具有最好的generalize能力。

Defy Lu · 2018-10-13 14:22:44

各种分析方法都是尝试从现有的信息去预测资产价格未来的行为，然而资产价格波动受非常多非常多的因素影响，因此也就注定了这些分析方法只能描述价格波动中的非常小非常小的一部分（r-square很小），剩余的波动不得不归为随机性。

这就和绝大多数机器学习方法的适用场景不同：识别或预测时，（相对）少量信号即可精确描述，随机性在过程中干扰不大（r-square接近于1）。

所以，在挑选机器学习的工具时，得看这些工具设计之初是为了处理哪一类的场景（高精度还是低精度），有些机器学习的方法本来就不擅长处理高噪声场景。另外，有些机器学习的方法虽然能够处理高噪声，但是因为过于复杂，并且相对简单统计方法而言提高并不多，因此从时间效率角度而言并不划算（学习如何使用耗时，调各种参数耗时，向老板解释耗时）。

反正我自己用一些简单的统计工具（好比持枪），觉得就已经可以战胜市场的大多数人（赤手空拳），还没有到用复杂机器学习方法（导弹）的地步，弄不好还会过拟合（自伤）。也许等市场进化到大家都持枪的那一天再进化也不迟。

最后打个招聘小广告：某国外HF的上海办公室长期招聘quant analyst。欢迎理工科毕业成绩优秀并且有兴趣从事此行业的应届生私信我。

文兄 · 2018-10-13 14:22:42

多因子的因子组合，CTA的信号组合，不同策略的组合等等这些都会涉及机器学习方面的东西。如果考虑regime switching的话，HMM和CRF这种应该也是可以用到的。
以因子或是信号的组合为例，个人感觉树模型（比如GBDT，Adaboost）和线性模型（比如Linear Regression或者Lasso）的效果会好一点，前者是因为防过拟合能力强，后者大概是因为很多信号和因子的原本的选择方式就是线性的。
除此之外，我自己还试过rankboost、多任务和多分类学习，甚至是增强学习、LSTM以及自己设计几层的ensemble learning。然而，复杂的方法却未必会一定实现更好的效果（也许是我个人水平的原因）。
最后，感觉大多时候数据处理是比模型本身还关键的存在。

郭小贤 · 2018-10-13 14:22:40

要解释机器学习能否以及怎样应用于量化交易，是一个反复以不同面貌出现在我的时间线的题目，同时也注定是个充满争议的题目。我们先把问题简化，设定市场上总共有三种视角：

上帝视角：它全知全能，掌握着每时每刻的市场的真实状态，记作
；
投资者视角：无论是巴菲特还是小韭菜，其视角都是根据自己接收到的部分
释放出的信号和噪声，递归地进行贝叶斯推断，形成条件概率分布
，也就是我们常说的市场判断或投资理念，并以此预测未来趋势，如收益率
；
机器学习者视角：机器学习者得到了收益率数据
（当然也包括其它可能代表市场趋势的指标），开始不停地训练，得到一个收敛于
的
。至此，机器学习者训练结束，开始用
预测收益率
。是的，它也变成了投资者视角；（这就叫凝视深渊愈久，亦会被深渊凝视啊……）
如果你是投资者，而上帝偷偷把
的一切都告诉了你，NP-complete不复存在，你的似然函数是有解的了，状态空间变成了一个有限的闭环；
如果你的机器真的训练出来
，只要上帝没有告诉你，你就不知道你训练出来的
真的是
，你只能训练下去，只有在达到你的训练目标时才停下来。

所以楼上各位提到的过拟合是广泛存在的问题，但这个锅不应该让机器学习来背，而是你设定的训练目标与
相差太远。机器学习只是帮助你做优化和计算而已。

再回头谈一下我对机器学习的理解。机器学习经过了这么多年，我自己概括下来也就分这么几块内容：模型表示，目标，优化求解，泛化证明。由于过去的机器学习领域重点关注多在目标和求解上，也就是为了实现计算而牺牲了模型表示。而事实上我觉得模型表示和优化计算本来就是个互相trade-off的关系，比如作为机器学习里非主流的一支，概率图模型就恰好反过来，为了实现模型表示而牺牲了计算。

而量化交易是对模型表示和计算都是有要求的，所以机器学习在量化交易的应用上始终面临着两难。但这绝不是一个无解的两难，因为你既可以设计一套白箱的交易模型，而只让黑箱的机器学习算法承担其中部分环节的优化工作，也可以用一个长于表示的机器学习模型作为交易引擎，而计算方面采用一些针对具体问题的启发式算法，至少能让一部分参数免于费时费力的暴力优化。

所以每当我们试图运用机器学习做交易时，上帝一定会发笑。可还能怎么办呢？我们只能把机器不停地训练下去。这就像是《西西弗斯的神话》，这个经加缪演绎过的隐喻无非就是告诉我们，在量化交易上使用机器学习真的没有意义，除非我们自己亲手去构建一个意义。

TraderJay\'s · 2018-10-13 14:22:39

在我看来， ML用于金融数据最大的问题是信噪比太低，“同分布”的数据量太少。其他领域ml效果好的往往都有比较确定的模式，只是模式很难规则化而已。比如人脸识别，虽然很难通过规则话程序语言描述人脸，但100个普通人来识别人脸，错误率非常低。说明这里是有一个规律性pattern的。这样的话，只要给出足够数量的数据，模型性能会显著提高。另外一个例子是智能驾驶，你并
不需要if else编程遍历到所有可能情况，只需要让传感器采集到足够长时间多地域的数据，自动驾驶能够很好的处理这些情况。以上的例子从数据角度来说，都符合pattern相对固定，数据充足的，信噪比高的特征。这也是ML方法最适合的地方。

而即使是这样，在做预测的时候也需要主动选取特征，feature engineering也是一门巨大的学问。有人也许会说最近很火的cnn/deep learning, 不是可以by pass feature engineering这些，直接靠数据和计算力暴力撸么。我是这样理解的，人类识别特征和模式的能力远高于计算机，如果需要让计算机逼近取代人的调参和feature engineering经验，那么你所需要的数据量是非线性增长的。很多通常运用ML的场所，数据量本身不是制约，或说，数据量的制约取决于你有多大的决心去获取数据。而机器运算能力的同步增长让更是让模型能够处理的数据大大提升。在这种情况下，deep learning才火起来。

然而金融世界里，事情并没有这么美好，最大的制约，在我看来数据是不足的。有人可能会笑，说tick level data，哪怕国内3秒一跳的股市也有4000多行一天，怎么能算是数据不足呢。
这里假设也用之前开车的例子来解释。金融世界里，如果你想训练出这么一个老司机，那么你会发现这辆车一会在人行道上，一会倒开，一会儿飞起来，前一刻有用的规律不一定能够稳定到下一刻。又好比给一张股票k线图，100个人可能有100个说法，语音识别，图像识别领域，不会出现这么低的识别度的。所以，对一个正常开车的老司机，你坐副驾驶一个月能够总结出他开车方法，那么对于金融世界里这种逗逼老司机，又要积累多长时间的数据才能总结出它的行为模式呢。

也就是说金融时间序列里，训练集发现的pattern可能并不稳定，也许只是过拟合的噪音，哪怕确定不是噪音，pattern本身也会演化。这两个月的市场，和前两个月的市场，明显性状不一样。有个东东叫regime switch...哪怕你做的日内中高频，相对统计性状不受基本面太大影响，日度的波动率的变化也会有明显的变化，而这对你的pnl影响是非常直接的。

目前为止，在金融数据这块我个人还是偏好线性的描述，规则化的描述，因为这样即使错了，我知道错误在哪里，利润来源在哪里。哪怕需要更复杂的信号组合，我也偏向random forest 或者svm 这种相对不那么容易过拟合的模型. 当然，这只是我个人的看法, 如果有其他的思路，也欢迎指出。

国内目前的量化交易是否很少涉及到机器学习？

13 个回复