高频交易目前的技术,速度瓶颈在哪里?网络、计算机硬件 ...

论坛 期权论坛 期权     
期权匿名问答   2022-1-4 14:24   16382   20
使用 C++ 的意义在于,对于一个具体的架构实现和算法实现,测量是相对稳定的,可以用过标准化的测量来评估系统的瓶颈和具体架构、算法的复杂规模和耗时,这在 Python 这种脚本语言是很难做到的,而且因为不定时的垃圾回收,导致精细的测量很难完成,尤其在对时间非常敏感的高频交易领域。
而对于高频交易系统而言,测量的不准确甚至比系统速度慢更为可怕,某种意义上而言,精密测量的难度其实和系统开发的难度不相上下。
就国内的环境而言,都部署在交易所的机房,使用基本一致的接口,数据还是切片的,看似对速度要求不高,但也正是因为外部环境比较单一,应用层的作用才更加重要。因为切片的数据,所有策略算法的执行基本都是在同一时间驱动,所以势必会有冲突,如何精细的分配和使用资源也是很重要的,这些 C++ 都有优势。
至于外部环境慢,进而一味提高软件意义不大,那请问如何做好外部系统的精细测量,到底延迟有多少,一般情况下软件层面的延迟达到硬件层面的十分之一左右基本上就可以了,那么如果已知硬件层的延迟了,如何确保软件层面可以做到十分之一呢?这些都没法离开对于软件层面的准确测量。这些是 Python 这些语言没法做到的。
甚至 Java 这种拥有垃圾回收的语言也会受到影响,听闻有大的公司通过对 JVM 的调控来实现,那其实也是要对底层和执行有很深的理解和掌握有关系,这其实就和语言没关系了。
所以无论用什么语言,目的和方法都是类似的,使用 C++ 只是看起来会直观一些。
分享到 :
0 人收藏

20 个回复

倒序浏览
2#
期权匿名回答  16级独孤 | 2022-1-4 14:25:03 发帖IP地址来自 中国
使用 C++ 的意义在于,对于一个具体的架构实现和算法实现,测量是相对稳定的,可以用过标准化的测量来评估系统的瓶颈和具体架构、算法的复杂规模和耗时,这在 Python 这种脚本语言是很难做到的,而且因为不定时的垃圾回收,导致精细的测量很难完成,尤其在对时间非常敏感的高频交易领域。
而对于高频交易系统而言,测量的不准确甚至比系统速度慢更为可怕,某种意义上而言,精密测量的难度其实和系统开发的难度不相上下。
就国内的环境而言,都部署在交易所的机房,使用基本一致的接口,数据还是切片的,看似对速度要求不高,但也正是因为外部环境比较单一,应用层的作用才更加重要。因为切片的数据,所有策略算法的执行基本都是在同一时间驱动,所以势必会有冲突,如何精细的分配和使用资源也是很重要的,这些 C++ 都有优势。
至于外部环境慢,进而一味提高软件意义不大,那请问如何做好外部系统的精细测量,到底延迟有多少,一般情况下软件层面的延迟达到硬件层面的十分之一左右基本上就可以了,那么如果已知硬件层的延迟了,如何确保软件层面可以做到十分之一呢?这些都没法离开对于软件层面的准确测量。这些是 Python 这些语言没法做到的。
甚至 Java 这种拥有垃圾回收的语言也会受到影响,听闻有大的公司通过对 JVM 的调控来实现,那其实也是要对底层和执行有很深的理解和掌握有关系,这其实就和语言没关系了。
所以无论用什么语言,目的和方法都是类似的,使用 C++ 只是看起来会直观一些。
3#
期权匿名回答  16级独孤 | 2022-1-4 14:25:52 发帖IP地址来自 中国
泻药
题主的前面描述的高频交易的提速都是没有任何问题的,但是真的很看是在国内还是国外,以及你的对手是谁,只要做的比市场的绝大部分已有对手已经快就可以了。
国内限制比较多,做高频交易还是很麻烦的,这个已经有挺多知乎问题都提到了。
我仅仅回答一下这几个问题:
例如,网络延迟非常大的情况下,你的高频交易系统是用python写的还是用c++写的,节省那点时间有意义吗?

L > 关键计算部分用C++或Java写还是很有意义的,因为纯Python几乎对低延迟数据更新,还有大量复杂的运算以及底层处理存储等等的还是效率较为低下的,导致最后的策略延迟很容易超过了网络延迟的比重。
另外当你有一个团队决心做高频交易,并且投入了大量研发在软件、策略上,为何不顺手解决下网络延迟部署服务器在交易所机房呢?
如无意义为何现在的高频系统都用c++或JAVA,不用脚本语言?
L > 如上面回答如果做高频系统用编译型语言还是有价值的。
能否直接用一种或几种脚本语言例如python把整个软件端从策略研究到交易系统开发全做了?
或者以后想提升高频速度,就猛干网络延迟就行了,硬件延迟软件延迟可以忽略,这是正道?

L > 只猛干网络延迟是拼不过对手的,大家基本在同一个机房部署完性能差不多的服务器之后就是拼应用层的研发了。
4#
期权匿名回答  16级独孤 | 2022-1-4 14:26:36 发帖IP地址来自 北京
虽然我不是做高频的,但是既然被邀请,难免白话两句。
首先高频交易系统本身是一套极其复杂的系统,整体用python搭建的可行性存在问题(维护不如强类型语言省心)
然后你也说了大家都在想尽心思加速网络。这点我想补充一下,不是所有的高频交易系统都可以放在交易所机房的,那些跨市场套利的策略就必须考虑到长距离效应了。所以对某些策略来说,网络是瓶颈。
Python的性能和java c等相比可差一到两个数量级。就是说market to order latency在c系统中可做到10微秒的话(举个例子,事实上可能要小得多),python就会消耗100至1000微秒。这是不可忍受的。所以想用python做高频暂时无人为之。
另外,大家都知道真正的瓶颈在io上,问题是改善io很花钱的,而改善软件相对便宜。所以一般做高频的会选择现有方案中最好的网络,并拼命优化软件和服务器。更进一步的会用fpga替换一部分网络设备来降低延迟。这些可能每年几十万美元之内也就打住了。但是租用“直”专线,微波通信,就不是这个数量级了。如果赚的钱不能弥补这部分费用,也就没人去搞了。
5#
期权匿名回答  16级独孤 | 2022-1-4 14:26:54 发帖IP地址来自 北京
有命赚没命花
证监会可以随时说你恶意做空、恶意报价、恶意撤单
罚没所得再追加罚款
6#
期权匿名回答  16级独孤 | 2022-1-4 14:27:14 发帖IP地址来自 北京
谢邀,目前看最大的瓶颈是国内的规则和制度,。
如果仅从技术层面来说,算法程序和计算的软硬件目前不是瓶颈,瓶颈应该在网络层面
7#
期权匿名回答  16级独孤 | 2022-1-4 14:28:02 发帖IP地址来自 北京
其实网络是不慢的。这是mellanox 2012年的一个benchmark, 1.43us的udp, 2.08us的tcp,one way, direct connection. 加上个switch,多加200ns。你觉得慢么?
http://www.mellanox.com/related-docs/whitepapers/HP_Mellanox_Low%20Latency_Benchmark%20Report%202012.pdf再看看exchange的round trip time。这是miax期权交易所公布的数据,23.11us的round trip,99 percentile,你觉得怎样?
https://www.miaxoptions.com/sites/default/files/press_release-files/MIAX_Press_Release_12082015.pdf所以,你的软件消耗的时间,往往是起支配作用的。
8#
期权匿名回答  16级独孤 | 2022-1-4 14:28:32 发帖IP地址来自 北京
理论上高频交易对速度上的追求讲究的是相对的,也就是说不管外界环境如何,只要比对手快的概率高就能胜出。但在国内市场高频交易技术的优势还远远没有得到充分的发挥,从监管政策、交易机制、交易费用、网络延迟还是配套的硬件设备环境等等。首先在整个交易链路的节点中,交易所撮合系统的延迟和抖动都比较高;还有就是外部交易系统接入交易所通常还是以API方式接入,这样也大大降低的数据通信的效率。还有影响速度的地方就是网络环境,虽然国内很多期货公司的内部网络已经升级到万兆,但有些交易所的入口网络还是在千兆,这就会造成虽然内部速度不错,但有时候会堵在与交易所的通信过程中。
上述的因素对于高频机构或券商而言很难以一己之力去扭转,但通常可以借助一些新的技术(如FPGA技术)对一些可控因素进行优化,如策略服务器、柜台系统、行情系统、风控系统等等。这样才能在激烈的竞争中,从大概率事件中胜出对手。
9#
期权匿名回答  16级独孤 | 2022-1-4 14:29:18 发帖IP地址来自 北京
瓶颈在于风控效率。
当前的监控条件下,如果要安全顺利开展程序化交易业务,必须在本地实现监管层的监控需求,包括但不限于控制资金,持仓,成交比例,报撤单率,流控等等。Quant也许能在交易层面很好的实现高效算法,但风控要对全局进行不间断管理,小团队没有人手去做这种事情。
违规的后果又是辣么严重。
10#
期权匿名回答  16级独孤 | 2022-1-4 14:29:49 发帖IP地址来自 北京
光速很大程度上限制了高频交易的发展。
11#
期权匿名回答  16级独孤 | 2022-1-4 14:30:30 发帖IP地址来自 中国
说说高频交易的物理极限吧。
高频交易(HST)的物理极限主要取决于两方面:信号的传输速度;传输的距离。另一个重要的因素是处理信息以做出交易决策的速度,这需要考量基于硬件和软件的运算能力。
普通光纤

目前,高速交易的主要传输技术之一是光纤,例如伦敦至纽约。光在光纤中的传播速度约为在真空中的60%-70%,显然,这还有提升的空间。除了速度损失外,这条跨大西洋光纤路径是沿着海床的,而海床并非是平坦的,有很多峰和谷,这进一步增加了点到点的传输时间。近年来对这条伦敦至纽约的海洋路径的延时优化主要是铺了一段更直的光缆。Hibernia Express跨大西洋光缆于2015年安装完成,往返延时理应低于59毫秒。在理想的环境下,这项技术能达到的往返最低延时在54毫秒左右。
微波和激光

电磁波是陆面传输技术之一。在金融领域,微波被用来将信号从一个基站传输到另一个基站。同时,各种类型的激光也被用来传输信号。电磁波信号在空气中的传播速度约为在真空中的99.97%(折射率约为1.0003)。然而,通过大气传输的信号通常需要从一个基站传输到另一个基站,这中间会有很多物体阻挡这些信号,所有实际路径并非一条直线。这种传输系统的可靠性在不同的天气条件下也会有很大差异。即便如此,空中路径很可能是截至目前不同交换机间最快的传输技术,在芝加哥至纽约以及伦敦至法兰克福的传输中,通过大气传播的微波是主流高速交易技术。诸如McKay Brothers这样的公司能够提供这些低延时信息,另外,一些市场玩家也使用自己的“秘密”无线电基站来进行交易。

无线电基站目前在纽约至芝加哥的高速交易信息传输竞争中以其远超光纤的速度脱颖而出,且在可预见的未来会继续保持下去,在短期内甚至空芯光纤也无法超越其在此距离中的地位。

通信卫星

由于将信号传输到卫星再将信号传输到地面会造成额外的传输距离,进而造成很多延时,通信卫星极不可能战胜基于地面的无线电基站或光缆而成为高速交易中信息传输的主要技术。但是既然我们谈到卫星,我想谈点题外话:如果可能,将交换机放置在卫星中有哪些优点和缺点?在这种情况下,这就不是离岸交换机了,而是离地交换机!这是值得思考的一件事,不管是就短期而言还是长期而言。真到了我们有很多离地交换机的时代,它们之间的信息传输会在一条近乎真空的直线上进行,到时候谁还会在地球上进行交易呢?可能只有“龟速”交易员了吧。

短波无线电

最近几年,商业金融媒体上间或有文章谈到一些交易公司在某些特定距离中秘密地转向短波无线电信号。这项技术通常被用于无线电天线间的信号传输,但是也可以被用于跨大西洋信号传输甚至更远,其工作原理是无线电信号被传输到电离层然后被反射回地面,电离层通常距离地面60千米至1000千米不等,在接近地面时,短波无线电以真空中光速的99.97%传播,在电离层则以真空中光速的99.98%甚至更快的速度传播,传播速度的确很快,但同时传播的距离也很远,这就需要进行临界分析。

现代光纤的传输速度约为真空中光速的68%,在跨大西洋这个距离上,这意味着短波无线电由于它的速度优势可以在多传输2800米的情况下仍然快于光纤。所以,短波无线电即使需要先传输到电离层再传输回地面,它仍有可能在信号传输中超过光纤。

中点共置

以下一段话引自Percy Bridgman(1946年诺贝尔物理学奖得主):
In a single system, the upper limit for the relative velocity of two beams of light or of two material objects is not c but 2c.

这意味着如果有人在纽约和香港之间有一个共置点,他只需用比使用交换机共置的人少一半的时间就能够获取来自两个交易所的信息并开始比较,这使得一些研究者错误地认为安装中点共置是可行的,但是他们忘记考虑需要将信号送回交易所以基于得到的信息进行交易。所以,通常没理由进行中点共置,除非中点共置的租金远低于交易所共置,并且在跨交易所套利中并不慢于交易所共置。有趣的是,Spread Networks在纽约和芝加哥间建了一个中点共置,并被CME集团定为特色服务提供商。

中微子束

地球上两个金融中心间的最短几何距离是横穿过地球连接这两个城市的一条直线,这在几何上被称为弦长。中微子以非常接近真空中光速的速度进行传播。由于弦长远远小于弧长,中微子技术能够节省的金融中心之间的传输时长是毫秒级的。鉴于我们目前的能力,这项技术看起来可能太遥远了,但是近几年来一直有进展,随着时间的推进,这项技术值得大家更加仔细地考量。

空芯光纤

近几年空芯光纤发展迅速。光在空芯光纤中传播的速度远快于普通光纤,约为真空中光速的99.92%,这是接近30%速度上的显著提升,但是这仍然远远慢于微波在空气中传播的速度——真空中光速的99.97%,在高速交易的背景下,连0.05%也是显著差异。空芯光纤中光的传播速度低于空气中的传播速度是由于大约有99.9%的光在空气中传播(空芯光纤中的空气),还有0.1%的光在玻璃中传播,而玻璃的折射率为1.5,这使得传播速度为


其中1.0003是空气的折射率,1.5是玻璃的折射率。我们可以将空芯光纤中的空气全部抽出,或者使用折射率更低的壁材,比如1.45,或者是99.93%的光在空气中传播,只剩0.07%的光在壁材中传播,这样理论速度就变为
这意味着在接下来的10-20年,使光在空芯光纤中传播的速度和在空气的传播速度一样并非是不现实的。由于玻璃和光的重叠取决于光的波长,实际计算比以上我们的计算更为复杂,但是专家认为我们的预测结果对于不远的将来是具有实际可能性的,实际上,许多年前光在空芯光纤的速度就已经达到真空中光速的99.97%。

通过空芯光纤进行远距离信号传输面临一些挑战,但是随着科技的进步这些挑战正逐渐被解决。近几年,已有几千米空芯光纤信号传输的实例,在不远的将来,空芯光纤至少在某些距离上可以媲美微波和激光技术。对于跨大西洋传输,空芯光纤拥有可以像普通光纤网络一样铺排的优势,而对于微波或者激光而言,需要沿途修建一个有接发器的气球网络,这并不是不切实际,有些公司过去已经考虑过这样做了,不过如何实现具有相当的挑战性。

总结




有人可能会认为,花费上百万甚至数十亿的资金就为了在金融市场的信息传输中节约几微秒甚至几纳秒,这个社会简直太疯狂了。但是我们不应忘记,电报在一定程度上也是出于金融从业者的需求而产生的,而电报又促进了电话的产生。交易公司可能会刺激如空芯光纤等新技术的需求,换句话说,在高速交易中由金融玩家直接或间接出资的对更快速更可靠传输技术的不懈追求,能够加快新技术的发展,从而在长期看来会为更多产业和人们带来正面效应。
欢迎添加我的V:fintech78加入FinTech社区,一起提认知,攒人脉,求职招聘!
12#
期权匿名回答  16级独孤 | 2022-1-4 14:31:02 发帖IP地址来自 中国
最大限制在于制度和规则
13#
期权匿名回答  16级独孤 | 2022-1-4 14:31:54 发帖IP地址来自 北京
目前看,瓶颈在手续费太贵。
技术上瓶颈导致的延迟越来越小了,基础设施一致的话,拼在微结构层的把握与优化。
14#
期权匿名回答  16级独孤 | 2022-1-4 14:32:42 发帖IP地址来自 北京
算法吧
硬件要能解决所有问题,股市就应该是谷歌百度这种计算机超级大牛公司的天下。可惜,现实社会可…不是这样。
15#
期权匿名回答  16级独孤 | 2022-1-4 14:33:34 发帖IP地址来自 云南
这么大的成本都是要赚回来的,市场就那么大,失血过多人会死就是瓶颈.
16#
期权匿名回答  16级独孤 | 2022-1-4 14:33:46 发帖IP地址来自 北京
锁,还有就是保证数据不丢失的磁盘io了,如果无锁环形队形+不写到磁盘上,每秒处理至少千万笔吧
17#
期权匿名回答  16级独孤 | 2022-1-4 14:34:45 发帖IP地址来自 北京
推一本书:《高频交易员》

18#
期权匿名回答  16级独孤 | 2022-1-4 14:35:17 发帖IP地址来自 聚友网络
其实我觉得最大的瓶颈是交易所给的行情数据频率不够快,如果可以拿到最快的行情数据,那么你的优势可以碾压前面那些优化。
19#
期权匿名回答  16级独孤 | 2022-1-4 14:35:37 发帖IP地址来自 北京
个人觉得瓶颈就在以光纤为代表的网络速度上,技术等问题不在一个层级。
20#
期权匿名回答  16级独孤 | 2022-1-4 14:36:37 发帖IP地址来自 福建
个人认为题主把今天中国的高频交易也想得太远古了,大家都在拼机器,网络条件的情况下,你无论从网络或者代码上获得更多一点的速度,那都是真正的真金白银。零合市场,那些做相同策略的人可能颗粒无收甚至沦为韭菜。

高频策略主要的瓶颈是容量。
国内这块做得没有像盘古说的那么专业,主要原因还是高频的容量做不到很大,大机构没有太大的参与兴趣。主中小机构本身的实力和能力又有限,无法做到像国外机构对硬件细节上的追求,所以才体现了其中的差距

套用上面各位的一句话,如果把机器放到交易所就能击败大多数的游戏者,那我就可能不会再进一步去追求无论是硬件还是软件速度的极致了
21#
期权匿名回答  16级独孤 | 2022-1-4 14:37:01 发帖IP地址来自 重庆
高频技术的瓶颈在哪里,要看你交易的是什么策略,在哪个交易所。
美国的多交易所之间交易,瓶颈在于数据传输速度,所以需要比光纤更快的速度,比如微波。中国由于手续费太高,在多交易所交易,花钱提高速度入不敷出。
至于交易所内的高频,数据传输速度就无所谓了,这里的瓶颈其实跟硬件没什么关系了。毕竟硬件这种东西又简单,又便宜,找个灵活点的应届生,就能给你把一整套搞定。
所以在中国做高频,唯一的瓶颈就是:你有没有足够的人脉关系,可以让你的硬件放在一个好位置。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:400157
帖子:80032
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP