非凸科技成都分公司研发总监赵海峰以“量化交易的数据驱动”为主题进行了分享
量化交易主要通过行情数据进行交易决策,那么如何通过券商获取行情,进行行情低延迟接收的软硬件方案呢?交易所发布的行情会经过券商的处理再转发给交易机构,其转发途径主要有TCP、UDP、FPGA加速的UDP和ASIC加速的UDP行情等。然而,券商通过TCP连接将处理后的行情数据转发给交易机构,会存在延迟大、应用层丢包(非TCP协议丢包)、发送端负载大等问题。为了解决这些问题,券商又通过UDP组播或广播的方式,将处理后的行情或交易所原始行情转发给交易机构。为了达到极致的低延迟,券商端将会通过多种方式来解决,其中一个特别有效的方式是使用L1交换机,在一层转发光或电信号给客户,其转发延迟可以低至4ns。需要注意的是,虽然UDP不是一个可靠传输协议,但在同一个交换机连接的服务器之间使用UDP进行通信,正常情况下在网络上几乎不会丢包。然而,在客户端程序和服务器的网卡上可能会丢包。因此,客户在接收行情时,可以使用无锁的ring buffer转发数据到处理线程,以并行处理不同股票的行情,然后将处理结果写入共享内存,以供交易系统读取。
收到行情后,如何将行情数据转发给内部的其他消费者呢?如果对延迟要求没有太高,可以使用TCP转发行情,能够自己控制丢包率,为了降低延迟和增加吞吐,也可以使用UDP转发行情。由于逐笔行情不允许丢包,所以在使用UDP转发行情时,可以搭配TCP行情重传服务,通过多路行情汇聚、Rocksdb持久化等方式对UDP转发行情进行补充。如果转发行情前进行数据压缩,那么延迟和吞吐量可能会更优秀。行情压缩主要有两种方式:行情消息的压缩、消息内部字段的压缩(股票代码、价格)。
行情转发之后,如何使用行情数据分析交易执行情况,又该如何训练模型呢?收取到行情后,其中一种应用场景是训练量化交易模型,将收取到的行情数据进行特征处理,提取因子,并利用AI进行模型训练,然后将训练好的模型解析出来以备高效地计算实时信号,在接收到实时信号值之后,再极速推送到交易系统,就可以根据不同的策略配置触发交易;另一种场景应用是把收取到的行情数据与ClickHouse集成,这不仅能提供高效的聚合和分析查询功能,还能使用流式聚合表自动计算交易数据,如实时交易盈亏,风险指标等。
非凸科技正在加大对金融科技研究的投入,持续以行业技术交流与合作的方式,整合行业生态优势资源,加快创新技术在实际业务场景中的落地。
:leaves: layui-vue v2.8.0 发布,一个 Vue 3 UI 框架
Gitee 推荐 易语言开发的服务器软件 MODHTTP SERVER
wmproxy 0.1 发布支持 http/https/socks5 代理及内网穿透功能
两行代码解决大语言模型对话局限!港中文贾佳亚团队联合 MIT 发布超长文本扩展技术
7个月,100+ 贡献者,MyBatis-Flex v1.6.9 发布
技术文档 免下载、0配置、多任务并发,在Docker Image中使用OpenSCA
oepkgs 社区开放软件包服务正式上线!亮相openEuler Developer Day 2023
劳动部门建议孟羽童举报工作21小时;百度也要造手机了;Safari 超过 Edge 成为第二流行的桌面浏览器 EA周报
字节跳动开源KubeAdmiral:基于 K8s 的新一代多集群编排调度引擎
腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台
累计下载破 10 万,阿里云 ACR 制品中心 5 月最受欢迎镜像排行榜
Oracle rac数据库中sequence的cache,哪种说法是正确的?
【直播预告】HarmonyOS极客松赋能直播第四期:HarmonyOS开发经验分享
在 MySQL 中执行 create table t(id int primary key)engine...是否成功?
DeepSpeed + Kubernetes 如何轻松落地大规模分布式训练
开源之夏 欢迎申请openEuler Kernel SIG开发任务,众多方向任你挑选!
从student表中查询学生姓名、年龄和成绩,下面SQL语句正确的是?
探索平台工程实践,vivo 与您相约上海 KubeCon & CloudNativeCon
如何将个人 NAS 里的 Stable Diffusion 模型库挂载到 PAI-EAS
【专题速递】感知无损压缩、LCEVC、RTE中的AV1、PPA优化以及Tencent266编码器
【自己更换模型】如何用 Serverless 一键部署 Stable Diffusion?
【专题速递】在线K歌、云化XR、咔嚓剪辑和FFmpeg直播能力更新计划
人物|刘鑫:作为 openEuler RISC-V 发行版出品人是一种什么体验?
oracle监听报出如下错误:ora-12541:tns:no listener。 那么最可能的报错原因是什么?
快速玩转 Llama2!阿里云机器学习 PAI 推出最佳实践(三)——快速部署 WebUI
58集团被曝大量售卖简历,一年牟利超200万;杭州新东方遭网红举报全面停课;社恐有救了?社恐药股价一夜暴涨近677% EA周报
TiDB x CAPCOM 为在线游戏提供灵活、可靠、可扩展的数据库服
AI 时代的向量数据库、关系型数据库与 Serverless 技术丨TiDB Hackathon 2023 随想
快速玩转 Llama2!机器学习 PAI 最佳实践(三)—快速部署WebUI
新增Video-Worker组件,支持会线格式,JumpServer堡垒机v3.3.0发布
不要加班996了,因为996是违法的,所以你在996期间的收入都是违法收入。
全世界都在学中国话 孔夫子的话 越来越国际化 全世界都在讲中国话 我们说的话 让世界都认真听话
《中华人民共和国计算机信息网络国际联网管理暂行规定》,非法浏览境外网站的,处15000元以下的罚款,请各位程序员,大家自觉去自首..
全世界都在学中国话 孔夫子的话 越来越国际化 全世界都在讲中国话 我们说的话 让世界都认真听话
又到了经典的有请各位大佬给出替代品的时刻了