每天听简报,了解最新科技、AI、软件资讯
实时分析海量流媒体事件的平台Conviva,宣布在其基于Rust开发的列式查询引擎中,彻底淘汰内存映射技术。团队早期依赖操作系统内存映射实现零拷贝数据读取,但在高并发查询场景下,密集的缺页中断导致内核虚拟内存锁陷入严重互斥,多核处理器长时间空转等待。 面对磁盘带宽无法跑满的性能瓶颈,团队转向Linux现代异步接口io_uring,自行接管内存生命周期,并编排并发读取请求。 重构后,系统彻底消除了不可控的缺页阻塞,在大规模固态硬盘阵列上跑出了每秒超过二十吉字节的饱和读取带宽,高并发场景下的查询尾部延迟降低了数倍,为重度列式计算提供了宝贵的工程参考。
进度保存在本设备 · 登录同步