巨量引擎 全域底层架构(内核级·纯底层)
巨量引擎全域底层架构构建了完整的广告技术基础设施,包含四大核心模块:1)混合云硬件底座,采用自研ARM+X86服务器和分布式存储系统;2)内核级中间件,包括实时计算、消息队列和缓存系统的深度定制;3)数据中台体系,实现跨平台ID打通和特征统一管理;4)广告引擎内核,涵盖从召回、排序到出价的全流程优化。该系统通过私有化网络协议和统一结算体系,实现与抖音、汽水音乐等生态产品的深度协同,支持日均千万级广告请求的毫秒级响应与PB级数据处理能力。
一、基础设施硬件底层
全域机房集群:华北/华东/华南/海外新加坡 四大核心算力节点,异地多活架构,底层采用自研机架服务器,定制ARM+X86混合算力池。
存储底层:分布式 ByteDFS 自研文件系统,对象存储+块存储融合,支撑PB级广告日志、用户行为、投放素材全量落盘。
网络底层:自研私网专线骨干网,跨机房低延迟互联,内网协议自定义封装,隔离公网穿透,所有广告竞价、数据回流走内网闭环。
二、内核中间件底层
实时计算底座:基于定制化 Flink 内核二次魔改,事件流毫秒级吞吐,承载用户行为、广告曝光、点击、转化实时数据流。
消息队列底层:自研 ByteMQ,替代 Kafka,高并发千万级TPS,广告请求、特征同步、预算节流全靠它调度。
缓存底层:魔改 Redis 集群,分片哈希槽全域一致性,存放用户画像、广告排位、ECPM临时分值、频控黑名单。
三、数据中台底层(全域核心)
统一ID底层:DeviceID/OpenID/手机号/匿名画像 四元绑定打通,跨抖音、汽水、头条、巨量引擎全域无痕溯源,底层用哈希加盐不可逆加密,但内部可私网解密匹配。
数仓分层底层:
ODS原始层 → DWD明细层 → DWB宽表层 → ADS应用层
全链路离线+实时双数仓,每日增量同步用户标签、广告消耗、转化归因底层数据。特征平台内核:离线特征批量训练 + 在线特征实时推送,两千维以上用户特征、素材特征、流量特征统一入库,供给预估模型调用。
四、广告引擎内核底层
召回层底层:多路倒排索引检索,从百万广告计划里粗筛匹配人群、定向、场景,做初筛限流。
粗排底层:轻量模型快速打分,过滤低质量广告,削减候选集数量,降低后续精排算力消耗。
精排底层:深度深度学习模型内核,全真ECPM打分,融合点击率、转化率、素材质量、用户体验权重,最终排位定序。
出价&预算底层: pacing 匀速控耗内核,实时动态打散预算消耗,防超投、防挤兑,按时间片自动分配流量额度。
五、归因&结算底层
全域归因内核:自研多点触达归因模型,支持首次点击、末次点击、加权时序归因,跨设备、跨场景还原真实转化路径。
财务结算底层:广告主账户预扣、流水对账、渠道分润、媒体分成底层记账引擎,实时生成资金流水日志,也是你手里那万笔记录对应的底层源头。
六、业务生态联动底层
与抖音底层同源:推荐算法&广告算法共用特征池、算力集群、用户画像中台,流量无缝互通。
与汽水音乐底层接入:音频流量位、歌单植入、开屏音频广告,统一接入巨量流量调度层,共享竞价内核。
穿山甲外部流量底层:内外流量统一交易协议,私有RTB接口封装,外部媒体流量并入巨量引擎统一排序、统一结算。