InterFormer¶
双向序列-特征交互
概述¶
InterFormer 提出了行为感知交互块（Behavior-Aware Interaction Block），实现序列建模与特征交互之间的双向信息流。此外引入了个性化 FFN（PersonalizedFFN），根据上下文摘要动态生成用户级别的网络权重。
→ 完整论文笔记见 InterFormer 论文
模型架构¶
- SelfGating：门控值路径
- StandardSelfAttention：标准自注意力
- LinearCompressedEmbedding：学习输入→输出 token 压缩
- SequencePreprocessor：融合历史/发布/作者/时间/动作/分组特征
- PersonalizedFFN：从上下文摘要生成用户特定权重
- Memory Slots：4 个可学习记忆槽
关键特性：自注意力 + 交叉注意力上下文的门控融合，2 个可学习 Query。
默认配置¶
| 参数 | 值 |
|---|---|
embedding_dim |
128 |
num_layers |
3 |
num_heads |
4 |
segment_count |
4 |
memory_slots |
4 |
num_queries |
2 |
recent_seq_len |
2 |
epochs |
10 |
batch_size |
64 |
learning_rate |
1e-3 |
pairwise_weight |
0.0 |
快速运行¶
uv run taac-train --experiment config/gen/interformer
uv run taac-evaluate single --experiment config/gen/interformer
输出目录¶
来源¶
论文：Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction（Meta AI，CIKM 2025）