跳转至

Symbiosis

最先进的实验包,集成了多项架构创新和训练优化。

包结构

config/symbiosis/
├── __init__.py
├── model.py
└── ns_groups.json

模型思路

Symbiosis 在 HyFormer 基础上引入共生学习机制,通过 11 个独立特性开关控制不同组件的启用。核心创新:

  • Context Exchange -- 用户和物品上下文之间的信息交换(消融实验中影响最大的组件)
  • Fourier Time -- 傅里叶时间编码,捕获时间周期性模式
  • Multi-Scale -- 多尺度注意力,同时关注局部和全局模式
  • Domain Gate -- 域门控,动态加权不同序列域的贡献
  • Compressed Memory -- 压缩记忆机制(block_size=16, top_k=8, recent_tokens=64)
  • RoPE -- 旋转位置编码(rope_base=1,000,000)

训练

参数
模型类 PCVRSymbiosis
NS Tokenizer rankmixer (user_tokens=5, item_tokens=2)
num_blocks 3
num_heads 4
dropout_rate 0.02
dense_optimizer_type orthogonal_adamw
amp True, amp_dtype=bfloat16
compile True
batch_size 128
pairwise_auc_weight 0.05
uv run taac-train \
  --experiment config/symbiosis \
  --dataset-path data/sample_1000_raw/demo_1000.parquet \
  --schema-path data/sample_1000_raw/schema.json

消融开关

11 个特性开关(PCVRSymbiosisConfig):

开关 说明
use_user_item_graph 用户-物品交互图
use_fourier_time 傅里叶时间编码
use_context_exchange 上下文交换机制
use_multi_scale 多尺度注意力
use_domain_gate 域门控
use_candidate_decoder 候选解码器
use_action_conditioning 动作条件化
use_compressed_memory 压缩记忆
use_attention_sink 注意力 Sink
use_lane_mixing 车道混合
use_semantic_id 语义 ID

消融结果(outputs/ablations/symbiosis_smoke/,1000 样本 Bootstrap,seed=42):

配置 AUC 变化
base 基准
no_context_exchange -0.005791(最大下降)
no_fourier_time 较小下降
no_multi_scale 较小下降
no_user_item_graph 较小下降

评估输出

Checkpoint 保存在 outputs/pcvr_symbiosis-<slug>/,格式与 Baseline 一致。

评估命令:

uv run taac-evaluate single \
  --experiment config/symbiosis \
  --dataset-path data/sample_1000_raw/demo_1000.parquet \
  --schema-path data/sample_1000_raw/schema.json

线上打包

# 训练 Bundle
uv run taac-package-train --experiment config/symbiosis --output-dir outputs/bundle

# 推理 Bundle
uv run taac-package-infer --experiment config/symbiosis --output-dir outputs/bundle

评论