学术相关
数据派THU丨别把 LLM 提取的主题当成真实变量
LLM 生成的主题标签是“生成变量”,它继承了文本产生机制、模型提取过程和样本选择机制中的隐含假设。因而,在将此类变量用于回归、A/B 测试或因果推断之前,研究者必须明确其变量角色、文本生成时间、样本选择机制、标签可靠性以及模型结果的稳健性。
例如NULL(未提及)被标注为0(不存在)
- NULL 干预会出现的常见错误
- 选择偏差
- 时序问题
- 测量问题
技术技巧
DeepHub丨Pydantic V2 CheatSheet
- 核心是继承
BaseModel类 - 无默认值就是必填,有默认值或声明为
T|None为可选 Field()元数据、约束和descriptionAnnotated复用校验模式- 嵌套结构:一个模型作为另一个模型字段的类型注释
@field_validator自定义验证器@field_serializer自定义序列化器- 输出
model_dump()python dictmodel_dump(mode='json')JSONmodel_dump_json()直接JSON,效率更高