用DistilBERT LoRA与TF-IDF基线做IMDb情感分析:校准、可解释性与半监督学习

本教程基于Stanford IMDb数据集构建端到端情感分析流程,对比TF-IDF逻辑回归基线与LoRA微调的DistilBERT。模型评估涵盖准确率、macro-F1、ROC-AUC及期望校准误差,并分析置信错误、长度影响与词级遮挡显著性。最后利用未标注IMDb数据做置信度伪标注,比较半监督模型与...

摘要

本教程基于Stanford IMDb数据集构建端到端情感分析流程,对比TF-IDF逻辑回归基线与LoRA微调的DistilBERT。模型评估涵盖准确率、macro-F1、ROC-AUC及期望校准误差,并分析置信错误、长度影响与词级遮挡显著性。最后利用未标注IMDb数据做置信度伪标注,比较半监督模型与基线,保存合并后的Transformer用于推理。

原文链接

本站已稳定运行: 计算中... 天 | 博客: 32 篇 | 字数: 26276
使用 Hugo 构建
主题 StackJimmy 设计