NLP学习笔记04：情感分析——从词典方法到 BERT

NLP学习笔记04情感分析——从词典方法到 BERT作者Ye Shun日期2026-04-15一、前言情感分析Sentiment Analysis是自然语言处理NLP中最经典、应用也最广泛的任务之一。它的目标是自动识别和分析文本中的主观信息判断作者对某个对象、产品、事件或服务的态度是正面、负面还是中性。例如“这个手机真的很好用” → 正面“服务太差了再也不会来了” → 负面“整体还可以没有特别惊艳” → 中性在互联网时代大量文本都天然带有情感色彩例如商品评论、社交媒体帖子、客服对话、电影评分、新闻评论等。因此情感分析不仅是一个典型的 NLP 任务也有很强的实际应用价值。这篇笔记会围绕以下几个方面展开情感分析的基本概念与分类方式基于词典的方法如何工作基于机器学习的方法如何实现什么是方面级情感分析情感分析当前面临的挑战与发展方向二、情感分析的基本类型情感分析可以从不同角度进行分类最常见的是按分析粒度和按情感维度划分。1. 按分析粒度分类文档级情感分析把整篇文档当作一个整体判断它的总体情感倾向。例如一整篇电影评论可以被判定为“正面”或“负面”。句子级情感分析对单个句子进行情感判断。例如“这家店环境很好。” → 正面“但是服务很慢。” → 负面这种粒度比文档级更细适合分析较短文本。方面级情感分析方面级情感分析Aspect-Based Sentiment Analysis, ABSA更进一步不只是判断整体情感而是识别文本中具体提到的“方面”及其对应情感。例如“这家餐厅环境很好但服务太慢。”环境 → 正面服务 → 负面这类任务更贴近真实业务因为用户往往不是笼统地表达情绪而是针对某个具体点进行评价。2. 按情感维度分类二分类最常见的是正面 / 负面两类。三分类把情感划分为正面 / 中性 / 负面三类这在评论分析中很常见。多分类进一步细分为愤怒、喜悦、悲伤、惊讶等更具体的情绪类别。情感强度分析不只判断极性还量化情感强烈程度。例如“还不错” → 弱正面“非常喜欢强烈推荐” → 强正面三、基于词典的情感分析方法词典法是最传统的情感分析思路之一。它不依赖训练数据而是依赖预先构建好的情感词典通过统计文本中的情感词、否定词和程度副词来估计整体情感倾向。1. 核心组件一个典型的词典法情感分析器通常包含以下几个部分情感词典情感词典中保存了带有情感极性和强度的词。例如正面词喜欢、满意、优秀、推荐负面词糟糕、失望、生气、差劲英文中常见词典有SentiWordNetAFINNVADER中文中常见词典有知网 HowNet 情感词典大连理工大学情感词汇本体库否定词例如不没有绝非从不否定词会改变情感方向例如“好”是正面“不好”则转为负面。程度副词例如非常很有点稍微它们会调整情感强度例如“非常好”通常比“好”情感更强。2. 基本工作流程词典法的流程可以概括为对文本进行分词遍历分词结果统计情感词得分根据否定词和程度副词修正得分输出归一化后的情感结果伪代码如下deflexicon_based_sentiment(text):sentiment_score0wordstokenize(text)forwordinwords:ifwordinpositive_lexicon:sentiment_scorepositive_lexicon[word]elifwordinnegative_lexicon:sentiment_score-negative_lexicon[word]sentiment_scoreapply_negation(words,sentiment_score)sentiment_scoreapply_intensifier(words,sentiment_score)returnnormalize(sentiment_score)3. 优缺点分析优点不需要标注训练数据实现简单计算效率高可解释性较强缺点严重依赖情感词典质量难以处理上下文变化对反语、讽刺、双重否定等复杂表达能力弱领域迁移能力有限因此词典法更适合作为入门思路、快速基线或小规模规则系统而不是复杂场景下的最终方案。四、基于机器学习的情感分析相比词典方法机器学习方法通过学习带标注数据中的模式来判断情感更适合处理中等规模和结构较复杂的数据。1. 典型特征工程在传统机器学习中文本通常要先转换成数值特征。常见特征包括词袋模型BoWTF-IDFN-gram 特征情感词典特征其中TF-IDF 线性分类器是最经典、也最实用的一种组合。2. 常见分类算法常见做法包括朴素贝叶斯支持向量机SVM逻辑回归随机森林在情感分类任务中线性 SVM 和逻辑回归通常都是很强的基线模型。3. 使用 Scikit-learn 实现情感分类下面是一个典型的机器学习情感分类思路fromsklearn.feature_extraction.textimportTfidfVectorizerfromsklearn.pipelineimportPipelinefromsklearn.svmimportLinearSVC sentiment_clfPipeline([(tfidf,TfidfVectorizer(ngram_range(1,2))),(clf,LinearSVC())])sentiment_clf.fit(train_texts,train_labels)predictionsentiment_clf.predict([这个产品非常好用强烈推荐])print(prediction)这段代码背后的逻辑其实很清楚TfidfVectorizer负责把文本转换成数值向量LinearSVC学习这些向量和情感标签之间的关系管道Pipeline把两步封装成一个完整流程4. 机器学习方法的特点优点比词典法更灵活能自动从数据中学习模式对常见分类任务效果通常更好缺点依赖标注数据需要额外的特征工程对上下文和语义的理解仍然有限因此传统机器学习方法适合作为情感分析的重要中间阶段比词典法强比深度学习轻。五、细粒度情感分析方面级情感分析ABSA在真实评论中用户常常会同时表达多种情感而且这些情感往往对应不同方面。比如“餐厅的环境很棒但服务太慢了。”这句话如果只做整体情感分类会丢失很多关键信息。因为用户其实是在表达两种不同判断环境 → 正面服务 → 负面这正是方面级情感分析要解决的问题。1. ABSA 的核心子任务方面提取识别文本中被评价的对象或属性。显式方面“手机的电池续航很好” → 电池隐式方面“拍出来的照片很清晰” → 摄像头情感分类针对每个识别出的方面判断它对应的情感极性。2. 常见实现方式方法类型代表思路优点缺点流水线方法先提取方面再分类情感模块清晰易调试容易误差传播端到端方法直接联合建模方面和情感性能通常更好对数据要求更高多任务学习同时学习多个相关任务能共享知识训练更复杂3. 基于 BERT 的方面级情感分析预训练语言模型出现后ABSA 的效果有了明显提升。BERT 之所以适合这种任务是因为它擅长理解上下文也能更好建模“方面词”和“评价语句”之间的关系。示意代码如下fromtransformersimportBertTokenizer,BertForSequenceClassificationimporttorch modelBertForSequenceClassification.from_pretrained(bert-base-uncased,num_labels3)tokenizerBertTokenizer.from_pretrained(bert-base-uncased)text餐厅的环境很棒但服务太慢了。aspect服务inputstokenizer(f[CLS]{aspect}[SEP]{text}[SEP],return_tensorspt)outputsmodel(**inputs)predictionstorch.argmax(outputs.logits,dim1)print(predictions)这类做法的核心思想是把“方面”和“原句”一起输入模型让模型学习它们之间的关系再判断该方面对应的情感。六、情感分析面临的挑战情感分析虽然经典但远没有表面看起来那么简单。真实语言中的主观表达非常复杂很多问题并不是简单看几个词就能解决的。1. 上下文依赖同一个词在不同语境下情感极性可能不同。例如“厉害”有时是夸奖有时也可能带有讽刺。2. 领域适应在电影评论上训练出的模型拿去分析医疗评论、商品评论或金融舆情时效果往往会下降。3. 多语言与跨语言问题不同语言表达情感的方式差异很大同一套规则或模型不一定能直接迁移。4. 讽刺和反语例如“这服务真是太好了等了一个小时才上菜。”表面看似正面真实情感却明显是负面的。这类表达对模型来说非常困难。5. 情感原因提取很多业务不只想知道“正面还是负面”还想知道“为什么负面”。这就引出了更高级的任务例如情感原因抽取和意见摘要。七、前沿发展方向随着大模型和多模态技术的发展情感分析也在不断演进。1. 多模态情感分析不仅看文本还结合图像、语音、视频来判断情绪状态。2. 跨语言情感分析利用多语言模型和迁移学习提高低资源语言的情感分析能力。3. 情感原因提取不只判断情感还识别触发情感的原因。4. 个性化情感分析将用户历史行为、表达习惯、领域背景纳入分析提高个体层面的判断精度。八、实践建议如果你刚开始学习情感分析我比较建议按下面的顺序练习1. 先实现一个词典法情感分析器目的不是追求高精度而是理解情感词、否定词、程度副词是怎么影响最终判断的。2. 再实现一个机器学习版本例如TF-IDF 朴素贝叶斯TF-IDF 逻辑回归TF-IDF SVM通过比较不同模型的结果你会更清楚什么是“特征工程”和“分类器差异”。3. 最后再接触 BERT 类模型当你已经理解前两类方法之后再学习基于预训练模型的情感分析会更容易看出它们到底解决了什么问题。九、总结情感分析是 NLP 中非常基础但又极具现实价值的任务。它既可以作为入门任务帮助我们理解文本处理流程也能进一步延伸到更复杂的研究方向如方面级情感分析、跨领域迁移、多模态情感识别等。从方法演进来看词典法强调规则和可解释性机器学习方法强调从数据中学习分类边界BERT 等预训练模型则进一步提升了上下文理解能力在实际应用中并不是越复杂的方法就一定越合适。很多时候真正有效的方案是根据任务场景、数据规模和资源条件做平衡。