基于多模态相似融合的新闻视频故事分割算法

摘要：

新闻视频数量的不断增加,为准确分割用户感兴趣的新闻视频,本文提出了一种基于多模态相似融合的新闻视频故事分割算法.首先,通过选定视频切割点获取候选新闻故事单元边界,将视频分成音频流和视频流;其次,选择静音区间为音频候选切分点,主持人镜头帧和主题字幕帧作为视频候选切分点,根据候选切分点获得新闻故事基本单元,利用语义相似性分析各单元内容进行合并或独立分离,得到最终新闻故事;最后,采用人脸识别、YOLOv5来进行主题字幕检测、语义相似性合并或独立新闻故事基本单元,使得新闻故事边界划分更为准确.该新闻视频故事分割算法在《新闻联播》视频中查全率和查准率分别达到了97.17％和98.19％,为新闻视频导航、检索等应用提供辅助准备.

关键词：新闻故事基本单元、主题字幕、人脸识别、YOLOv5、语义相似性

所属期刊栏目：14

分类号：TP399(计算技术、计算机技术)

在线出版日期：2024-01-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：70-75,84