中国声音与音乐技术数据库搜集了流行音乐、民族音乐及数百种民族乐器的音响素材,并进行全面的标注,构成1个供MIR研究者使用的多用途的音乐数据库。本数据库由音乐学院专门录制,录制者具有较高的音乐素养,录制环境及技术专业,录音质量高,无商品版权问题,录制的音频免费公开,并方便大规模推广。本数据库对录音环境、录音设备以及录音人员、流程等方面进行专业的限定,力求避免各种噪声的干扰,获得高质量的音频素材。此外将音频的旋律声部与伴奏声部分两轨独立录制,对音乐信息检索的研究有重要的意义。未来,我们将会搜集更多的音乐素材进行录制和详细的标注。
本数据库包含 5 个子数据库,列表如下:
本数据库基于世界音乐数据库建设中手工标注与计算机相结合的工作思路,收集并标注“宫、商、角、徵、羽”五种调式(含五声、六声、七声)的音频,同时对中国民族五声调式的判断做出详细解析,并找到应用场景与技术模型,可以为中国民族音乐特征的分析与检索提供原始数据。
本数据库包含大约210首古筝音频,可以用于以数据为驱动的自动音乐转录和翻译相关算法。制作流程为首先收集各式曲谱,通过编曲软件制成MusicXML或lilypond而后转为MIDI。在此基础之上对于部分的技法表示我们将midi中的音通过实时改变音调的插件进行调试得到滑音、颤音、泛音等,对于刮奏、摇指、花指、琶音等运用不规则的连音音阶(4~8连音)在midi中编曲表达出来。
所有曲目也一并从midi中提取了包括音符起始点、时长、速度和音高等方面的内容。所有的古筝曲目均为wav和midi格式对应,对于传统乐器的转录翻译提供一点帮助。
本数据库包含2824个古筝单技法音频片段(.wav格式)。其中2328个片段是从虚拟音源中收集得到,496个片段是由专业古筝演奏家弹奏并录制的。这些片段几乎涵盖了古筝音域范围内的音调以及最常用的技法。根据古筝不同的演奏技法,将它们分为8类:颤音、上滑音、下滑音、回滑音、刮奏(刮奏、花指)、摇指、泛音、拨弦(勾、打、抹、托……)。每种演奏技法都有若干个对应的音频。
古筝演奏家弹奏的部分数据列表如下:
音乐情感识别研究近年来受到了广泛的关注。而这类研究往往需要大量的带标签的音乐语料库。 为此,我们提出并更新了PMEmo数据集,该数据包含了794首带情感注释的歌曲以及被试听歌过 程中的皮肤电活动信号。为了构建高质量的情感注释音乐语料库,我们精心设计了相关的音乐 情感实验。PMEmo主要用于音乐情感检索和识别的基准测试,我们将该数据集公开提供给研究 社区。为了直接评估音乐情感分析的方法,PMEmo还包括了提取好的音频、文本和生理特征集。 此外,我们还提供了人工选择的歌曲副歌节选,以促进副歌提取相关研究的发展。 在论文《The PMEmo Dataset for Music Emotion Recognition》中, 我们详细描述了歌曲来源、被试选择、实验设计和标签收集过程, 以及数据集内容和数据统计分析。我们还将该数据集应用于一些基本的音乐情感识别任务中, 验证了其优秀性能。
数据集中部分数据列表如下:
音频序号 | 歌曲元数据 | 音频试听 | 用于MER任务的预计算音频特征 | 情感注释标签 | EDA生理信号 | 歌曲歌词(LRC) | 歌曲评论 |
---|---|---|---|---|---|---|---|
1 | |||||||
5 | |||||||
6 | |||||||
9 |
大部分的古筝独奏存在“重叠技法”(多个使用不同技法的音符同时弹奏)或者“混合技法”(一个音符使用了多种技法,例如:“滑摇”就是“滑音”和“摇指”的结合)的情况,而大部分现有的对于乐器演奏技法检测的研究只在不存在重叠演奏技法的乐器上进行,所以该数据集的提出填补了该领域研究的一块空白,增加乐器演奏技法检测领域的研究范围和多样性。
该数据集包含了99首古筝独奏曲目,由两位古筝演奏家在专业录音棚录制而成,涵盖了古筝音乐的大部分类型。数据集中的音频记录总共长9064.6秒。
我们按照古筝简谱对这些古筝曲中存在的7种演奏技法进行标注(颤音、点音、上滑音、下滑音、拨弦、刮奏、摇指),我们对录音中的每个音符都标注出了起始时间、结束时间、音高和演奏技法。最终,该数据集总共包含了63352个标注。
该数据集在训练集、验证集和测试集中分别分配了79首、10首和10首歌曲。
有关代码和数据集的更多详细信息可以在 https://lidcc.github.io/GuzhengTech99/ 找到。
论文将在ICASSP 2023(IEEE International Conference on Acoustics, Speech, and Signal Processing)发表。
标注示例如下:
onset_time | offset_time | IPT | note |
---|---|---|---|
2.252335601 | 3.018594104 | boxian | 69 |
3.018594104 | 3.81968254 | boxian | 57 |
3.81968254 | 4.551111111 | boxian | 59 |
4.551111111 | 5.317369615 | boxian | 47 |
5.317369615 | 6.025578231 | chanyin | 62 |
6.025578231 | 6.397097506 | boxian | 50 |
6.397097506 | 6.745396825 | chanyin | 62 |
6.745396825 | 7.476825397 | boxian | 50 |
7.476825397 | 8.196643991 | chanyin | 62 |
8.196643991 | 8.93968254 | shanghua | 59 |