礼品网站如何做,高中生做网站,濮阳市建站公司,网站上面怎么做链接引言最近接手了一个EOL (End of Line)的项目#xff0c;用高斯混合模型GMM (Gaussian Mixture Model)作生产线上产品的质量检测。虽然提取特征的过程很痛苦#xff0c;不过还是很有意思。也是因为兴趣#xff0c;去年在Coursera上了吴恩达的Machine Learning#xff0c;算是…引言最近接手了一个EOL (End of Line)的项目用高斯混合模型GMM (Gaussian Mixture Model)作生产线上产品的质量检测。虽然提取特征的过程很痛苦不过还是很有意思。也是因为兴趣去年在Coursera上了吴恩达的Machine Learning算是对机器学习的入门。随着机器学习的兴起各个学科都在积极蹭热度寻找和机器学习的契合点。这个系列就和大家聊聊机器学习在声学上的应用标题略显浮夸有蹭人工智能热度的嫌疑其实主要是谈机器学习。对机器学习的了解有限欢迎交流指正。背景机器学习现在已经被广泛应用到计算机视觉、图像处理、语音处理、地球物理等领域。和其他技术比如压缩感知等类似在计算机和图像处理领域掀起热潮之后机器学习开始在声学崭露头角。虽然起步不早但是发展很快。在人类语言语音、动物发声、水下声源定位等声学子领域都有应用。机器学习的定义想必大家或多或少都知道可以被宽泛地定义为无需明确指令的情况下依赖数据中的模式和特征通过电脑研究算法和统计模型来完成特定任务的过程[1]。机器学习大体分为三类监督学习 (Supervised learning) 无监督学习 (Unsupervised learning) 和强化学习 (Reinforcement learning)。这篇文章我们只关注前两类。吴恩达教授给出的监督学习的定义In supervised learning, we are given a data set and already know what our correct output should look like, having the idea that there is a relationship between the input and the output[2].无监督学习Unsupervised learning allows us to approach problems with little or no idea what our results should look like. We can derive structure from data where we dont necessarily know the effect of the variables.简单说就是监督学习对于输出我们已经有了预期知道他们长什么样无监督学习是不知道输出应该是什么最后用数据来判断。比如同样是分类垃圾邮件分类是监督学习把同质类的新闻分类就是无监督学习因为我们并不知道要分成几类也没有具体分类标准。声学是物理学分支人们几百年来一直致力于发展声学的物理模型如下图的x轴所示随着数据量的增大以数据为驱动的方法也逐渐被运用如图的y轴。右上角方向就是声学发展的方向更先进完备的物理模型和大数据驱动的机器学习的结合[3]。机器学习中数据特征是关键。机器学习的常见方法机器学习有海量的学习资料我一个外行就不再班门弄斧讲基础知识。在这里简单列几个比较常用的机器学习方法。监督学习1. 回归和分类用吴恩达老师在Coursera的Machine Learning里面的一张图展示什么是回归。横坐标房子面积纵坐标房价我们可以用各种曲线来代表房价趋势从而由面积预测房价。[Machine Learning, Coursera]分类很好理解一个简单的例子[Machine Learning, Coursera]其他的方法还有支持向量机SVM (Support Vector Machine)、神经网络等。其中支持向量机要比回归更灵活而神经网络可以利用非线性模型进行预测或分类。神经网络非线性分类 [Machine Learning, Coursera]无监督学习主要方法有1. 主成分分析 PCA (Principal components analysis)PCA: 通过正交变换把数据转化成线性无关的主成分对数据进行降维打击让特征更具代表意义 [Wikipedia]2. K-meansk-mean: 通过迭代找到不同类数据的中心点从而对数据分类 [Wikipedia]3. GMM 和最大期望Expectation Maximization (EM)和k-mean类似也是一种聚类分析。通过混合几个不同的高斯分布对特征分类。GMM [https://towardsdatascience.com/gaussian-mixture-models-explained-6986aaf5a95]其他方法还有字典学习 Dictionary learningAutoencoder network、深度学习包括卷积神经网络等。机器学习在声学中的应用1. 音频处理中的声源定位在音频处理中对声源或者发声者的语音增强是核心问题。机器学习和声学的结合在手机、汽车、助听器和智能家居等领域都有广泛应用。虽然这个方向的发展非常迅猛但是在高背景噪声和房间混响的环境下准确识别声源依然是最大的挑战。LOCATA项目最近发起了一项声源定位和追踪的挑战建立了一个基于现实生活录音的数据库可以用来训练声源定位算法[4]。现在国内外各大语音相关企业都在开展这方面的研究。GMM结合EM提高定位精度 [3]2. 海洋声学中的声源定位海洋声源定位主要利用声呐系统结合Matched field processing (MFP)算法。由于空间中声源绝大多数为稀疏分布不是空间里布满了声源所以压缩感知 Compressive sensing在近十几年被引入声学。正如前述所说声学一般都是滞后引入其他学科中的新技术这似乎是声学学科的特点。神经网络被用到过准确定位货轮位置[5]。对于浅海和倾斜的海洋环境需要针对不同的海水深度训练time delay neural network (TDNN)模型从而避免mismatch [6]。今年又有学者成功利用单个水听器hydrophone结合deep residual CNN (Res-Net)预测声源范围和深度[7]。随着计算机能力的提升比如量子计算机虽然不知道还要多少年才能商用结合机器学习和物理模型有望实现更精准的实时海洋声源定位。三个船不同时间的时频图 [5]3. 生物声学这个方向的应用比较有意思主要研究自然界生物对各种声音的产生和感知这里的声音不仅仅局限于语音。机器学习已经用于回答以下问题为什么动物会发声为什么会出现喊叫和歌声这些声音之间有什么联系这些方面有丰富的数据可供机器学习使用。通过采集动物叫声来对他们的生物和生态方面的行为进行分类从而鉴定某一个区域的动物分布密度以及密度如何随时间变化月亮圆缺如何影响动物觅食行为等。早在90年代就有人研究过海洋动物的特征 通过提取音频中特征对应的心理声学参数、时频特征等来训练机器学习模型。80年代就有人通过海豚的叫声来对海豚种类进行分类后来GMM被用到了齿鲸叫声频谱参数数值变化的研究用隐形马尔科夫模型HMM通过鸟叫来给鸟分类用多层神经网络分类蝙蝠和鲸鱼并识别出杀人虎鲸的叫声——方便及时跑路。还有用ensemble learning来给大黄蜂进行分类。无监督学习目前还没有被大面积用到生物声学领域。几个有趣的生物声学数据库https://www.macaulaylibrary.orgSharing bird sounds from around the worldMobySound.orgBritish Library - Soundshttps://www.ngdc.noaa.gov/mgg/pad/在医学领域机器学习和声学也有结合用来做疾病诊断。比如澳大利亚的Noisy Gutshttp://www.noisyguts.net/公司用声学信号结合机器学习诊断肠道疾病。还有对语音信号进行情感情绪分析来预判危险行为的发声提前介入防止暴力发生可以用在幼儿园和监狱等场所。荷兰的一家公司就在做这方面的研究。通过语音时频谱可以看出人的突然发生很大变化 [https://www.soundintel.com/products/overview/aggression/]4. 地质探测对碳水化合物的地质探测主要通过收集发射的地震波的反射波来分析地表下反射层是否存在不连续从而探测地下是否存在碳水资源。这个领域传统方法是结合信号和图像处理利用声学做地质探测也是近期的事情。5. 混响和环境声人类每天都在和复杂的声环境打交道各种各样的声源包括语音、音乐、冲击、摩擦、流动、动物、机器等。每个声源发出的声音和其他声源以及周围环境发生交互导致传到人耳里面的声音非常复杂并不包含声源的原始声音。像之前提到的去混响和反射、提取声源声音都是声学和机器学习结合面临的挑战如何在混合信号中提取出声源声。比如我们需要让助听器能够在背景噪声中分辨出人声自动驾驶的汽车能在嘈杂的街道上听出警笛并让道虽然这个功能在国内应该是鸡肋。在自然环境中声源辨别面临以下几个问题声源种类繁多每种声源又有很大多样性自然环境中都是多个声音时间同时发生并互相干扰。现在有好多的数据库来提供自然界的录音来训练classifier比如DCASE challengesESCTUTAudio setUrban Sound and scene classication (DCASE; TUT)。通过声学结合先进的图像处理来进行声音场景和声源分类识别可以增强识别效果。还可以通过物理模型来模拟声音用来方便产生更多数据来提取特征训练模型[9]。通过物理模型合成大型对比声音数据库 [9]主要参考Machine learning in acoustics: theory and applications. JASA, 2019。参考[1]https://en.wikipedia.org/wiki/Machine_learning[2]https://www.coursera.org/learn/machine-learning/home/week/1[3] Michael J. Bianco, Peter Gerstoft, James Traer, Emma Ozanich, Marie A. Roch, Sharon Gannot, Charles-Alban Deledalle. Machine learning in acoustics: theory and applications. JASA, 2019.[4] Löllmann, Heinrich W., et al. The LOCATA challenge data corpus for acoustic source localization and tracking. 2018 IEEE 10th Sensor Array and Multichannel Signal Processing Workshop (SAM). IEEE, 2018.[5] Niu, Haiqiang, Emma Ozanich, and Peter Gerstoft. Ship localization in Santa Barbara Channel using machine learning classifiers. The Journal of the Acoustical Society of America 142.5 (2017): EL455-EL460.[6] Huang, Zhaoqiong, et al. Source localization using deep neural networks in a shallow water environment. The Journal of the Acoustical Society of America 143.5 (2018): 2922-2932.[7] Niu, Haiqiang, et al. Deep learning for ocean acoustic source localization using one sensor. arXiv preprint arXiv:1903.12319 (2019).[8] Fristrup K M, Watkins W A. Characterizing acoustic features of marine animal sounds[R]. Woods Hole Oceanographic Institution, 1992.[9] Zhang Z, Wu J, Li Q, et al. Generative modeling of audible shapes for object perception[C]//Proceedings of the IEEE Int ernational Conference on Computer Vision. 2017: 1251-1260.
