自然语音教学平台

NLP自然语音套件

    智能语音处理教学与实践实训箱,可以开展语音信号的采集与播放、语音编解码、回声消除、语音信号降噪、语音变速变调、语音识别、语音合成、智能对话等智能语音处理课程教学与实践。且具有智能语音系统相关知识产权。

 

       该实训箱是一款软硬件一体的人工智能教学与开发实践端侧设备,并配套相关教学实践资源。预装Linux操作系统和深度学习框架、智能语音处理SDK,实验箱配有高清显示屏、4Mic阵列、USB声卡、无线键鼠等外设设备,且具有CANS机构认可的产品检验报告。

1、边缘计算开发平台配置:

CPU:采用四核ARM Cortex-A57 MPcore处理器;GPU:采用Maxwell设计架构,提供128个CUDA核心,内存与存储:4 GB LPDDR4@1600 MHz,16 GB eMMC;以太网:支持10/100/1000 BASE-T自适应;显示接口:支持HDMI 2.0 或DSI (1x2) 2;硬件资源:3个UART、2个SPI、2个IIS、4 个IIC、1个x1/2/4 PCIE、1个USB 3.0、3个USB 2.0;耳麦接口;I2S:

2、麦克风阵列:

核心处理器:采用Andes D1088 内核,其AI/DSP 加速模块 MVA 支持多种 Neural Network 算子和向量运算,深度适配科大讯飞AI算法,算力可达 128GTOPS,多种环境下测试后的综合唤醒率95%,综合识别率93%。。

麦克风:6个以上,采用平面式分布结构,可实现360度等效拾音,唤醒分辨率为1度。用户可以使用麦克风阵列获取原始和降噪音频,获取唤醒角度,主麦编号;也可以设置主麦编号,多组RGB灯光,可显示声源方位,支持软件点亮和关闭。

(1)选场拾音:

前端采用科大讯飞双麦克风阵列算法,能够实现 360 度远场 5m 用户拾音,搭载人声自动增益,根据用户音量自适应调节节,保证降噪后音频整体听感一致。

(2)回声酒除:

支转在用户交互过程中,设备在播强内容或音乐时,用户可项醒中断播报进程进行下一轮交可,让交互体验更加自然。

(3)语音播报:

语音播报指用户唤醒设备以及说出命令词,设备进行对应的回复播报响应,或是主动的提示语,语音播报目的是在用户发出语音指令或者合适的场景通过播报回复来反馈用户。

(4)离线命令:

用户在设备唤醒状态下,说出指定范围内的命令词(指令),语音模块接收到信息后,根据命令词内容进行相关处理。或者将内存信息传输上位机进行相关处理。

(5)外设通讯:

模块接收麦克风的输入进行处理,通过USB或 UART与其他设备通信。

(6)环境降噪:

广泛适用于家居,车载、办会室等场景的环境降噪,降噪的同时最大程度保留人声信息

3、显示屏:

17寸液晶显示屏:HDMI接口,分辨率1440*900,

4、嵌入式传感器模块:

智能传感采集设备远端:CORTEX-M3内核,3.2寸TFT触摸显示屏,无线模块:兼容双排直列接口,标配BTmesh,可选WIFI/ZigBee/LORA等,通讯协议:传感层支持Modbus。

(1)智能安防感知单元:

红外对射、烟雾、酒精等模块

(2)智能家居环境感知单元:

温湿度、光照等模块

(3)智能停车联动单元:

超声波测距、红外热释电模块

(4)执行器控制单元:

LED灯、门禁锁、继电器、ETC舵机、蜂鸣器。

(5)BTmesh模块

支持TmallGenie的mesh组网应用,点对点通信、支持中继,适合485设备总线,无线传感器应用,Buletooth模组也通过了TmallGenie的认证。支持:单火/零火开关/智能开关,遥控器,智能灯泡等应用。

Operating Frequency:2.4GHz;Buletooth;

Standard:BLE 4.2 / 5.0 core specification;

Host Interface:UART。

(6)智能声控音箱

产品类型 智能音箱 扬声器 内置4Ω扬声器 输出功率 3W 麦克风 支持,2个 产品功能 语音识别控制功能,自定义唤醒词,通话 无线 Wifi;其它参数 处理器 MTK MT8516 系统 系统:AliGenie语音助手。

5、辅助配件

无线键鼠,独立开模泡棉包裹,底部支持配线,配件收纳。

1、配套软件

Linux OS:Ubuntu18.04,Kernel 4.4;嵌入式深度学习框架:支持Caffe/TensorFlow/Pytorch/MxNet/ONNX/Darknet等训练框架模型直接部署,支持层融合、量化等网络性能优化策略,提供统一API(C/Python/JNI)接口,提供扩展接口自定义算子;高性能异构计算库HCL:HCL.NN加速嵌入式平台神经网络推理运算,HCL.Vision具备常用的图像处理、计算机视觉、模式识别的算子与算法,提供异构调度硬件加速芯片图像处理,HCL.Audio具备常用的音频信号前后处理算子,支持FFT/IFFT、MFCC等信号处理方式。视频编解码API:硬解码H264/H265 4K@30fps/60fps,硬编码H264 1080p@30fps;智能语音处理演示Demo:语音变速降噪、语音识别、语音合成、多轮语音对话。

2、配套资源

128G U盘:配套教材电子版与源代码,包含语音前处理,语音合成,语音识别,自然语言处理等内容;智能语音处理演示Demo与源代码;使用说明书,包含套件组成、安装说明、演示Demo操作说明

3、自然语音部分实验

语音前处理、语音合成

语音识别、自然语言处理

4、智能语音处理

麦克风阵列部分实验

声源定位实验

音频可视化实验

   语音识别实验。