Python轻应用实现千里传音

前言

近年来,随着移动支付的飞速发展,各种线下消费场所都提供了扫码付款的能力。日常生活中,我们常见的有小超市,便利店,农贸市场等。 商家只需要展示自己的收款码,就能收到消费者的付款渠道和金额了。由于商家不可能时刻看着自己的手机去核对首款金额,因此衍生了一个新的产品:播报音箱。 所有的首款信息都可以实时的通过语音播报出来,让商家可以免去收银的烦恼,安心做生意。


针对这种端到端的语音需求,阿里云提供了一套全链路的解决方案:千里传音

方案介绍

“千里传音”服务,是阿里云IoT针对带有语音播报能力的AIoT设备,提供的一个云端一体的解决方案。为播报提醒类设备应用提供从播报语料合成, 语料管理,语料推送到设备,播报设备管理等完善功能,配合集成了端侧播报能力的HaaS设备,帮助用户高效完成播报类设备应的开发和长期运行。


“千里传音”服务以项目为单位来帮助客户组织应用和管理设备,以便客户面向不同的用户来管理设备语料更新,以及批量或单个设备语料推送。 同时,“千里传音”服务为客户应用提供云端API,通过传入语料组合逻辑,及设备ID,就可以完成对端设备播报的调用,简单省事。 借助阿里云IoT平台提供的高并发设备通信能力,帮助客户无忧完成大规模设备部署和长期高可用运行。


它主要有三个部分组成:App,服务器,和播报设备

千里传音架构

“千里传音”,指的就是无论服务的使用者(App)和播放设备之间的物理距离有多远,都可以通过服务器,将自己想要传达的音频数据,传输给相关播报设备进行播报。

  1. 服务的使用者,可以通过千里传音服务提供的SDK和服务器进行通讯 目前千里传音服务提供了多种编程语言的SDK,包括Java,JS,Python,PHP 等等,开发者可以选自自己熟悉的开发语言进行开发。调试阶段,可以使用在线调试工具进行调试。

  2. 服务器通过MQTT将播放资源和指令下发给播放设备进行播放


目前设备支持本地音频播放和在线音频播放,在线音频的播放需要通过物模型自定义服务,将音频的url发送给设备端,本地音频的播放, 需要通过千里传音SpeechPost服务先将音频链接发送给设备端,设备端将音频文件以ID 命名并保存。 当服务端需要播放的时候,将所有的音频文件按照ID 组合起来,通过SpeechBroadcast服务下发给设备端,设备端将音频组合起来,进行播放。


千里传音服务提供的能力如下:

● 项目管理

客户通过项目形式管理不同应用场景中的设备和语料。

● 智能语料生成

通过人工智能算法帮助客户快速完成文字到固定播报语料的生成,支持wav和mp3格式输出。

● 语料组合播报

通过远程命令,告知特定设备将本地语料以特定顺序组合后播报,并支持加入动态数字内容。

● 动态语料合成

支持用户通过API生成动态播报语料,推送到端侧播报。此类语料设备端采用在线播放的形式,将不固化到设备中。

● 语料空中推送

为客户提供语料空中推送到单个和项目中全量设备的能力,实现设备端固化语料的更新。使设备播报语音内容变得可以运营。

● 云端API

为客户提供平台能力对应API,以实现上述播报能力的云端控制。

设备端如何使用千里传音?

本方案中,播报设备指的是阿里云的物联网硬件设备HaaS100,App的使用的是在线调试工具或者PC端的Python 应用。具体的交互流程如下:

千里传音代码方案

以上代码逻辑,均在Python轻应用中实现,具体细节轻参考物品清单章节中的Python轻应用固件软件部分。

物品清单

硬件

  1. HaaS100 开发板一块

  2. 电源一个

  3. micro usb 一个

  4. sdcard 一个

  5. 有源喇叭一个 购买链接

  6. 杜邦线一根

注意事项:

  1. HaaS100支持外接微型SD卡(Micro SD),最大支持64GB数据的存储,SD卡槽位于开发板背,可以外接微型SD存储卡

  2. sdcard 格式支持: FAT16/FAT32,本案例中暂时不支持exFAT 格式

  3. 喇叭的链接方法如下:

    喇叭

软件

千里传音产品和设备创建

● 创建项目

登录阿里云官网,选择产品阿里云IoT平台->企业物联网平台->控制台->增值服务->IoT云端一体服务,进入千里传音服务后台

创建项目

在项目创建过程中,需要输入项目名称,并对项目进行简单描述,以便后期维护。

项目描述

在完成项目创建后,系统将帮助用户创建一个与项目名相同的产品,以便后续加入设备。同时,如果用户希望为设备增加千里传音以外的能力,也可以直接到物联网平台的设备管理界面中,为设备添加物模型能力。 在项目列表中,点击需要配置的项目,可以对项目内容进行配置管理。

项目配置

在项目配置界面,有两个选项,分别是服务配置和设备管理,其中服务配置是用来配置千里传音服务的的,主要是语料管理,设备配置是用来管理项目中设备列表的。

● 生成语料

如下图所示,在项目配置中,选中服务配置->管理服务,

服务配置

进去千里传音服务配置界面以后,选中语料配置中的新增语料

新增语料

新增自定义语料界面如下:

语料自定义

其中语料标识和语料内容非常重要,语料标识必须是项目级别唯一,它是作为语料组合调用时候的唯一标签,同时也作为设备端保存语料的文件名。语料内容指的就是我们要播报的文本. 除此之外,我们还可以自定义语料的场景,包括方言场景,童声场景,客服场景以及通用场景;自定义语料的播放速度;自定义语料的播报音量等。

● 创建设备

在完成语料构建和管理后,需要在项目中创建设备,以便最终用户的播报应用可以将命令发送到设备端,完成整个播报链路。点击“设备管理”标签,将进入设备管理界面。

设备管理1

设备创建可以有单个创建和批量创建两种方式。 点击“创建设备”会打开创建单个设备弹窗,并要求用户输入设备相关信息。

设备管理2

DeviceName:英文字符组成的设备名称,设备名称在项目中不可重复。 备注名称:为了便于用户区分设备,给设备赋予的别名。 点击“批量添加”会打开批量创建设备弹窗

批量添加

添加方式

○ 自动生成:指系统将为用户自动生成DeviceName。

○ 批量上传:需要用户通过.csv文件上传自定义的DeviceName。

设备数量

需要批量添加的设备个数。

在创建完成设备以后,设备管理界面,可以显示设备列表,点击设备对应的鉴权信息,可以查看设备的三元组信息

鉴权信息

语料推送 在创建完成设备以后,我们就可以回到语料配置界面,将新增的语料推送到相应的设备上面进行测试了。 如下图所示,点击需要推送的语料,操作栏中的推送到设备按钮(下图中我们推送的语料id是 yuan)

推送到设备

进入语料推送界面,如下图所示,默认支持单个设备推送,分组推送和全部设备推送。

推送列表

单个设备和分组模式,需要选择自己的设备名或者分组名,选中以后点击确定即可完成推送。 HaaS100 Python轻应用固件 可以通过HaaS100 3.3 开源代码编译或者Python轻应用官方固件直接下载(2021.5月份以后),相关下载方法都在Python轻应用快速上手中有详细介绍: Python轻应用快速上手串口工具

MacOS 电脑推荐使用picocom, windows 电脑推荐使用putty, 务必保证设置串口波特率为 1500000


千里传音设备端Python轻应用代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
'''
@File       :    haas_speech.py
@Description:    file description
@Date       :    2021/04/19 13:56:50
@Author     :    guoliang.wgl
@version    :    1.0
'''
import iot
import utime
import http
import ujson as json
from speech_utils import *
from const import *

# 语音播放相关的音频资源文件定义
resDir = "/sdcard/resource/"
tonepathConnected = "fs:/sdcard/resource/connected.wav"
tonepathPowerOn = "fs:/sdcard/resource/poweron.wav"

# 物联网平台相关的key和serect定义
productSecret = "xxxxxxxx"
productKey = "xxxxxxx"
deviceName  =    "xxxxxxx"
deviceSecret  =   "xxxxxxx"

on_request = False
on_play = False

def do_connect_lk():
   """
   @description  : 通过物联网平台连接千里传音服务
   ---------
   @param        : 空
   -------
   @Returns      : 空
   -------
   """
   # 请替换物联网平台申请到的产品和设备信息,可以参考文章:https://blog.csdn.net/HaaSTech/article/details/114360517
   global productSecret, productKey, deviceName, deviceSecret ,on_request, on_play
   # 初始化linkkit sdk
   key_info = {
      'region' : 'cn-shanghai' ,
      'productKey': productKey ,
      'deviceName': deviceName ,
      'deviceSecret': deviceSecret ,
      'productSecret': productSecret
   }
   device = iot.Device(key_info)
   # 物联网平台连接成功的回调函数
   def on_connect():
      global player, tonepathConnected
      print('linkkit is connected ')
      play(tonepathConnected)
   device.on('connect',on_connect)
   # 设置service 事件接收函数(本案例是千里传音)
   def on_service(serviceid,request):
      global on_request, on_play
      data = json.loads(request)
      if serviceid == "SpeechPost":
            on_request = data
      elif serviceid == "SpeechBroadcast":
            on_play = data
      else:
            pass
   device.on('service',on_service)
   # 连接物联网平台
   device.connect()
   # 触发linkit sdk持续处理server端信息
   while(True):
      device.do_yield(1000)
      if  on_request:
            download_resource_file(on_request,resDir)
            on_request = False
      elif on_play:
            play_voice(on_play,resDir)
            on_play = False
   # 断开连接
   device.close()
   player.stop()
   player.release()



if __name__ == '__main__':
   init_audio()
   play(tonepathPowerOn)
   do_connect_lk()

以上是Python轻应用的主体代码,它的主要功能如下:

  1. 连接物联网平台

  2. 监听SpeechPost 服务,下载服务端推送过来的音频文件到 /sdcard/resource/

  3. 监听SpeechBroadcast服务,播放指定的音频

注意事项

  1. 下载常用本地音频资源文件到/sdcard/resource目录 <<资源文件下载>>

  2. 请务必将代码中的以下信息替换成千里传音产品中相关信息

    productSecret = “xxxxxxxx”

    productKey = “xxxxxxx”

    deviceName = “xxxxxxx”

    deviceSecret = “xxxxxxx”

如何实现

固件烧录

请参考Python轻应用快速上手 中烧录相关章节。

轻应用运行

将物品软件清单中Python轻应用的代码保存为haas_speech.py,并拷贝到sdcard中,设备插入sdcard后重启。

● 执行联网操作

python /data/python-apps/wifi/main.py your_ssid your_password

● 执行haas_speech.py

python /sdcard/haas_speech.py

SDK调用

  1. 安装SDK核心库

pip install aliyun-python-sdk-core
  1. 修改如下Python代码中的KeyID 和 Secret,并保存为SpeechByCombination.py

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.request import CommonRequest
# 导入自己的accessKeyId 和accessSecret
from aliyun_key import *
client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')

request = CommonRequest()
request.set_accept_format('json')
request.set_domain('iot.cn-shanghai.aliyuncs.com')
request.set_method('POST')
request.set_protocol_type('https') # https | http
request.set_version('2018-01-20')
request.set_action_name('SpeechByCombination')

request.add_query_param('RegionId', "cn-shanghai")
request.add_query_param('CombinationList.1', "welcome")
# request.add_query_param('CombinationList.1', "zfbGet")
# request.add_query_param('CombinationList.2', "{$10000.056}")
# request.add_query_param('CombinationList.3', "yuan")
request.add_query_param('ProductKey', "a1Ba4rCO9iM")
request.add_query_param('DeviceName', "py_voice_01")

response = client.do_action(request)
# python2:  print(response)
print(str(response, encoding = 'utf-8'))
  1. 执行命令行

    python SpeechByCombination.py