AI陪练功能说明及操作手册

AI陪练功能说明

一、AI陪练简介

(一)产品说明

1.AI智能陪练,是由时代光华自主研发的一款7*24在线的AI语音学习助理应用,可以通过模拟真实场景,使学员身临其境的进行业务演练、实时接受服务培训、快速掌握标准话术

2.AI陪练将作为我司答人产品一个项目类型,用户可在竞赛管理模块对其进行管理、而学员在我司答人模块参与陪练

(二)具体如何提供帮助?

1.AI智能陪练为学员提供了一个真实、可互动的虚拟客户

2.学员通过与虚拟客户间的一问一答、模拟真实的业务场景

3.虚拟客户会对学员的回答进行反馈,帮助学员了解自己的回答情况

4.每次练习结束后学员都可以查看本次练习完整的数据报表、播放自己的回答记录、参考标准答案与建议,从而进一步提升、完善自己的回答

5.而AI评分的维度侧重、学员的练习要求、场景的设置管理,一切尽在管理员的掌控之中,可以侧重评分学员的回答内容与标准答案一致、也可以重点考察核心关键词是否命中,选择权在客户管理员自己手中

6.场景与项目采取关联的模式,一个场景、多个项目复用,并根据数据反馈与业务情况实时调整场景,调整后的内容能即刻返回至学员练习,不耽误一分一秒

(三)与传统的答题式学习差别?

1.模式新颖、内容输入便利、学员使用便捷,而这些只是AI陪练众多优势中的相对不起眼的几项了

2.AI陪练“你问我答、语音交互、实时反馈”的产品模式,相比“手指戳玻璃、鼠标点屏幕”的传统答题,有无与伦比的环境感与体验优越性,正如人很难通过阅读文章学会游泳一样

3.AI陪练是非常典型的无定向回答,学员并不会局限在某几个选项中进行选择或思考,与其类似的有“问答题”,但其需要大量重复繁琐的批阅工作,很难大量落地门槛

4.从文字到音频,转变的不仅是形式,也许打字一秒十行、真正见了客户却十秒出不了一句,结结巴巴的回答自然不可能让真实客户满意,而这些文字给不了的维度、音频可以感知,甚至可以进一步畅想一下未来视频识别的微表情分析等,这是完全打破传统模式局限性的一个全新形态

5.BI系统的客户画像是否能有更多的用武之地?我们的真实场景普遍是在什么场景、什么天气、什么时间?业务场景到底能不能拆解成学习项目?以某个汽车销售练习场景为例,想象一下,在实拍4s店的背景下、屏幕映射着下午三点的阳光、学员与某个40岁典型男性客户的AI化身面对面,AI会以某个符合其身份的声音向学员发问、并对回答作出适当的反馈;而另一边,则是对着大段文字、选择ABCD。只有与最真实的业务闭环打通,培训和学习才能发挥出最大效用,我们一切培训和学习的最终目标是为了反哺业务、为业务赋能

(四)AI服务说明?

1.我们的AI测评与腾讯进行战略合作,通过深度学习技术与行业内领先的AI模型进行训练,从而实现了语音识别、语义分析、语音评测等功能

2.例如语音识别这块,就是基于多种序列神经网络结构(LSTM、Attention Model、DeepCNN),采用 Multitask 训练方法,结合T/S方式,从而在通用以及垂直领域都有业内领先的识别精度

3.目前我们提供流利度、准确度、完整度、语义契合、核心关键词这五个维度进行评测,每一个维度的的背后都是成百上千万的语料堆积,我们需要对海量的标注数据进行训练、打磨、提炼,才能得到一个可用的评测维度

4.后续我们也会推出更多的测评维度以供使用,如有需要、可以向我们反馈期望增加的维度,我们会对其进行评估、建模,尝试更多的可能性,尽可能提供更多的评价维度、从而更真实有效的解剖学员回答

5.当然,我们的模型尚处于初期阶段,为进一步提高效果,欢迎向我们提供一些公司的常用语料,如“信用卡核发额度是多少?”;抑或是特定的一些词汇,如产品名“我司答人”、保险领域专业词汇“核保”等,这些数据会帮助我们进一步调优调参、优化模型,提高AI打分精准度,更好的服务用户

6.英语、方言等场景

a.方言端,需要明确期望支持哪些方言,后续会根据实际需求情况来安排迭代

b.英文场景,由于英文的口语评测与中文大不相同,后续若需求较强烈会支持

  1. 若只是期望实现中英翻译的场景,可以忽略语音评分,在打分维度上只设置语义契合或关键词,目前的功能就可以实现
  2. 受语音识别影响,全英文场景下,首字母会自动识别为大写,在题目设置时请注意答案的全句首字母要大写

(五)如何申请体验?

1.AI陪练处于内测状态,目前提供账号体验与企业体验两种方式

  1. 账号体验:给予个别的体验账号进行体验,供少量人使用
  2. 企业体验:为整体企业开通AI陪练功能,企业可正常使用、下发项目,与正常开通体验无异
  3. 如需体验,请联系对接的时代光华客服或业务老师,由他们进行内部申请,请提供大致的企业情况、使用场景、用量预等估信息

本产品与腾讯合作,AI部分会产生额外的接口费用

  1. 但前期内侧期间,AI部分不会收取任何额外费用(除部分用量特别大的企业可能要额外报备)
  2. 内测结束后会收回使用权,想继续使用的企业可走正常的商务流程申请开通
  3. 请注意,内测体验期间最终解释权归光华所有,对于一些异常使用情况,时代光华有权收回体验名额

二、使用流程

旧版竞赛管理无法使用新版功能,请注意

 

三、场景设置

(一)场景管理

1.用户可在“资源库”里设置场景、陪练对象、练习的背景图与传统题库(用于之前的竞赛类型),目前陪练对象与场景背景暂不支持,后期会上线

2.场景与项目

  1. 完整创建一次AI陪练活动,需要先创建一个场景,然后再创建竞赛项目
  2. “场景”里会设置学员真正陪练时看到的内容
  3. 而“项目”则类似于具体某个活动,需要选择一个“场景”
  4. 一个项目最多只能选择一个场景,而一个场景可以被多个项目所选择
  5. 场景修改后,选择这个场景的项目里的内容会同步变化,已经做过的数据不会变更、而之后再做就是看到变更后的内容

3.点击复制会生成一个除名称外完全相同的场景,但要注意复制的场景类型是不允许更改的

4.若关联了项目的场景,是无法删除的

(二)新建/编辑场景-基础信息

1.场景的信息内容分为两部分

  1. 基础信息:包括场景名称、封面、类型等表层基础信息
  2. 话术信息:包括具体的话术内容、话术答案等里层话术信息

2.场景类型目前仅支持标准话术,其他类型暂不支持

3.请注意场景封面是针对场景的,与项目封面是不同的,下方学员端介绍会写明两者的展示区域

  1. 此处提供了一部分预设的项目封面

(三)新建/编辑场景-话术信息

1.具体的话术信息以“一段话术”为一个标准对象,每一段话术包括:

    1. 话术名称:话术本身的名称,仅做概括性展示,标题性质,不参与实际学员问答、打分
    2. 开始语:类似启动语,起到一个缓存的作用,可以用作向学员简单介绍一下场景内容,上限100个字
    3. 问题内容:向学员提问的问题,上限100个字
      1. 学员端播放时会是文字+语音的形式
      2. 文字是必填的,系统会自动转化为音频
      3. 也可以自己上传语音取代系统转化的音频
    1. 标准答案:学员应该回答的答案内容,最多支持输入5个标准答案,每段上限100个字
      1. 主要用于一些非固定答案,例如回答A可以、回答B也可以的场景
      2. 学员的回答只要命中其中一个答案即可
      3. 最终系统将会自动取与学员答案匹配度较高的一个答案,作为考核学员回答的标准答案
    1. 核心关键词:学员的回答必须要提到的关键词汇,最多支持10个关键词,每个上限10个字
      1. 系统会自动匹配学员回答中关键词的命中率
    1. 结束语:收尾内容,可以用作对场景内容做一个小总结,上限100个字

2.实际设置时,为确保精度,建议单段对话设置不宜过长

    1. 单段上限建议控制在30s以内
    2. 长段对话,建议拆分为多个对话
    3. 目前最多支持设置99个对话

3.场景内容发生变更时,会实时同步影响到已关联的项目,但已经产生的数据会发生变更,后续的学员将看到更改后的内容

(四)场景数据统计

1.与项目的数据统计页内容类似,具体内容看下文

2.与竞赛管理的数据统计页差异

  1. 从场景管理进入的场景数据页,包含了这个场景关联的所有项目产生的数据
  2. 从竞赛管理页进入某个项目的数据统计页,看到的是本项目所产生的数据

四、项目搭建

(一)新建项目

 

1.AI陪练会作为一个新的竞赛类型,出现在竞赛管理里(旧竞赛管理不支持)

  1. 目前学员端仅支持小程序端使用AI陪练,app及微平台看不到AI陪练类型的竞赛
  2. 只有开放AI陪练的企业才能看到这个新的竞赛类型,未开放的企业看不到“AI陪练”这个竞赛类型与对应的场景设置

2.相较于之前的竞赛类型,AI陪练可以设置为无期限项目,发布后学员端即可看到

  1. 可通过关闭/发布来控制是否显示在学员端
  2. 无期限项目主要适用于一些长期场景,无需每次都重复设置,发布全部人员或某个部门,后新加入公司或该部门的员工,也可以收到这个项目
  3. 请注意,发布后不允许修改时间,例如无法把一个定时项目改为无期限项目

(二)项目主体设计(打分维度)

1.陪练的项目设计主要分为三个部分

  1. 学习设置:设置是否允许学员练习、是否有练习要求
  2. 场景设置:选择具体的场景,右侧可以查看已选场景的内容预览
  3. 评分设置:自由控制各个维度的打分权重比例

2.学习设置

   a.是否允许练习

  1. 控制学员是否有练习模式的显示入口
  2. 默认允许练习,开启后可以进一步选择练习限制

   b.正式陪练门槛

  1. 相当于一个要求,学员必须达到了这个要求,才可以参加正式陪练
  2. 练习次数:由于练习模式,学员可以单独只练场景内的某一段对话,因而这种情况也会计入次数统计
  3. 练习最佳成绩平均分:场景内的每一段对话,取出学员各对话的最高分,再得出平均分
  4. 允许设置“或”与“且”两种关系
  5. 为避免学员错开练习、只练某一个话术刷分来规避门槛,因此还有一条默认设置“至少要完整的完成一次练习”,学员至少要练过一次“从头到尾”,不然即使设置的条件达到了、也无法参加正式陪练

  c.发布后依旧可以进行编辑,但请注意

  1. 不会清除学员之前已经学习的数据
  2. 例如学员已经练了3次,把门槛的3次调整为5次,则学员再练习2次就可以了

3.场景设置

  1. 选择一个已经创建好的场景进行关联
  2. 无法选择一个没有具体话术的场景
  3. 请注意,发布后不允许重新选择场景

4.评分设置

  a.5个维度

  1. “谈吐流畅”、“发音清晰”、“内容完整”:这三个维度都与语音本身的质量相关,无关具体回答的内容,这几个维度也常用于普通话考试等场景
  2. “语义契合”:通过匹配学员答案与标准答案之间的内容相似度,来计算得分;当设置了多个标准答案时,会取与学员相似度最高的那个答案最终最终得分
  3. “关键词匹配”:通过计算学员回答中,命中核心关键词的个数来计算,例如设置了3个关键词、命中了2个,关键词得分就是2/3=66.67分

  b.总分计算

  1. 每一个回答就会有5个维度分,通过维度分与其权重的计算,就可以得出总分
  2. 例如某个回答的5个维度分均为50分,且每个维度权重均为20%,则总分=50*20%+50*20%+50*20%+50*20%+50*20%=50分
  3. 5项权重总和必须为100%,但可以设置某个维度的权重为0分
  4. 例如只需要“关键词匹配”这个维度,可以为其设置为100%,这时的总分就=关键词匹配得分(而维度分在明细列表里依旧可以看到,数据不会删除)

  c.评分设置仅对本项目生效,对该场景关联的其他项目不生效

  d.而一个完整的场景往往有多段对话,则学员某一次场景练习的总得分=每段对话的最终得分再取平均分

  1. 学员练习➡️系统评测得出维度分➡️维度分加权计算➡️单独对话的总得分➡️多个单段对话的总得分取平均➡️一次练习了多段对话的总得分

  e.发布后依旧可以进行编辑,但请注意

  1. 已经评分的数据不会变更
  2. 会影响之后的使用,打分会按照新的规则来

 

(三)成就设置

整体的奖牌设置规则与竞赛其他类型的奖牌获取规则类似,判断字段有差异

1.按得分排名

    1. 取正式陪练的最佳成绩做排名
    2. 练习的成绩不参与计算
    3. 计算名额时向下取整,例如22个人、设置了30%的人获得奖牌,可获得奖牌人数:22*30%=6.6,以6个名额计算,即排名30.1%的人就获得不了

2.按训练次数

    1. 取练习+正式陪练的次数进行计算
    2. 练习中从头练习的次数才会计算

3.由于AI陪练允许设置长期项目,因而会有周期性结算的概念

    1. 目前支持周、月、季、半年、一年5类周期,会在每个周期的1号00:00:00进行结算
    2. 会取该周期内产生的数据进行统计,例如我本周期练习了5次,就会用这个次数来进行统计
    3. 奖牌获取
      1. 同级奖牌不会重复获取,例如我上一期获得了金牌,这期又获得了金牌,我依旧会参与排名统计,但最终只会显示我获得了金牌、不会显示我获得了2个金牌
      2. 下级奖牌会被上级奖牌替代,例如我上一期获得了铜牌,这期获得了金牌,则金牌会替代铜牌显示

(四)数据统计

1.数据统计页分场景数据与人员数据两部分

  1. 场景数据从场景维度进行数据统计与展示
  2. 人员数据从学员的维度进行数据统计与展示,一个学员对应一条数据

2.场景数据会以场景整体的维度进行数据展示

    1. 练习平均分只取完整练习(从头练习)的数据进行统计,后同
      1. 之所以只计算从头练习的数据,是因为场景往往是一个整体才真实有效,用单段对话的得分与整段对话的得分去计算是不合理的
      2. 而正式陪练由于默认就是从头到尾,所以不存在这个问题
    1. 已经被删除的对话数据,此处依旧会展示已经产生的数据,且会有一个标签提示“已删除”
      1. 已被删除的数据由于已经产生了,还是会参与数据统计的计算
    1. 顶部的数据统计
      •  参与平均分是以人为单位计算的,例如练了2次,第一次100,第二次80,取这两个总分的平均分(与项目设计处能看到的数据一致)
      • 练习和正式平均分,是取最细维度的分数统计而来:例如练了2次,其中每段得分,第一次100、80、90,第二次80、90,取这5段得分的平均分
      • 如果参与平均分也希望如练习和正式的平均分一样从细维度出发,把这两个数据相加除以2即可
    2. 此处展示的图片为“场景图片”,而非项目图片
    3. 点击查看想起,可以看到这个对话下,学员的明细答题数据
      1. 学员的每一次回答(包括单段对话练习)的明细数据都会显示在这里
      2. 一个人会有多条数据,例如我练了2次、则应该会有2条记录
      3. 从哪个对话的“查看详情”入口进入,显示的就是对应话术下的数据
      4. 分为正式陪练与练习两个tab
      5. 可以在线播放学员的回答或下载(受制于容量与音频文件格式,暂不支持批量下载语音)
    1. 当未设置练习时,由于没有练习数据,对应的tab里会无数据

3.人员数据从学员的维度进行数据统计与展示,显示参与了(有数据)的学员

    1. 练习模式下,下方的人员数据只取完整练习(从头练习)的数据进行统计
      1. 因为整个场景才是完整的一个内容,单一某段刷高分意义不大,单练的数据与完整的数据放在一起比较、计算是不合理的
      2. 而上方的人次统计是全局数据、包含了单段练习的数据,因此全局统计的次数和下方人员的次数总和可能不一致
      3. 整体建议学员使用完整练习,部分话术需要额外加强、才使用单独练习(后期会考虑允许自定义不允许单段练习或出专门的统计口径)
      4. 正式陪练由于不允许单段刷分,所以不存在这个问题
    1. 暂不支持从学员角度查看回答明细
    2. 默认以最高总分为第一排序,并列时提交时间早的显示在上

4.当未设置练习时,由于没有练习数据,对应的tab里会无数据

 

五、学员参与

(一)我司答人首页

1.创建项目后,学员可在页面看到对应的项目卡片

2.此处显示的图片,是“项目封面”的图片

 

(二)项目页(培训列表)

1.竞赛项目页分为培训列表、培训记录、排行榜三个页面,本部分主要描述培训列表

2.此处显示的图片,是“场景封面”的图片

3.分为练习模式与正式陪练两个子tab

    1. 若没有选择练习模式,则不会有tab切换,进来就是正式陪练
    2. 若设置了练习要求,达到要求后,才能进行正式陪练

4.每一段话术会有一个mini排行,显示这个话术得分最高的学员,占领所有学员的页面展示

    1. 正式和练习的数据是分开的
    2. 每一段话术卡片也会显示该段对话学员自身的练习次数、最高分

5.点击“从头练习”就是从第一段对话开始完整的进行参与,点击某段对话的“开始练习”就是只练这段对话

    1. 正常场景,都建议从头练习,完整模拟场景最有效
    2. 正式陪练只有完整练习,不允许去某段刷分(如果只为了某段刷分而其他题随便答,会降低自己的总平均)

(三)参与陪练

1.注意事项

    1. 初次进入时,需要请求录音权限,请务必同意!
    2. 中途退出的练习是不会被保存的
    3. 建议在比较安静的场合进行参与
    4. 同样初次进入时,由于有些页面资源都是第一次加载,可能会有些缓慢,例如录音时的波纹条,请等待波纹条出现后再录音

2.整体参与流程

    1. 加载页:系统进行资源加载
    2. 开始语:播放设置的开始语,文字随语音播放
      1. 点击上方声音图标可以重播
      2. 点击马上开始正式进入作答
    1. 播放题目:播放设置的话术题目,文字随语音播放
      1. 点击上方声音图标可以重播
      2. 点击录音键开始录音,进入录音状态
    1. 回答录音:学员进行回答,系统进行录音
      1. 录音时会有波纹动态变化
      2. 再次点击波纹,结束录音
    1. 语音识别:系统对学员的回答进行识别,转化为文本
    2. 确认回答:展示学员回答转化而来的语音
      1. 对于回答不满意,可以点击重录
      2. 可以点击播放键听自己的回答
      3. 点击提交后,系统需要一定的时间进行评测
    1. 结果反馈:系统根据评测结果,给出总分以及对应的文案提示
      1. 出现评测几秒时间后,会自动进入下一题
      2. 目前不支持自定义不同得分的不同文案展示
    1. 结束语:播放设置的结束语言,文字随语音播放
      1. 点击查看结果查看本次参与的数据统计
      2. 此时即使退出数据也会保存,但确保数据留存最好还是进入查看结果页查看一下

(四)历史参与记录

1.学员在每次参与练习的最后一段对话练完后,都可以点击查看结果页查看本次练习的数据

2.在陪练记录里,若设置了允许练习,也会分tab展示练习和正式的数据

    1. 一次练习行为就是一条数据
    2. 练习模式中单独练习、完整练习都会算做一次练习

3.数据结果页,会分为总页和子页

    1. 总页包含了这次参与,所有对话的平均分(维度分也是取平均),同时也会显示具体每段对话的得分,点击某段对话可以进入子页
    2. 子页则显示具体这段对话的得分情况,学员也可以在这查看参考答案、以及自己回答的录音情况,下次改进回答
    3. 系统会根据学员的得分情况,给予不同的描述与建议(后续会进一步加强)

(五)排行榜

1.此处依据学员“正式陪练总分的最高分”,从高到低进行排序

2.正式陪练总分的最高分=某次参与正式陪练的数据中,每段对话的得分取平均;多次参与时,取其中最高的一个总分

3.后续会支持,学员彼此之间查看排行榜上高分达人的回答,目前暂不支持

六、致读者

1.这么长的文章都看完了,送你一朵小红花!🌸🌸🌸

2.AI陪练刚刚上线,尚处于萌芽期,还有非常多可以优化及进步的地方,也希望我们能跟客户一起共同成长,从“能用”到“易用”、再从“易用”到“好用”,创造一个有趣且有价值的产品

3.由于AI打分是与腾讯合作开发的,关于“打分不准”、“打分为0”的情况欢迎反馈给我们,我们再与腾讯沟通,一起深入优化模型、提升效

发表评论

邮箱地址不会被公开。

滚动到顶部