分类: 点击香江

超越华为盘古千亿模型 搜狗搜索再创中文语言理解评测CLUE世界第一_1

近日,搜狗搜索技术团队在CLUE(中文语言理解测评基准)的任务比赛中,基于自研的中文预训练模型击败了包括华为盘古在内的一众强劲对手,在CLUE总榜、分类总榜、阅读理解榜再次获得第一名,刷新业界记录。

“BERTSG”为搜狗搜索自研模型,“HUMAN”为人类成绩(不计入选手)

不惧业内强劲挑战 搜狗搜索用技术与算法彰显实力

作为中文语言理解领域最具权威性的测评基准之一,CLUE基于原始的中文文本语料共开设了 8 个方向的比赛,由文本相似度、分类、上下文推理、阅读理解等共 11 个子任务组成。此前,搜狗搜索曾长期霸榜CLUE多个任务比赛冠军宝座,但在今年 4 月遭遇到来自华为、阿里达摩院等竞争对手的强劲挑战,华为更是利用其两千亿参数模型盘古一度取得领先。

就在近日,搜狗搜索技术团队基于自研的中文预训练模型,一举超越华为盘古,再度在CLUE总榜、分类总榜、阅读理解榜获得冠军,展示了其在自然语义理解领域强大的技术创新实力和领先的AI算法能力。

据了解,搜狗搜索技术团队近一年来在预训练模型研发上加强投入,已完成从亿级到百亿级中文预训练模的研发,目前正开展千亿级中文预训练模型及多模态预训练模型的研发工作。搜狗搜索技术团队自研的预训练模型之所以能够比参数量更大的华为盘古在CLUE榜单取得更好的效果,主要是在训练语料、模型结构、训练方法三个方面进行了创新突破。

训练语料方面,凭借自身作为第二大搜索引擎的基础优势,搜狗搜索技术团队首先从万亿网页中筛选出10T优质语料,依托搜狗搜索的内容理解技术、大规模聚类等系统,进而从10T优质语料中精选出2T最终语料,这样在保证语料内容质量的同时,还可以确保内容的多样性,从训练语料上提升了模型的训练效率和泛化能力。

模型结构方面,原始的BERT模型使用了Post-LN的结构,该结构的弊端是在训练超大模型时,若没有设置好warmup,会导致收敛效果变差。而搜狗的预训练模型在结构上采用了Pre-LN的方式,大大提升了训练效率。

而在训练方法方面,搜狗搜索技术团队做了两方面的创新优化。第一,采用了cross thought预训练方法,同时引入对比学习训练方法,解决原始BERT模型学习出来的cls token向量存在各向异性的问题,大大增强预训练模型的表征能力,使得下游任务效果得到明显提升。第二,加入了根据文章标题生成和段落顺序预测两个任务,进一步增强预训练模型的文章理解能力。具体而言,在标题生成任务上,输入一篇文章的内容和标题,并且对文章和标题都做词语级别的mask操作,文章mask策略与Roberta-wwm采用的策略一样,标题则mask超过80%的词。而段落顺序预测任务的目标是预测段落之间的上下文关系,在加入这两种预测任务后,预训练模型的效果得到明显提升。

搜狗搜索NLP技术长期领先,成功落地产品、加速赋能行业

与此同时,此次搜狗搜索自研预训练模型在CLUE总榜、分类总榜、阅读理解榜再度获得冠军,也意味着搜狗搜索在自然语言预训练、语义理解、长文本和短文本分类、阅读理解、问答等领域皆持续处于业界领先水平,展现了其在NLP的超群实力。在此之前,搜狗搜索还曾在国际阅读理竞赛CoQA等竞赛中取得了冠军的成绩。

事实上,搜狗搜索之所以在NLP领域长期处于领先地位,与搜狗公司长期专注在自然语言处理领域进行深耕细作密不可分。作为一家将AI作为企业基因的公司,搜狗基于搜狗搜索、搜狗输入法等核心产品,一直坚持其以语言为核心的AI战略,并成功进行了一系列AI技术创新和产品落地实践。

据了解,搜狗自研的预训练模型已在搜狗搜索产品中落地,大幅提升了用户的搜索效率和体验。此外,相关技术在语言翻译、聊天机器人、知识图谱等领域也具有广泛的应用空间。

No Comments

矩阵产品日活突破2000万,快手现神秘国际化部门XYZ

2018 年以来,快手国际化一直备受关注。相比其他短视频产品高举高打和大规模投入,快手在海外延续了稳扎稳打的产品策略。

知情人士透露,除了主产品的国际版Kwai,快手孵化的另一支国际化团队XYZ开发的几款产品,正在取得突破性进展。这几款产品的海外累计活跃用户已超过 1 亿,日活跃用户悄悄突破 2000 万,但即使在快手内部,知道XYZ代号的员工都极少。

据了解,XYZ部门运营的国际化产品至少包括以下四款:卡点音乐视频制作平台MV Master,中短视频社区产品UVideo和VStatus,以及图文社区产品Lolita。

MV Master2019 年初上线,定位于用丰富的模板、滤镜,以及当下最时髦的配乐,方便使用者快速制作视频并分享到各类聊天和社交媒体平台。据了解,MV Master得益于快手Y-Tech及音视频中台技术上的长期积累,上线之初就引爆印度,迅速登顶印度谷歌总榜第一,并长期占据拍摄榜第一。目前,其全球累计下载量超过 6000 万。近日,MV Master在印度举办了洒红节线上活动,吸引了超过 100 万人参与。

作为情感内容类短视频社区,UVideo引入了爱情、电影、音乐、鸡汤、搞笑等多元化内容,满足用户对垂类内容的消费需求,以印度为主要市场;VStatus的用户则可以观看音乐、诗歌、鸡汤、宗教等流行的情感内容,还可以体验丰富的视频生产方式,满足用户日常记录分享生活的需求。两款产品稳扎稳打,不断打磨产品,调整内容方向,在印度和巴西均取得了不俗的成绩。

上述人士表示,XYZ作为快手国际化战略的核心部门之一,名字借鉴了 17 世纪数学家笛卡尔在《几何学》中使用X、Y、Z来代表未知量的做法,代表了快手对于国际化业务的期待。

“在未来,中国公司的国际化是必由之路。”快手科技创始人兼CEO宿华曾表示,海外业务一定是快手的重点业务。过去两年,快手一直在悄悄布局,并为国际化部门不断补充核心人才。XYZ的矩阵产品,即是过去一年多悄悄布局的结果。

“只有不断推出更新颖、更独特的素材和模板,才能在留住老用户的同时吸引新用户。因此,制定符合本地用户审美、又具有逻辑的战略尤其重要。” 快手XYZ产品负责人葛雯说。

她还分享了一个产品进化的故事。在整理UVideo后台数据的时候,她发现有一位忠实的印度用户连续 30 天都点击UVideo早上发出的早安问候的推送,于是运营团队联系到了这个用户并做了深入访谈。

该用户名叫Abhishek,是一个小商店的店主,每天7- 8 点就起床开门营业,打扫完店铺之后,就会玩一会手机,他会点击每天收到的早安问候,并将视频分享给他的家人朋友。在更大范围的用户调研中发现,像Abhishek一样集中高频率使用早晚安问候推送功能的用户有很多,尤其是腰部和普通用户。比起获得流量和广泛的关注,普通用户更重视通过这类励志、温暖的视频获得情感上的激励和共鸣。在产品设计和后期调整上,UVideo更加重视这类本地普通用户的喜好和特点。

在巴西这个人口众多、充满极大市场机遇的国家,快手的短视频App矩阵也正在影响许多普通人的生活。

Ruben Bralio是一名来自巴西的普通高中生,机缘巧合下看到VStatus有他喜欢的音乐内容,就下载了VStatus,也逐渐喜欢上了在这个App上观看音乐动效、情景喜剧、游戏等主题的内容。

他最初发的几条视频,没有吸引到太多的关注,不过Ruben很善于思考,他去各种平台找了与自己年龄相仿的网红的视频来学习,结合自己的特点,确定了“搞笑+生活”类的视频内容路线。他积极响应站内一些创作者活动,参加每周的话题活动。在短短的一个月内,他就增长了 8000 名粉丝,也拥有了自己的WhatsApp粉丝群聊。

不过,海外用户不同的特点和需求也给XYZ带来一些挑战。快手相关负责人介绍,目前业界短视频推荐技术一般采用用户的历史行为作为监督信息,这种方案在视频侧行为足够充分的条件下,可获得良好的推荐效果;然而,海外用户往往有上传作品意愿高、消费侧用户行为稀疏的特点,这点与国内用户有很大的不同,会造成头部效应集中,对腰部、中长尾视频不友好。

针对这样的特点,快手技术团队聚焦视频本身的多模态特征,研发了基于视频内容到CTR(点击通过率)预估的端到端的特征提取方案。该方案加入到快手多款海外产品的推荐系统后都获得了明显的收益,尤其在视频冷启动阶段有显著效果。

据了解,XYZ不断完善和升级产品矩阵的同时,已开始把目光投向日韩和北美等市场。XYZ旗下几款App用户数量在去年圣诞节和元旦节期间出现了大幅增长,元旦节期间增量达到每天约 60 万到 100 万人。

XYZ 的产品也还在不断迭代,“我们希望针对海外市场去创造属于他们的产品,去提供他们需要的内容,而不是单纯的把中国的东西拷贝出去。” 葛雯说。

No Comments

毛莹莹丨且言三周年:要有一个远见,超越你未见

“我见过太多善变的风景,差不多绝美或冷清,

也去过云上最深的山岭,听见流星燃烧夜空的声音,

后来我不敢太任性,并学会诚实地聆听,

想捕捉每个天真的背影,关进我成年的梦境。”

——刘昊霖《淤青》

杭州的四月里,总会下起雨,不冷不燥。

周年之际,身处疫期特殊的不确定性里,亲历诸事的粗率和芜乱。

得跳过眼下的困顿,沿着从不平坦的方向,回望创业第三年,并着眼当下展望日后之路。

1

The Third Year

回顾创业第三年

漫看去路未遥,很像在脑中回放那跳帧反复而画质斑驳的默片,虽然影像黑白,但其间惬心贵当。

这一年,依然风沙月瘦,羁旅夜车,在深深浅浅里做对了战略坚守和模式验证,也错失了某个机会。

一如此前规划,我们用全部精力聚焦完成战略控制点上的事,即典型案例打造和且言专业方法论持续对外输出。

此规划由我们自身业务特性所决定,因品牌战略咨询不像视觉设计和广告传播类品牌执行外显工作般易被大众感知。

它更面向战略决策,更本质,更隐性,也更长期主义,对专业及合作双方的信任都提出更高要求。

纵然我们每个人心中都有一团火,但路过的人只看到一缕烟,合作前的专业证明和价值确认确实不是件易事。

于是,我们选择困难模式,通过战胜专业对手,满足客户高标要求和创造增量价值来进行早期证明。

没有真正的高手秘籍,就是认清方向后认真把正确的事做好。也没有难做的事,只有不认真做事的人。

于是,在百念之中,一路沉心静气,在某央企上市公司与我们初步接触后,便坚定拒绝诸多潜在客户,同时潜心研究客户业务和行业情况,进而形成战略观点并果断出击。

期间,经历过作为神秘访客进行业务场景体验,与数百亿市值上市公司一把手及高管团队观点交流,与国际一线战略咨询公司正面对刚后,用专业主义赢得认可并开启项目合作。

一路从战略澄清、商业调研、价值主张重构、运营诊断到执行赋能。从对接护航产品研发生产、整合筛选品牌服务商资源、监理营销Campaign创意执行到盘点洽谈销售渠道合作。

值此项目全周期操盘,不分你我,关注价值,在乎所有。

至于模式验证和机会错失,我们已认清正确的样子。

项目之外的客户接洽中,也见识过希望求新求变的组织却眼底枯木,内部透露着无力回天的无所谓。也同情决策者被短期利益和当下KPI绑架、团队被固有流程束缚,且不敢突破认知形态。这几乎是某一类企业普遍的行为模式。

梁永安说:最残酷的记忆,是集体无意识。英雄与大众,互相都是地狱。我们想说:一定关心业务本质,快速构建关键要素,并快速抓住机会。

哪怕错失机会,穿过了暴风雨,你也不再是原来那个人。永远要做自己的英雄,要相信过了垭口,就是平原。

此外,这一年我们仍未作任何推广,一路奔忙,依然向下生长。终于趁疫期,迭代了且言方法论并进行内部专项SOP培训,优化了基础公司介绍材料完善了官网,虽略显任性孤傲,但也算分得清重要紧急,永远把精力花在刀刃上。

一直坚守战略,坚定执行,用长期主义做当下选择,聚焦价值和本质。沿着真心上路,虽缓,确是难得的澄明思虑、清澈不杂。

2

The Next Year

展望今后之路

着眼当下,感慨良多。疫情以来各种密集经历。

不是毁家纾难的大义和逆行而上的担当,而是身边朋友亲人不幸罹难的爱莫能助、亲戚被集中隔离无法探望的担心、友商在恐慌中对我节流停业的劝告、创业前辈在经历SARS后淡定自若的指引、金融行业整顿及关心之人失了自由的惋惜……

无疑,对所有人都是一个巨大的挑战,于我,更多是工作意义和价值存在的思索,因为什么而热爱,因为什么而有成就感,因为什么而存在。

前两天国家统计局 2020 年一季度数据开始刷屏,-6.8%这一数字背后,是国人集体记忆中前所未有的负增长,如何面对如何脱困都是认知盲区。

任泽平说:当前社会的主要矛盾,是人民群众疫情后日益强烈的报复性消费的需求,和口袋里没钱之间的矛盾。

显然,疫情的影响短期内不会消亡,对产业链、对消费市场、对经济增长、对人均收入的影响肯定是非短期且连锁性的,终点在哪,持续多久,一切都是未知的。但长期看,社会发展不会止步不前,历史车轮依然滚滚而过,我们应该看向更远的前方。

于多数企业而言,一直在面对,在承担,在不确定性中做持续选择并审视方向,甚至有些决策透着不输亡命天涯的勇气。企业对市场的动荡和变化,也应有不同作战模式。

着眼当下,虽然基础设施变了,消费需求变了,生产要素、协作模式和有效打法也都跟着变了,但商业的本质没变,消费的本质也没变。

我们要做的能做的就是积极面对,分析变化,优化对策。不要固守己见,也不要为了变而变,要回归本质,抛弃长期流量终将变现的思维、不随意开展无助于积累和放大的营销活动、克制赌徒心态,踏踏实实做战略审视,关注内生性增长逻辑,真诚而有效!

于我们而言,同样需要审视变化,调整策略。做咨询最大的回报就是逼迫你的思想和认知不断升级,清醒知道不要去做跟自身能力模型无关的事。

发现热爱,找到那个令自己无畏的力量源泉,那种无畏不是坦然承担毫无根据的蒙头试错的结果,而是有极大机会成本时,依然敢于相信勇于前行,即使前行可能意味着失去。

在当下,企业顶层思考和模式重构的需求越加迫切,我们也更清楚我们的优势和热爱,聚焦战略、聚焦品牌、聚焦业务逻辑,在核心价值创造上尽绵薄之力。

在这写下今后的重逢,虽言辞贫乏但必然安定妥当。定初心、守初心、太不容易。坚守正确发心,看清专业意义,前行途中就会更有力量。不矜不伐,不忘初心,皓首穷经。

3

Want To Say

最后想说

这个时点回头看,深感每件事的出场顺序太重要了,跟很多人一样,如果换个时间,就会有不同的结局,或许,那些事和人,只能止于唇齿掩于岁月。不忧愁聚散,又何惧放胆。

无论成败,创业都会让我们变强。盯牢想要到达的远方,风雨兼程途经日暮不赏,和必要的丧失平静相处,保住最有价值的那部分,比如品牌,比如信用,比如口碑,比如自己的内心力量。

许倬云说:要以远见超越未见。这句话,或许适合当下。

我们的眼界逐渐放大,人生世相才越显得丰富华严。

看远山如黛,看余生江海。唯愿走出的每一步都义无反顾。

努力不让故事失真,不在乎孤影烛灯。

离散一些,更抱紧一些。

且言,三周岁生日快乐!

No Comments

拼多多“五五折购车” 第一波30台凯迪拉克等车型上线即秒光

5 月 4 日晚上 8 点,拼多多以“五五折”的价格上线凯迪拉克XT5 豪华版、大众途观、大众途昂等首批 30 台上汽集团旗下的品牌车型。官方每台直补最低超过 10 万元,最高超过 15 万元。

活动在当晚准时启动后, 5 台凯迪拉克、 5 台大众途观、 20 台大众途昂, 30 台汽车即刻秒光。

据悉,此次“五五折购车”活动,拼多多与百联汽车除了联合上汽集团旗下最强品牌车型推出针对上海地区用户的定向大额补贴,也以五五折到八折不等的折扣,推出别克英朗、雪佛兰科沃兹、荣威RX5 等三款品牌车型供全国消费者抢购。

据拼多多汽车业务负责人千羽介绍,目前上述车型已经累积售出超过 380 台。截至 5 月 4 日晚上 8 点,雪佛兰已经是第 4 次补货,别克英朗则是第 5 次补货后再度售罄。

拼多多“五五购物节”新闻发言人表示,代表消费者感谢百联汽车等上汽集团旗下各大品牌经销商对这次“五五购物节”汽车秒杀折扣活动的强力支持。

据悉,经过官方补贴,凯迪拉克XT5 28T豪华型从将近 35 万的市场指导价,降到 19 万出头;大众途昂330TSI两驱豪华版,售价 18 万多,而大众途观L330TSI智动豪华版,不到 14 万。享受本轮拼多多“五五折购车”的凯迪拉克等车型,是定向补贴上海地区居民。上海户籍居民,以及在上海缴纳社保并在参加活动时未处于断缴期的居民可参加。

另外,预告显示,拼多多还将在 5 月 5 日晚上 8 点还开设第二轮五五折汽车抢购,届时将再度放出 10 台凯迪拉克、 10 台大众途昂、 5 台大众途观。消费者仍然可以继续通过拼多多App首页的“限时秒杀”或“百亿补贴”频道入口参加活动。

No Comments

外媒:Polestar拟大幅扩展中国门店 大多数将在今年三季度开业

6月2日消息,据国外媒体报道,消息人士称,沃尔沃和吉利共同拥有的高性能电动汽车品牌“极星”(Polestar)计划大幅扩展其在中国的门店。

目前,Polestar在北京有一家门店,它计划再开20家门店,大多数门店将在今年三季度开业。据报道,该公司将首先在上海开设门店,然后再扩展到沿海城市,这些门店将主要开在购物中心。

此前,外媒报道称,到2020年底,Polestar品牌将在全球开设50至60家零售店,其中20家在中国,25家在欧洲,15家在北美。美洲的第一家Polestar零售店将位于蒙特利尔。

去年2月底,Polestar在线上推出Polestar 2。这款车是沃尔沃承诺推出的五款纯电动汽车中的首款电动汽车,是基于CMA平台打造的,将配备一个78千瓦时的电池组,支持150kW快速充电,续航里程约为275英里(约合443公里)。

Polestar 2的首发版售价为5.99万欧元(合6.82万美元),之后其价格将接近4.5万美元,这款车的直接竞争对手是特斯拉旗下面向大众市场的Model 3。

此前,Polestar曾证实,Polestar 2将于2020年在中国投产,面向全球销售。去年12月,沃尔沃表示,这款车已经在中国开始试生产,预计2020年交付。

从今年3月下旬开始,Polestar在其位于浙江省台州市的路桥工厂量产Polestar 2。现在,外媒报道称,该公司计划从今年7月份开始在中国交付这款车。(小狐狸)

No Comments

全能旗舰OPPO Find X2即将发布,ColorOS 7或将深度优化

每年的 2 月份,手机行业中的各品牌都有新品发布,作为全球知名的手机品牌OPPO也递出了邀请函,官宣了新一代旗舰Find系列新品OPPO Find X2 将于 3 月 6 日全球线上发布,其Slogan为“全方位感官觉醒”,消息一出便吸引了行业和用户关注,毕竟Find系列一直以来都凭借其出色的外观设计以及旗舰配置给行业和用户带来极致的感官体验。

OPPO Find系列第一代产品已经深入人心,是颠覆手机形态外观设计的创意经典之作,而对于新品OPPO Find X2,相信很多用户很期待OPPO将会在手机形态上给我们带来什么样的惊喜,除此之外,对于手机搭载的ColorOS系统,关注度也是颇高。

ColorOS7 是OPPO手机目前最新的系统版本,在设计上依旧延续了无边界设计理念,风格轻快,交互轻松,视觉轻盈;而在功能上,全天候暗色模式、区域截屏、闪回键、Breeno、Soloop、密码本、专注模式、UI First等功能也是让人印象深刻。

(ColorOS7 全天候暗色模式)

(ColorOS7 视频编辑器Soloop)

OPPO Find X2 搭载的最新版本的ColorOS7 系统很可能会针对性地进行优化,如在OPPO Find X2 全面屏的交互优化方面,可能会突破现有的交互方式,提升边缘触控功能操作、单手操作功能体验等;配合120HZ的刷新率,达到更为流畅顺滑的体验,手势操作更加符合全面屏的特点,交互更轻松,更具科技感;在主题方面,ColorOS7 或将为突出OPPO Find X2 全面屏视觉体验,或将带来更为贴合OPPO Find X2 的主题,使得在亮屏时能够达到更为浑然一体的视觉享受。

(ColorOS7 全局主题)

作为一款旗舰手机,OPPO Find X2 必将在硬件上带来符合全能旗舰的强大配置,而ColorOS7 带来的软件优化也将成为一大亮点,毕竟一款产品的体验是否优秀,需要软硬结合才能够发挥最大的性能,为消费者带来极致的用户体验。对于OPPO Find X2 将搭载的ColorOS 7,相信在体验上会更符合全面屏的体验,功能也会更为丰富。配合全能旗舰OPPO Find X2,你们期待ColorOS7 带来哪些新功能呢?

No Comments