互联网创业

【超级神基因】基因帮

| 点击:

【www.xinchenghx.com--互联网创业】

张一鸣:今日头条每天能通过筛选呈现的文章超过15万篇

 

11月17日,今日头条创始人、首席执行官张一鸣在2016年世界互联网大会表示,今日头条是人工智能的先行者,能在4年内成长为一款全民资讯阅读平台的秘密,就是让每一个用户时刻都能看到属于他们自己的资讯头版。

 

并在演讲中透露,目前,今日头条正在推动一个新项目“头条问答”,“传统意义上的问答,基本都是社交模式,存在很多的问题,在我看来这恰恰是人工智能和算法可以解决的”。

 

下为张一鸣演讲全文:

 

一、最早的人工智能+信息平台

 

大家好,刚刚放的片子是我们今日头条一个公益项目“头条寻人”的介绍。给大家看这个片子,是因为头条寻人项目,是我们做精准信息分发的一个特别典型的例子。

 

大家知道,今日头条是一个信息分发平台,我们用个性化推荐引擎,把人和信息更高效的连接起来。具体到寻人,把走失者、寻找者和知情者,这些原本孤立的点都被今日头条连接起来,这是一个典型的连接信息的应用场景。

 

今天在场的各位朋友,肯定对十几年前报纸上的豆腐块《寻人启事》有记忆。那时候,《寻人启事》只能刊登在报纸的夹缝或者不起眼的角落里。为什么呢?因为头版是非常稀缺、非常昂贵的,要留给重大的社会议题。所以,要让寻人启事上头条的办法只有一个,就是把头版的成本降下来。

 

把头版的成本降下来,让每个用户拥有属于他们自己的头版,在传统媒体的时代,是无法实现的,抛开昂贵和稀缺的渠道不说,也没有那么多有经验的媒体编辑。今日头条最终借助于人工智能技术,真正实现了资讯分发的千人千面。让每一个用户,每时每刻,都能看到属于他们自己的资讯头版。

 

这是今日头条能把《寻人启事》从报纸的夹缝里送上头条的秘密所在;也是今日头条在4年内成长为一款全民资讯阅读平台的秘密所在。

 

不谦虚的说,今日头条是人工智能的先行者:作为一款个性化信息推荐引擎产品,我们当然离不开数据挖掘、神经网络、自然语言理解、机器学习这些人工智能技术。可以说,我们是国内最早一批把人工智能结合到移动应用场景上的产品。鉴于头条的累积激活用户,已经达到6亿,今日头条可以说是目前人工智能在实际应用层面,应用最广泛的一款科技产品。

 

总有人跟我说,一鸣,头条这个媒体不错,很懂我。我都很无奈。我觉得,说头条是一家媒体,跟说AlphaGo是一款“围棋教学软件”一样。AlphaGo,是人工智能技术在围棋领域的应用;同样,今日头条,是人工智能在信息分发领域的应用。

 

四年过去了,头条上的内容越来越丰富,图片、视频、直播甚至问答,包括寻人。在今年,我们还成立了专注于人工智能的头条实验室,很多人也开始慢慢理解头条是一家技术公司。从数据上来看,截至2016年10月底,除去累计6亿的激活用户,我们的日活已经超过6600万,月活1.4亿,单用户日均使用时长则超过76分钟,按照第三方数据公司QuestMobile的统计,我们在人均时长上仅次于微信。

 

在今天这个人工智能的时代,我觉得自己还是可以很自信地说一句,我们是把算法、工程、产品、运营这几个方面在应用层面结合得最好的一家公司。我们理解用户需求,懂算法、工程,理解产品并且还能做细致的运营。

 

二、人工智能不止个性化推荐

 

一提到今日头条的人工智能,大家就会想到个性化推荐,但实际上人工智能在头条的应用远不止这些。今日头条是内容的创作以及分发平台,至少有4个环节是跟人工智能的算法非常非常相关。就是创作、分发、讨论,还有一部分可能读者不太会直接看到,就是低劣内容的筛选过滤。

 

1、创作:人工智能直接介入创作

 

可能很多今日头条的用户不知道,今年奥运会的时候他们看到的新闻,或许是一个名叫Xiaomingbot的AI机器人来完成的。

 

在整个奥运会期间,Xiaomingbot写了四百多篇新闻稿,一条稿件的写作时间平均下来大概不到两秒钟。最后AI写的稿子大概有一百多万的阅读,有的阅读率甚至略高于记者的稿件。

 

有媒体对比了今日头条和华盛顿邮报的写稿机器人,发现头条的机器人不但信息量更丰富,能写配图长文,而且文字也更生动有趣。

 

这个AI机器人是我们头条实验室和北大计算机所合作完成的项目,也是国内第一个综合运用了自然语言处理、视觉图形处理和机器学习技术的写稿机器人。此前国外开发的写稿机器人,基本都是写一些简单的资讯,做一个模板,填上数据结果,Xiaomingbot则可以通过获取网上对相关赛事的文字和讨论,总结归纳生成出一篇较长的赛事资讯,并且还能自己选图。

 

其实头条一直在尝试类似写稿机器人这样的项目,我们希望用人工智能来帮助创作者创作更优质的内容。比如,头条号作者写文章的时候,选择一个合适的封面图常常是个难题,我们头条实验室现在做的工作之一就是用人工智能的算法去帮助头条号作者选出更好的图,或者取一个合适的标题。

 

2、分发:人工智能的数据进化

 

去年我去波士顿的时候见到一个哈佛的学生,他问我,为什么自己在哈佛会收到长沙老家的新闻推送?我说你是不是在过去两年春节回家了?他说,是。我告诉他,我们是用了过去两年的日志。机器识别出你在波士顿,但是春节回过长沙,所以会给你推荐长沙的新闻,但不是长沙所有的新闻给他,而是离开长沙的人通常会感兴趣的新闻才会推给他。

 

这个例子其实包含了人工智能在今日头条个性化推荐里的三个关键之处:个性化、泛化和数据积累。

 

首先是个性化,只有用的越久才越好用。这个哈佛学生用了两年,机器对他的了解才更深入,才能知道他是春节回的长沙。其次是泛化,用的人越多效果越好,把一个人的推荐泛化到其他有共同特质的人身上。假如都是长沙本地人用今日头条,那机器不可能知道一个离开长沙的人会喜好什么样的信息,只有用户量达到一定程度,才可能实现个性化推荐。

 

到最后一步,就是越多的人用越长的时间,人工智能的训练样本就会越大,通过数据积累最终实现数据进化,完成精准推送,告诉在哈佛读书的长沙人,这条关于人才的信息你不该错过。

 

现在今日头条可以说正在数据进化的路上,我们拥有800名工程师, 每天150亿条训练样本量,20000台服务器,每日处理数据6.3PB,用户请求60亿次。这是我们实现精准推送的基础。

 

3、讨论:人工智能提升互动

 

说到人工智能在互动中的应用,我可以给大家介绍一个头条的新项目,叫头条问答。

 

传统意义上的问答,基本都是社交模式,存在很多的问题,在我看来这恰恰是人工智能和算法可以解决的。

 

比如,头条上是算法来帮用户找到适合回答问题的人,在同一个问题下,机器会知道怎么样排序能够对不同的用户更友好更合适。算法就可以把类似“长沙人在哈佛读书会不会吃不惯”这样的问题推送到刚刚提到的那位学生的手机上。另外,算法现在还在尝试,在热门事件里自动生成问题,并且插图,对相似问题去重。

 

我们头条实验室负责人李磊博士对这方面颇有研究,今年召开的ACL 2016就收录了他关于问答的一篇论文,主要研究的问题是要解决知识类问答。

 

知识表示和推理是人工智能领域的研究难题,也是最核心的问题,它的研究一般会涉及到深度学习、概率图模型、矩阵分解和稀疏方法、核方法、决策树等。这项研究成果也正在头条问答项目中应用,我们希望对于一些简单的问题和事实类的问题可以通过自动回答的方式去解决,这样就可以节省专家人力。

 

4、低劣内容的智能过滤

 

最后一个,低劣内容的过滤。

 

刚刚说了,我们做的事情是希望增加信息的吞吐量和分发效率,其实增大信息吞吐量最大的瓶颈就是怎么能更快的过滤筛出低劣内容。在此前算法不成熟的情况下,我们有一个小组会和机器一起来进行低质文章的初筛,也就是机器先圈出一个范围,再由人工来完成细致的筛选,今日头条每天能通过筛选呈现的文章超过15万篇。

 

一般来说,一个人一天能够处理的文章数量大概是1000篇,相比之下,机器一秒钟就能处理100篇文章。也就是说,即使只是这十五万篇呈现出来的文章,全部交由人工来筛的话,一个人需要工作一百五十天才能看完,机器则只需要25分钟。

 

可能很多人会觉得,人工审核会比较准,但其实我们内部做过测试,把文章打上不同的标签,让不同的人来判断,这时候就发现,人和人之间的判断差别是很大的,准确率大概是75%,算法的准确率则有87%。

 

更重要的是,相比人工,算法的边际成本可以低到忽略不计,并且算法还能不断学习。我们后来就更新了初筛的算法,现在今日头条上低质文章的初筛已经不再依赖人工,全部由机器完成,当然,初筛之后,我们还有人工抽检等手段去配合机器,让他们变得更聪明。

 

经常看到有人担心机器人会抢走人类的饭碗,我并不这样觉得。机器解放了我们的生产力,从汽车的发明到电脑的出现,是机器让人们从低质、重复的工作中解脱出来,这样人们有机会去做创造性的工作。信息行业也是如此,在人工智能的浪潮下,我们解放了网络编辑,让创作者集中精力更好的创作,这才带来了真正的内容创业的繁荣。

 

三、今日头条希望成为信息分发的基础设施

 

上面讲了很多头条关于人工智能的探索和尝试,大家不难发现,人工智能实际上早已经嵌入了头条的产品基因。

 

对于今日头条来说,人工智能的意义最终是要落到应用层面的,是为了让信息在碎片化的场景中实现最高效的流动。

 

我相信技术没有边界,最近可能有人关注到,我们投资了印度的一家和我们类似的公司,Dailyhunt,是当地最大的信息分发平台。其实,2015年6月今日头条就已经启动国际化,通过Build&Buy的方式在海外扩张,现在在日本、印度、东南亚、北美、巴西,头条都有一些布局。

 

在未来,在人工智能浪潮的推动下,我们希望今日头条能成为全球信息分发的基础设施。

 

谢谢大家。

 

- END -

邦哥的好朋友毒舌科技 l ID:dushekeji

长  按  二  维  码 , 一  键  关  注

 

更多精彩文章:

  • 在星巴克点中杯遭“歧视”,百万网友怒了!罗永浩:别把消费者当傻X!

  • 唏嘘!我们翻出了刘强东8年前的样子

  • 移动互联网已结束?马云、李彦宏等大佬做出以下预言!

  • 贴吧出身,3年收获2900万脑残粉,围绕他的争议从未间断│人物

  • 双11花100万元抢货,预计索赔1000万!王海20年的打假生意竟越做越好

  • 马云把他推入“火坑”,他却创造了双十一!

  • 上哪所中国高校,将来成为富豪的几率更大?

  • 6个月获1000万人追随,估值3000万!这对夫妻如何做到?

  • 胡润80后富豪榜:王思聪60亿未进前十,第一是谁?


DEMO会客室·拥抱人工智能的正确姿势

由创业邦主办的“2017创新中国总决赛暨秋季峰会”于9月6日-7日在杭州举行。2017行业会场-企业服务创业大赛评委:

程鹏,清控银杏合伙人

孔毅,蓝图创新投资管理合伙人

田江川,初心资本创始管理合伙人

王平,KIP韩投伙伴合伙人

张朋,北极光创投合伙人

曾峥,启赋资本合伙人

以下为演讲实录:

    主持人:谢谢几位嘉宾,刚才都提出了各自非常犀利的一些问题,我们今天这样一个专场当中,大家探讨更多的人工智能,我们DemoChina从去年峰会当中,就设置了人工智能专场这样一个活动,而且这也是这两年创投界当中非常热的风向标。接下来我们要探讨这个问题,首先我们来问第一个问题,还有一点是场下来参加活动的各位朋友,我们还会给你们留出时间,今天非常难得,你们可以把你们的问题和我们在场的各位嘉宾进行交流,我们会留出自由提问时间。首先我想听一下今天大家提到的很多,包括从王东晖这边已经提到关于SaaS的问题,SaaS系统现在已经应用到很多弱人工智能的系统当中,强人工智能系统当中,作为SaaS系统会带来哪些变革呢?不知道几位评委对这样的问题,有什么样的见解?

    张朋:应该说我们在看整个行业来讲,人工智能肯定是未来的一个方向,分享一下我们看到人工智能现在的行业发展情况。首先来讲大数据,这个已经很普及了,或者说很多概念已经接受了,处理能力有了,人工智能的算法和方向的研究以及理论都已经验证了。现在关键是人工智能和大数据加起来,怎么在行业中找应用。在这点来讲,从我们在行业上来看到的,在2C级领域中,尤其是金融行业和零售行业,人工智能大数据应用得非常多。在B端来讲,2B服务的人工智能和大数据应用非常少,或者说几乎没看到成功场景的应用。在这个过程里面,从传统机构角度来讲,我们也主要是发掘很多2B行业的人工智能和数据应用的出现,具体说强人工还是弱人工,坦白说这种还没有去区分。

    程鹏:非常谢谢!简单讲一下我们的看法,SaaS在前几年也是特别热的关键词,那个热潮跟后来的AI也差不多。我们是这么看这个问题的,SaaS也好、AI也好,解决的还是信息革命中的一个未来视角,要把没有变成信息化的东西变成信息,没有数据化的东西变成数据化,然后再…17:31:00…在解决怎么用…所以从这个角度来讲,…这是我们的想法。关于弱人工智能和强人工智能,我不太这么去看这件事情。简单地讲下来,弱人工智能和强人工智能对算力要求比较高,对数据量的要求比较大,一定计算本身是能够发生的,放在云上,云+端的结合,包括对端处理能力的强化,……但是有些场景下,有可能是用相对比较弱的氛围和一些比较特定的算法,可以在端上对这些效果做出…我们大概可以从这些角度判断。目前为止,人工智能有一个很有意思的现象,我们从语音的时候开始,…他们做了30年以后终于找到可以做的事情。人工智能技术一直在领先但是大家每次每隔三四年都说我们要找到特别大的…但是现在为止我们看到每次爆发都比上次好一些,但是真正的改变,大家还有相对长时间。

    主持人:是不是对我们的生产应用或者是实际生活能够发生根本性的改变,可能还需要一段时间。

    程鹏:相信会发生改变,但是这个改变的发生也分阶段,有一个很重要的事情是我们用数据去做人工智能做决策,这个决策的成果会反过来影响数据产生的过程和产生的效果,有这样一个演进,这不是走一步的问题,是走很多步的问题。…

    田江川:我们在早期领域关注人工智能比较多的包括教育、医疗、自动驾驶,包括刚才看到的一些项目智能协作的,包括有些创业者做的图象处理的技术。但本身从SaaS领域来讲,因为我们之前也投过一些人工智能的项目,目前我们人工智能项目主要还是集中在包括人工智能客服,这种实际可以提升企业效率,降低企业运营成本的方式。SaaS目前确实像刚才阿米巴的王总有分析到,我们目前看到的很多垂直领域,SaaS本身还没有发展到那个程度,很多SaaS还是在只对传统行业升级改造,这个基础上提供给企业很多多维度的数据分析支撑和辅助的工具,但目前人工智能在实际切入到每个行业SaaS的时候,起到的作用还是相对比较小的,这是我们的观测。反而在刚才说到的这些领域,人工智能在产生比较大的价值。目前的所谓SaaS上有很多人工智能的概念,我们会比较小心,反而很多是比较伪的概念。

    主持人:这个问题在下一轮问题当中要探讨。

    王平:我之前没有听过强人工智能和弱人工智能的说法,我一般会把人工智能分为两套,一套是专家系统,还有一个是神经网络。在20年前已经开始做了,但是20年没有太大的成果,这两年我们看到了一个机会,真正可以找到一些解决方案。我们现在投资的一些领域,在国内和国外,更多的是跟医疗相关的,包括基因计算和医疗图片的识别,一般来说是高清晰的,希望在几分钟内识别,比如1万张图片,能够做切片的分析,或者是做DNA的匹配,这些方面我们看到优势还是很明显的。但是今天我们认为(英文)还是在相当于一个拨号上网的阶段,可能还是在互联网刚起步,二三十年前的状态,所以今天我们对应用没有太高的期盼,只要能够有一点就好了。

    主持人:只要有一点进步就好了我们每年都抱很大的希望,但是实际效果未必如我们所愿,有点进步也代表了一个好的方向。我问一下孔先生,您同意弱人工智能和强人工智能的概念吗?

    孔毅:我觉得定义强和弱,每个人理解不太一样,我不是特别喜欢这种定位。我觉得像张朋讲的,你找到了场景,就找到了创业和投资的机会。我觉得人工智能是让机器跟人结合得更好,我们传统的机器人是在汽车产线上做一些焊接,如果人和机器人可以一起工作,机器人可以做对人的一些规避,有些共同协作,这个机器人就变得智能了。而且随着计算机视觉和计算机传统模型,也让机器人有大脑、眼睛,就是这两个非常好的结合。我们刚刚投了一家,现在还在看一家公司,也是这个领域。所以我觉得机器人跟人工智能会走得比较近,而且我看好这个领域。

    主持人:现在现实有很多企业在逐步实现,刚才你说了很多好处,包括它也不会翘班,也不会偷懒,也不会维权。刚才田江川提到在选择人工智能的时候会特别小心,因为很多的人工智能会存在着伪人工智能的概念,要选择一些真正能够为企业提高效益的方式。其实我不知道这一项到底算不算是真正的人工智能,对一些服务企业类的企业来讲,最近其实在我们单位就传输一种很可怕的消息,据说要给我们每个员工都装上一个叫钉钉的东西,我们觉得非常恐怕,不知道大家算不算人工智能。接下来要承接刚才所说的问题,怎么样判断很多服务类企业所推出的人工智能,到底是真正能够帮助我们解决的人工智能,还是只是一种噱头,还是由田小姐先说。

    田江川:讲到钉钉,其实像钉钉这样的产品,是做了很多用户行为的分析,包括实际员工,包括可以未来给到企业主更多员工信息的反馈,包括哪些员工完成各项工作指标更好,包括哪些员工可能工作效率更高,哪些员工工作质量更好,这些其实更大程度上对我们来说是大数据的一些清晰、整理和用户行为的分析。但本身我们看待所谓的人工智能,还需要有深度学习的概念在里面,刚才说的机器通过人工智能的算法和机器视觉的不停更迭,可以实现更智能的跟人的互动,比如可以分辨产品的颜色,可以知道如果人做了一个本身不属于它生产线操作行为的时候,如何辅助人类的这项行为,这块是我们说的深度学习的范畴。刚才您说的钉钉这样的产品,更多的是数据清晰、数据整理和用户行为分析,这块更多的是整个大数据的范畴,这是我们的认知。

    主持人:我一直把我们刷脸打卡都当作人工智能来处理,反正一切让我们感觉到非常恐怖的事情。其他几位评委,对于目前人工智能大家都很热衷的概念,我们怎么区分真正的人工智能和伪人工智能,你们有没有什么相应的见解?

    程鹏:我讲一点比较浅显的想法,因为我们机构成立将近20年时间,我已经在机构工作了12年时间。我觉得每次好像有新的热潮出来,大家都会拿着讲我可以解决一些什么问题,其实每年要解决的问题都是一样的。所以从这个角度来讲,我觉得至少在AI引起大家注意之前,可以解决的问题肯定不多。包括图象问题、语音问题,单个已经都有发展了,现在只是一种新的模式,可以归到那一类去,但我们经常可以看到各种各样的情况,比如行业应用混合的,有什么都不懂直接给自己贴上标签的,各种情况都有,但是大部分的情况下,一种技术、一种新的思潮,一种新的工具出来以后,首先是全世界的,不是你独有的。第二个是在这上面能够做好的绝对是凤毛麟角,所以不可能一下子出来那么多,昨天还是一堆大数据专家,今天就变成一堆AI的专家,哪有这样的好事情?

    王平:我们对技术的要求更高一点,如果你只是把框架一搭起来往里面塞两个数据,调两个参数就说我是人工智能,这个说实在的太简单了,我业余时间也可以干这个活。如果说你今天是做AI的,至少给我一个基本的理解,你对哪些东西有你的优化角度,如果说只是用一个数据库就可以解决的问题,那么实际上大部分是机器数据可以解决的问题,那都不是什么事,比如指纹识别、面部识别,其实也没有太多AI的东西,只是算法更好一点而已。(英文)解决了很多以前人类没法解决的问题,或者是人类自己还不是很理解的问题,如果你在这方面有一定的探索,至少我会承认,你至少知道你会干什么。

    主持人:在场的各位创业团队的朋友,有没有哪位就人工智能方面愿意跟我们专家进行交流的请举手,非常难得的机会,刚才都是专家向你们提出问题,现在你们甚至可以质疑评委的说话,有没有?

    提问:各位评委老师好,无论说人工智能还是大数据还是硬件,我们把所有的概念全都抛去,因为现在有一个很实际的问题,我刚刚在那边参加医疗的专场,咱们这边是企业服务,原理都是一样的,现在有一点,我们医疗行业为例,现在医院有可能通过我们的公关或者说跟他讲很多方式,他会把数据分享给你,但是很多时候数据不在线,会存在这样的问题。比如我们企业服务,你物流给他做企业服务,很多时候可能信息会分享给你,但是信息分享给你,很多深度挖掘的数据,很多时候是在线的状态。所以我的问题简单来说,怎么样让这些实时在线永远一直在线。我的问题简单一点,怎么样让你的合作伙伴客户数据在线,尤其是医疗行业,不在线没有任何意义。

    王平:我觉得这是一个创业的问题,不是技术问题,我认为有能力的创业者,有各种各样的方法可以获得数据,其实之前也有创业团队来问过我怎么获得医院的数据的问题,我说如果你是一个强力的创业者有各种各样的方法,可以跟医院某一个领导搞个关系,或者说可以联合发一个文,美国过去30年的数据全部在(英文),你不可以访问现在的数据,历史数据都可以访问,这些你只要想办法动脑筋去做,都可以做到。我们对创业者的要求可能更高一点。

    田江川:刚才王总讲得很好,我们接触的实际做医疗领域的创业者,他们获取数据的时候的确有难度,因为医疗数据是相对比较缺的,我们医疗创业者获取数据的方式各种各样,可能有些是跟医院有关系或者是合约,有些是从某个诊室或者是专科切入,给专科提供某一项定制化的服务,获取某一部分的数据。同样的这种方式复制到其他专科和诊室,这种我们见得比较多。包括刚才王总提到的以医学科研这样的方式去获取,我们看到创业者这样获取数据比较多。包括承接医院某一个信息化的服务,通过这块信息化服务之后再提供数据,这块医院方是比较愿意合作的。

    主持人:时间有限,最后请各位评委用一两句话来描述一下人工智能对于企业服务在最近几年有可能带来的最现实的变化您认为是什么。

    孔毅:人工智能,我觉得在C端,因为C端对人工智能的要求还是比较高的,我觉得在工业阶段可能更简单,因为就只是一个肢体或者是一个眼神,所以我更看好人工智能在工业领域的应用。

    王平:我个人是有很多需求的,如果你可以把企业财报和上市公司财报整理干净,自动处理出来,我一眼看到基础数据,或者是可以把ppt做漂亮了一键处理,我觉得最底层的需求是非常充分的,全世界可能有一两百万个秘书,如果可以把他们的活取代了就是很大的价值。

    田江川:可遇见的未来是很多重复性的工种会被取代,比如客服,90%会被取代。如果自动驾驶,很多司机会被取代掉。教育领域和医疗领域,稀缺的教育和医疗资源,会碾压劣质的教育和医疗资源,通过人工智能的方式把最优质的资源给到普罗大众,这是人工智能可以做到的而且是在不久的未来可以做到的事情。

    程鹏:人工智能的发展在未来一段时间一定会伴随着持续的数据化的浪潮继续下去,所以无论是工业领域还是家庭领域,但凡现在大家觉得还没有数字化的地方,有可能是未来一段时间数字化和人工智能同时爆发的地方。

    张朋:人工智能要发展好就要数据多,比如金融领域有一些人工智能案例出来了,是因为积累了足够多的数据,如果行业里的数据少,我都不信是人工智能,一定是数据处理足够过,数据处理慢慢起来的过程中,原来发展比较差的有一些机会就出来了。

    主持人:谢谢几位投资者,也谢谢几位帮我们指明了你们所遇见的人工智能可实现的未来,让大家找到人工智能的风口,起码提供了这方面的借鉴,谢谢!

本文来源:http://www.xinchenghx.com/hulianwangchuangye/254881/