杂烩饭

好吧,这又是一个

五月 26th, 2015

DT时代变革的反思

  DT一词,翻译过来即数据科技。可以说,这并不是一个新词,但它真正引起我注意的是阿里研究院最近写的一本书《互联网+:从IT到DT》。阿里作为国内IT技术的引领者,其技术定论不可轻易忽视之!

  我们先撇开DT不说,我们先来看一看IT。

  从1936年的图灵机的发明到1945年冯。诺依曼机的出现,这些都是计算机发展的基石,甚至于往后各种大型计算机、小型计算机的诞生,严格意义上来说,这都不是IT.真正IT技术的开始应该是万维网的发明,这标志着信息进入了互联的时代。

  国内互联网技术的发展比国外稍微的晚了那么几年,但其发展势头远不是其他国家能比的,97年的时候只有60万网民,而现在已经超过了6亿,其增长速度可见一斑。

  可以说,如今互联网已经影响到了人们衣食住行甚至是政务等方方面面。

  这是一个IT时代!

  对于这个定论,或许大部分人都不会反对。但是有一天,有人突然对你说:人类正在从IT时代步入到DT时代。

  DT时代,数据科技时代。我们一只脚已经踏入了数据科技时代?为何这么突然?!

  这并不突然,这一切的一切都是那么有预见性!

  DT时代来临——变革在悄然发生

  数据科学家一词,最早是在09年被提出来的。当然,它的提出并不是一个轰动性的事件,甚至可以说还有很多人并不赞成突然出现这一科学分支。

  然而就在几个月前,有人在腾讯科技上发表了一篇文章《数据科学家可能成为2015年最热门职业》,我们暂且不去评论这篇文章的观点是否正确,但是它已经给出了一个信息—数据,已经引起了人们的“警惕”!

  如今,在各大招聘网站,我们可以随意的搜索一下“数据挖掘”,各大公司企业的针对于这个岗位的需求如同雨后春笋般的出现。

  同样,通过各个招聘网站平台等,我们可以发现不断有新的职位名称被创新出来,如数据工程师、数据分析工程师、Hadoop工程师等等。

  数据挖掘工程师这个岗位或许早就有了,那么大数据挖掘工程师呢?一字之差,但蕴含的意义却相隔千里。

  或许有人会说,这些都是从程序猿、攻城狮的角度看到的,这并不能代表宇宙大众的意思。

  好吧,我们换个思路来思考这个问题。不过咱还是接着说招聘,我曾写过一篇关于大数据时代招聘模式的文章,分析了一下招聘网站到底“懂不懂”我们(求职者)需要什么。

  其实答案是显而易见的,我们打开了一个招聘网站,呈现在我们面前的是一个个恰巧是我们想要投递的职位;我们打开一个电影,侧栏显示的是一个个相关的电影,要么恰巧是同类型的,要么恰巧是同一个演员的电影;我们在网上购物,底栏显示的恰巧是你需要的东西。

  好吧,不止如此,我们看文章、搜索问题、网上预约旅行甚至是看新闻,总是会在一些不经意的角落里发现我们刚好需要的信息。好巧!

  这并不是巧合!个性化定制已经体现在我们生活中的方方面面。我们暂且不去考虑这个个性到底有多个性,不可否认的是,与传统的信息展现来对比,它的确是起作用了。

  是的,我们猛然发现:人,作为一个在互联网上主动寻求信息的主体,已经开始变得“被动”起来了。

  曾几何时,信息已经变得如此“主动”。但是,这一切让我们感到又是那么自然。

  究其所因,其背后的数据是“罪魁祸首”。是的,数据把我们“出卖”了!

  我突然想到了前一段时间发生的一个事。出于某种原因的需求,我需要一批小企业、小公司的联系方式。按照我们传统的做法,肯定是找相关领域的人,依赖其关系脉络,拿到这一批联系方式。

  但是我突然发现,我们在相关领域并没有熟识的朋友,或者说即使有,也不可能拿到这么多的联系信息。

  最终,我还是拿到了近3000多个企业邮箱。风过留痕,雁过留声。如今是一个互联网“横行”的时代,只要是个行为实体,总是会在互联网上留下足迹的。我以智联招聘为源头,使用爬虫、网页信息提取、数据分析挖掘等相关技术拿到了这一批数据。

  这次的事让我再一次感叹互联网信息量的浩瀚、伟大。信息技术“沧海桑田”般的快速变迁,十几年积累的底蕴,互联网上蕴含信息就如同一座巨大的金山。“卑微”如斯的人都能从中“窃取”一份小小的财富,那么浩瀚地球中的其他万千大众呢?

  数据竟然已经变得如此有用,数据的影响力竟然强大如斯!这一切的变化是那么的顺其自然,是那么的悄无声息。

  或许,真如马云所言:人类正从IT时代走向DT时代!

  在数据处理需求急剧上升的今天,是什么在支撑着数据的变现?

  DT时代的骨骼——大数据处理平台的衍变

  是的,正是数据处理平台,或者换种说法:一套完整的数据处理流程。

  从数据的采集、清洗、流式实时计算、数据落地。在大多数时候,这一套完整的流程过后(或许会没有流式实时计算),这才真正进入数据的价值挖掘阶段,包括了数据的离线计算,通过一系列的建模挖掘其隐含的商业价值。

  当然,在大数据遍地的今天,数据的收集也好、处理也好、挖掘也好,我们想必也要加一个“大”字了。

  那么,在DT时代来临的今天,能够支撑这一流程得以流通的正是数据平台,或者说是大数据处理平台。

  它将是支撑DT时代来临的骨骼!

  当然,大数据处理平台也不是一开始存在的,它也必然经历着一系列的衍变。才形成今天我们看到的,或这或那的数据平台形式。

  就在不久前,我曾在storm-分布式-IT技术群中发起了一次近千人的话题讨论(当然,实际参与讨论的人远没有这么多,很大一部分人还是喜欢静静的围观的),其核心就是当前互联网公司中大数据平台发展的现状。

  当时的讨论过程很剧烈,汇聚了各个企业公司的大牛小牛、程序猿、设计狮、产品狗,总之各种动物都有,众说纷纭,各有各的观点看法,但总体来说就目前几种大数据平台的形态,大家还是有比较一致的看法的。

  (1)大数据处理平台的终极形态——深度挖掘

  数据已经完美流通,包括了完整的大规模数据采集系统、数据预处理清洗系统、数据流式实时计算系统、大规模数据存储系统、大规模离线计算系统;拥有全面的数据监控调度系统,能够方便地低成本地进行数据流程监控、调度,实时掌握数据的动态变化;拥有完善符合自身业务需求的机器学习算法库,数据挖掘层面,已经进入了数据深层挖掘阶段。

  其中以BAT为代表。在国内,BAT一向是技术的引领者,因此他们在数据价值挖掘这一方面,也确实做到了领先地步。

  (2)其次是大数据平台完善,处于数据浅层挖掘状态

  同样,这种形态的企业公司,数据平台的数据已经完全打通,他们已经在开始尝试挖掘数据的潜在价值,意图达到数据的变现。

  当然,或许是由于技术积累的问题,或许是人力物力的原因,他们并没有能力做深一层的探索、挖掘,但是他们却一直在努力。他们缺少是一套完善的,适合自己的,又能够方便使用的数据挖掘库。

  处于这种形态的公司也不少,诸如CSDN、去哪儿、艺龙等等,他们在个性化的道路上孜孜不倦地探索着。

  (3)数据流通,处于数据统计分析阶段

  这种形态的数据中心,大规模数据处理平台已经基本搭建,数据已经能够流通,处于大规模数据的统计分析阶段。

  这种类型的公司,他们更多倾向于对数据仓库的建立,对大批量数据进行存储、统计并且分析数据的走势以及变化。所以,就Hadoop生态来说,他们可能更倾向于使用Hive之类的技术或者工具。

  处于这种形态的公司是占大多数的,典型如刚组建大数据部门的短短一年时间的360,当然还有很多很多类似的公司,数不胜数。

  他们希望摸清楚自己到底掌握了什么样的数据,这些数据到底是怎么变化的,通过对这些数据的了解以及掌控,他们才能更好做出更合理的商业决策。

  在不久的将来,在他们已经充分掌握了数据的规律,他们也必然会向数据潜在价值挖掘方向努力。

  (4)数据整合,平台搭建阶段

  这种形态下,数据尚未流通,整个体系尚未搭建起来。

  或者说,很多企业公司,在以往的情况下,各个部门产品,其数据都是分开维护的。需要维护多份数据,成本高;数据的利用率低,数据不连通。

  他们意图将数据进行整合,有一套完整的收集、清洗以及落地的流程,因此,他们尤其缺少懂得数据收集、数据清晰以及数据大规模落地的人才。或者,换个更通俗的说法,他们缺少懂得hadoop生态平台的人。

  这种公司也不少,诸如金山的西山居,智能手机界的黑马小米等。

  (5)数据量不够,但然仍意图搭建一个大数据处理平台

  这一部分公司大部分都是小公司,在数据量层面上,他们并没有很急切的需求,去搭建起一套完善的数据处理平台。

  或许是受大数据潮流影响,但是,从长远的角度来看,随着数据量的增长,这也必然是一个趋势。

  所以,他们往往也会花费少量的人力物力,在这一方面上进行技术预研,或者搭建起一个简单的小规模数据处理平台。

  其实,简单来看,这是大数据处理平台的五种不同形态,但这又何尝不是大数据处理平台的一个衍变过程呢?!

  在DT时代来临的今天,你是否清楚自己处于一个什么的位置,将来又将向何处发展变迁?

  只有将骨骼搭建起来了,我们才能、才有资格去谈论如何挖掘数据的潜在价值。

  我们不止需要骨骼来支撑DT这一体系,更需要源源不断的血液来激发它的活力。

  DT时代的血液——数据从何处而来

  是的,前面我们说了很多很多,但一个关键的问题不可忽视:数据从何处而来?

  如果说大数据处理平台是支撑DT的骨骼,那么数据就是DT的血液。那么如何造血就是大家所关注的问题了。

  (1)企业的业务数据

  数据最直接来源就是各个企业公司自己产生的业务数据,或许是某些公司拥有很强的预见性,多年前就已经开始收集自己的数据,也或许是他的无意之举。

  但不管怎么样,他把自己的历史数据给保留了下来。当然,有部分公司,本身产生数据的速度就足够快,数据量也足够多,他们就不必担心这个问题了。

  (2)互联网的隐藏数据

  前不久,有一个朋友在群里问了一个比较复杂问题,是关于数据抓取解析方面的。

  可能是他问的问题太深奥,也可能是恰巧群里大牛都不在,总之就是没有人解决。

  有人就问了:哥们,你研究这个这么深干吗?他回答了一句:抓取数据啊,难道你们研究处理的数据不是从网上抓取的吗?

  这句话让我猛然惊醒:有人已经开始向互联网这座公共金山动手了。

  十几年的底蕴,隐藏了多少数据财富?在DT时代来临的今天,必定会越来越多的人去挖掘它的价值,只不过这需要一定的技术、一定手段而已。

  (3)移动互联网数据的暴涨

  相对于互联网,移动互联网的发展历史并不长,但他的发展可谓是日新月异。

  如今,随着智能手机的普及,3G、4G网络的推广,移动互联网产生的数据正在处于爆炸似得增长。

  同样,这是一座新的数据金山,需要我们去开采它。

  (4)传统以及线下数据的接入整合

  随着总理的一句“互联网+”,传统行业开始纷纷与互联网进行结合,这带来的最直接影响是:线下数据的接入与整合。

  或许有人会说:传统行业能有多少数据。可千万不能小看传统行业的数据,毕竟他们有着近乎数十年,远超于互联网的历史,其累计的数据量亦不可小看。

  随着“互联网+”的进一步发展,线下接入的数据也将是DT时代的血液之一。

  (5)网连万物——万物都可以产生数据

  说道物联网,其实很多年前就有人说他一定会火起来,但是之前却一直没有火起来。究其因,不在乎两个:一是移动网络成本过高;二是终端感应技术尚未发展到这个阶段。

  但如今不一样了,随着3G、4G网络的普及,移动网络成本大幅度下降;智能终端感应技术的快速发展也让物联网这一技术方向不再是概念。

  我们可以看到,众多互联网公司已经开始纷纷布局智能领域了,包括智能家居、智能交通、智慧城市、智能办公等等。

  在DT时代,感应终端也将是一个巨大的数据产生源,一个DT时代造血的源头。

  在DT时代即将来临的今天,不止是数据处理以及数据获取这两个方面值得我们反思,还有其他的方方面面需要我们去思考。

  通过不断的反思,不断的改进,我们做好最充分的准备,迎接DT时代的到来!

  来源:投稿,作者:博客虫,作者公众微信号(博客虫,ID:blogchong),关注最前沿的IT技术,关注最热的IT时讯,分享最蛋碎的工作吐槽!

评论《DT时代变革的反思》的内容…

相关文章:

微博:新浪微博 – 微信公众号:williamlonginfo
月光博客投稿信箱:williamlong.info(at)gmail.com
Created by William Long www.williamlong.info
月光博客[……]Read more

降$26!Cole Haan Emily Mini Shopper 真皮手提包 蓝色 $81.99(到手约¥560)

Cole Haan创建于1928年,以男鞋起家,曾被称为美国最舒适的男鞋,市场定位上偏向奢侈品。在1988年被NIKE收购之后,定位调整为时尚品牌,更倾向于年轻化,兼顾时尚外形和舒适脚感。 这款手提包采用荔枝纹皮革,包身设计简洁,无多余装饰,仅在提手上挂有金属LOGO铭牌流苏坠。顶部磁吸按扣闭合,内部是一个拉链内袋和两个多功能插袋的标配。尺寸为宽9.5寸,高7.5寸,顶部有提手,配有可拆卸肩带。 这款 Cole Haan Emily Mini Shopper 真皮手提包 蓝色 现在6PM售价81.99美元,转运到手约560元。海淘购物可以点击我们的教程作为参考。[……]Read more

降$10!Amazon Fire Phone 智能手机 32GB 无锁版 $179(到手约¥1160)送价值$99一年Prime会员资格

2014年6月,Amazon发布旗下首款智能手机Fire Phone,终于也进入手机硬件市场。配置方面,这款手机配备了高通骁龙800四核心2.2GHz 处理器,Adreno 330 GPU,2GB RAM 和 1300 万像素f/2.0五光学镜片摄像头,支持 LTE、NFC。4.7寸的720P显示屏,双立体扬声器。除了这些常规项目之外,这款手机的特别之处在于屏幕四角有4颗红外镜头,可以判别用户头部位置,实现动态视角3D效果。 软件方面,当然还是采用深度定制的android系统,另外这款手机还提供无限量的网络图片存储服务。还有一个这款手机的重大不同之处在于附带了全新发布的 Firefly功能,可以让消费者通过设备的相机来扫描书籍、DVD、QR 码、网址、游戏等内容,还能借助麦克风来辨认歌曲。在对比数据库确认对象以后,只需直接点击便能一键完成在亚马逊上对应的消费了。所以从软件方面看,这款手机补齐了amazon生态链的最后一环,当然这些功能在国内还能不能用的利索那又是另一回事了。 制式方面,支持移动2G,联通234G,不支持电信。 这款 Amazon Fire Phone 智能手机 32GB 无锁版 现在Amazon售价179美元,转运到手约1160元。现在购买还赠送价值99美元的一年亚马逊Prime会员资格,价值99美元,相当于手机本身只要八十美元了。手机税率约为150-300元。海淘购物可以点击我们的教程作为参考。[……]Read more

一年两度!Ssense 海量奢侈品特卖,低至五折

Ssense是加拿大著名的时尚网站,以经营销售奢侈品品牌著称。网站支持邮寄美国,寄各个州都免消费税,满200美元免运费。也支持直邮国内。最关键的是,这个网站有个神奇的地方,就是包装箱的贴单上写的价格都是实际购买价的10%,所以你知道的,如果购买的价格不超过1000美元,基本上直邮也相当安全。 Ssense一年两度的活动来了,特卖区开放,海量的奢侈品特卖,低至五折。目前刚刚开始,其中特卖包包当然是重点关注的对象。 比较值得关注的品牌如下 3.1 Phillip Lim,基本全场八折,Pashili各种颜色尺码,很多是Ssense专属的。 Alexander Wang王大仁,基本也是全场八折,Marti、Dumbo齐飞。 Chloe,经典款基本都有,八折算一般给力吧。 Valentino,铆钉再铆钉,密集恐惧慎入。 海淘购物可以点击我们的教程作为参考。[……]Read more

Coach Eileen 女士夹脚凉拖 多色 $69.99(到手约¥490)

Coach也是最著名的奢侈品品牌之一,1941年在美国,以精湛的皮革工艺和完美的皮革制品起家。时至今日,Coach以“普通人买得起的奢侈品”作为自己的产品定位,在我们熟知的奢侈品品牌中,价格相对最为亲民,所以也是初涉奢侈品客户的最佳选择。Coach factory既Coach工厂店。 这款凉拖采用真皮鞋面,夹脚款式,宽鞋面,上饰有金属旋钮装饰,整体设计简洁也不失时尚。穿着舒适的人造平底,十分休闲。 这款 Coach Eileen 女士夹脚凉拖 多色 现在6PM售价69.99美元,转运到手约490元。海淘购物可以点击我们的教程作为参考。[……]Read more

Omega欧米茄 Seamaster Planet Ocean 2014索契冬季奥运会限量款 机械腕表 $4095(用码实付$4045,到手约¥25130)国内¥38064

OMEGA瑞士名表品牌。始于1848年,欧米茄在帆船、田径、游泳等世界级赛事中担任标准计时,并且常常赞助欧洲高尔夫球赛,荣获奥运会指定计时器达三十一次之多。欧米茄是第一只也是唯一一只在月球上被佩戴过的手表。欧米茄于1999年推出革命性的同轴擒纵系统机芯,可令机芯长期运作更稳定可靠,被喻为20世纪机械表制表工艺上最杰出的发明之一。 这款腕表型号为522.30.46.21.01.001,属于欧米茄的海洋宇宙系列,是为了纪念2014年索契冬季奥运会而发售的限量款,全球共2014块。 采用欧米茄8500同轴擒纵机芯,动储60小时。黑色表盘,抛光立体镀铑夜光刻度指针,表圈采用红蓝时标,设计独特。表径45.5mm,厚14.5mm,防水600米。作为潜水腕表,在10点位置设有排氦气阀门。 这款 Omega欧米茄 Seamaster Planet Ocean 2014索契冬季奥运会限量款 机械腕表 现在Jomashop售价4095美元,使用优惠码“JOMANEW50”立减50美元,实付4045美元,转运到手约25130元。同款国内万表网售价38064元。海淘购物可以点击我们的教程作为参考。[……]Read more

GNC 352款 热销保健品 $10封顶

GNC中文名称健安喜,全称General Nutrition Center(通用营养中心)。是全球领先的保健品研发和生产企业,在全球拥有5000多家连锁店;500多万个金卡会员。GNC定位于保健品中的高端,同样的产品无论是效果还是价位都要比其他品牌稍高。由于其高定位和知名度,GNC近年来在国内也出现不少假冒伪劣产品,大家购买时请务必谨慎,有条件尽量选择海淘。 GNC现在开展促销,热销保健品 全场10美元封顶,最高9.99美元,参与促销的产品有三百多款,促销截止至5月27日。 GNC官网联手马云爸爸,开通了支付宝支付和shoprunner直邮中国的功能,产品页面上如果有支付宝和shoprunner的标识,就可以支持。在购物车里选择支付宝付款方式,就可以直接付款,以后可以在支付宝查看到运送的物流情况。运费每磅33元,比起自己转运运费差不多,但轻松多了。一般单次购买500元以下也都是免税的。现在使用支付宝付款额外九折,需使用优惠码“ALIPAYGNC”。 GNC产品介绍,欢迎查看我们的GNC畅销保健品 分类介绍。海淘购物可以点击我们的教程作为参考。[……]Read more

降$96!Baume & Mercier名士 10042 卡普兰系列 计时机械腕表 $1299(到手约¥8100)

创立于1830年的瑞士高级钟表品牌——名士,始终秉承创始人“唯美主义,只制造品质上乘腕表”的格言,致力于创造品质卓越且内敛奢华的腕表。如今,品牌的核心系列包括经典永恒的克里顿、隽永刚健的克莱斯麦、精致魅力的灵霓、和谐典雅的汉伯顿以及动感优雅的卡普蓝。 这款手表全部属于Capeland卡普兰系列,采用名士自家改制的ETA7753机芯,具备计时功能,比起经典的7750具备更长的动储和更低的日差。表径42mm。博主已经很努力了,不过确实依然没看出10042和我们之前介绍过的10001区别在哪里。 这款Baume & Mercier名士 10042 卡普兰系列 计时机械腕表现在jomashop的售价是1299美元,到手约8100元,比之前介绍下降了96美元,历史新低。海淘购物可以点击我们的教程作为参考。[……]Read more

Previous Posts