八、大数据应用
第1关:大数据在各领域的应用
任务描述
本关任务:根据相关知识内容完成右边选择题。
相关知识
为了完成本关任务,你需要掌握:
1.大数据在互联网领域的应用;
2.大数据在生物医学领域的应用;
3.大数据在物流领域的应用;
4.大数据在城市管理领域的应用;
5.大数据在金融领域的应用;
6.大数据在汽车领域的应用;
7.大数据在零售领域的应用;
8.大数据在餐饮领域的应用;
9.大数据在电信领域的应用;
10.大数据在能源领域的应用;
11.大数据在体育和娱乐领域的应用;
12.大数据在安全领域的应用;
13.大数据在政府领域的应用;
14.大数据在日常生活中的应用。
大数据在互联网领域的应用
推荐系统
互联网的飞速发展使我们进入了信息过载的时代,搜索引擎可以帮助我们查找内容,但只能解决明确的需求。
为了让用户从海量信息中高效地获得自己所需的信息,推荐系统应运而生。推荐系统是大数据在互联网领域的典型应用,它可以通过分析用户的历史记录来了解用户的喜好,从而主动为用户推荐其感兴趣的信息,满足用户的个性化推荐需求。
推荐系统是自动联系用户和物品的一种工具,和搜索引擎相比,推荐系统通过研究用户的兴趣偏好,进行个性化计算。推荐系统可发现用户的兴趣点,帮助用户从海量信息中去发掘自己潜在的需求。
长尾系统
推荐系统可以创造全新的商业和经济模式,帮助实现长尾商品的销售。
“长尾”概念于 2004 年提出,用来描述以亚马逊为代表的电子商务网站的商业和经济模式。
电子商务网站销售种类繁多,虽然绝大多数商品都不热门,但这些不热门的商品总数量极其庞大,所累计的总销售额将是一个可观的数字,也许会超过热门商品所带来的销售额。
因此,可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额。这需要通过个性化推荐来实现。
热门推荐是常用的推荐方式,广泛应用于各类网站中,如热门排行榜。但热门推荐的主要缺陷在于推荐的范围有限,所推荐的内容在一定时期内也相对固定。无法实现长尾商品的推荐。
个性化推荐可通过推荐系统来实现。推荐系统通过发掘用户的行为记录,找到用户的个性化需求,发现用户潜在的消费倾向,从而将长尾商品准确地推荐给需要它的用户,进而提升销量,实现用户与商家的双赢。
推荐方法:
推荐系统的本质是建立用户与物品的联系,根据推荐算法的不同,推荐方法包括如下几类:
(1)专家推荐:人工推荐,由资深的专业人士来进行物品的筛选和推荐,需要较多的人力成本。
(2)基于统计的推荐:基于统计信息的推荐(如热门推荐),易于实现,但对用户个性化偏好的描述能力较弱。
(3)基于内容的推荐:通过机器学习的方法去描述内容的特征,并基于内容的特征来发现与之相似的内容。
(4)协同过滤推荐:应用最早和最为成功的推荐方法之一,利用与目标用户相似的用户已有的商品评价信息,来预测目标用户对特定商品的喜好程度。
(5)混合推荐:结合多种推荐算法来提升推荐效果。
推荐系统基本架构,如下图所示:
推荐系统基本架构
推荐系统的应用:
目前推荐系统已广泛应用于电子商务、在线视频、在线音乐、社交网络等各类网站和应用中。
如亚马逊网站利用用户的浏览历史记录来为用户推荐商品,推荐的主要是用户未浏览过,但可能感兴趣、有潜在购买可能性的商品。
推荐系统在在线音乐应用中也逐渐发挥作用。音乐相比于电影数量更为庞大,个人口味偏向也更为明显,仅依靠热门推荐是远远不够的。
虾米音乐网根据用户的音乐收藏记录来分析用户的音乐偏好,以进行推荐。例如,推荐同一风格的歌曲,或是推荐同一歌手的其他歌曲。
大数据在生物医学领域的应用
如谷歌流行病预测,从谷歌流感趋势看大数据的应用价值“谷歌流感趋势”,通过跟踪搜索词相关数据来判断全美地区的流感情况。
智慧医疗的应用可以促进优质医疗资源,避免患者重复检查,促进医疗智能化。
生物信息学
生物信息学是研究生物信息的采集、处理、存储、传播、分析和解释等方面的学科,也是随着生命科学和计算机科学的迅猛发展、生命科学和计算机科学相结合形成的一门新学科,它通过综合利用生物学、计算机科学和信息技术,揭示大量而复杂的生物数据所蕴含的生物学奥秘。
和互联网数据相比,生物信息学领域的数据更是典型的大数据。
生物大数据使得我们可以利用先进的数据科学知识,更加深入地了解生物学过程、作物表型、疾病致病基因等。
用大数据分析技术,可以从个人健康档案中有效预测个人健康趋势,并为其提供疾病预防建议,达到“治未病”的目的。
大数据在物流领域的应用
智能物流
智能物流, 又称智慧物流,是利用集成智能化技术,使物流系统能模仿人的智能,具有思维、感知、学习、推理判断呾自行解决物流中某些问题的能力,从而实现物流资源优化调度呾有效配置、物流系统效率提升的现代化物流管理模式。
智能物流的作用:
(1)提高物流的信息化和智能化水平
(2)降低物流成本和提高物流效率
(3)提高物流活动的一体化
智能物流应用:
国内许多城市都在围绕智慧港口、多式联运、冷链物流、城市配送等方面,着力推进物联网在大型物流企业、大型物流园区的系统级应用。
还可以将射频标签识别技术、定位技术、自动化技术以及相关的软件信息技术,集成到生产及物流信息系统领域,探索利用物联网技术实现物流环节的全流程管理模式,开发面向物流行业的公共信息服务平台,优化物流系统的配送中心网络布局,集成分布式仓储管理及流通渠道建设,最大限度地减少物流环节、简化物流过程,提高物流系统的快速反应能力。
此外,还可以进行跨领域信息资源整合,建设基于卫星定位、视频监控、数据分析等技术的大型综合性公共物流服务平台,发展供应链物流管理。
在物流领域有两个著名的理论——“黑大陆说”和“物流冰山说”,这两个理论都旨在说明物流活动的模糊性和巨大潜力,发现隐藏在海量数据背后的有价值的信息,是大数据的重要商业价值。大数据是打开物流领域这块神秘的“黑大陆”的一把金钥匙,大数据将推动物流行业从粗放式服务到个性化服务的转变,颠覆整个物流行业的商业模式。
中国智能物流骨干网--菜鸟
中国智能物流骨干网,又名“菜鸟”,菜鸟网络计划在 5 到 8 年内,打造一个全国性的超级物流网。这个网络能在 24 小旪内将货物运抵国内任何地区,能支撑日均 300 亿元(年度约 10 万亿元)的巨量网络零售额。
阿里物流体系:
天网:天猫牵头负责与各大物流快递公司对接的数据平台。
地网:即“菜鸟”,又称“中国智能物流骨干网(CSN)”。
大数据在城市管理领域的应用
1、智能交通
智能交通将先进的信息技术、数据通信传输技术、电子传感技术、控制技术以及计算机技术等,有效集成并运用于整个地面交通管理,同时可以利用城市实时交通信息、社交网络和天气数据来优化最新的交通情况。如下图所示:
2、环保监测
(1)森林监视
(2)环境保护
大数据已经被广泛应用于污染监测领域,借助大数据技术,采集各项环境质量指标信息,集成整合到数据中心进行数据分析,并把分析结果用于指导下一步环境治理方案的制定,可以有效提升环境整治的效果。
3、城市规划
利用地理数据可以研究全国城市扩张模拟、城市建成区识别。
利用公交 IC 卡数据,可以开展城市居民通勤分析、职住分析、人的行为分析、人的识别、重大事件影响分析、规划项目实施评估分析等。
利用移动手机通话数据,可以研究城市联系、居民属性、活动关系及其对城市交通的影响。
利用社交网络数据,可以研究城市功能分区、城市网络活动与等级、城市社会网络体系等。利用出租车定位数据,可以开展城市交通研究。
利用搜房网的住房销售和出租数据,同时结合网络爬虫获取的居民住房地理位置和周边设施条件数据,就可以评价一个城区的住房分布和质量情况。
4、安防领域
中国的很多城市都在开展平安城市建设,在城市的各个角落密布成千上万个摄像头,7×24小时不间断采集各个位置的视频监控数据,数据量之大,超乎想象。除了视频监控数据,安防领域还包含大量其他类型的数据,包括结构化、半结构化和非结构化数据。
5、疫情防控
面对 2020 年一开年这场新冠肺炎疫情,数据驱动的精准防控已经成为战“疫”的强有力武器。大数据、云计算、人工智能等新一代信息通信技术加速与交通、医疗、教育等领域深度融合,为防疫赋能,让疫情防控的组织和执行更加高效。
在复旦大学管理学院教授黄丽华看来,基于前期的积累,包括技术储备、大数据资源、大数据分析模型等,大数据在全程、全链、全覆盖的防控疫情方面发挥了很大作用。
黄丽华认为,大数据在此次疫情防控中发挥的作用可分为五大类。
(1)第一个场景 :助力地方政府科学决策和精准施策。运用大数据分析,结合算法模型对疫情的传播速度、传播趋势等进行科学预测,可为各地进行动态监测管理、统筹医疗物资储备、保障民生物资供应、制定交通管制政策等提供有效依据。例如,基于疫情的严重程度以及影响状况来提供相应的资源分配以及援助,能够更精确更有效地做到疫情期间相对紧张的资源利用与合理分配。
(2)第二个场景:赋能基层社区精准高效防控。社区生活圈就是防疫圈,大数据应用更为直观地体现了辖区内的防疫现状。
(3)第三个场景:赋能公共服务部门全链科学防控。由于新冠病毒的强传染性,掌握传染源的传播途径,切断传播链条是防控中的重要环节。
(4)第四个场景:赋能居民自主防疫和主动防控。日常生活中,居民通过手机就能接触到海量的医学、交通等方面的信息,可以主动查询同车、同航班、同小区、同城的疫情数据,采取有效的自主防疫措施。通过手机这一接地气的方式,把大数据分析的结果通过可视化、自主服务的方式传递到几乎每一个居民,真正做到了全民防疫的有效动员。
(5)第五个场景:赋能防疫物资调配机构高效运营。在抗击新冠病毒的战疫中,物资保障是关键。运用大数据、人工智能、云计算等数字技术的防疫物资采购调配平台,可以实现疫情期间不聚集、全天候开展交易、稀缺医用物资及时采购分配。从招标、采购、配送、使用、结算、支付全流程记录,监管有序、阳光透明。
大数据在金融领域的应用
1、高频交易
高频交易(High-Frequency Trading,HFT)是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易,比如,某种证券买入价和卖出价差价的微小变化,或者某只股票在不同交易所之间的微小价差。为了从高频交易中获得更高的利润,一些金融机构开始引入大数据技术来决定交易。
2、市场情绪分析
市场情绪分析是交易者在日常交易工作中不可或缺的一环,根据市场情绪分析、技术分析和基本面分析,可以帮助交易者做出更好的决策。大数据技术在市场情绪分析中大有用武之地。
3、信贷风险分析
大数据分析技术已经能够为企业信贷风险分析助一臂之力。通过收集和分析大量中小微企业用户日常交易行为的数据,判断其业务范畴、经营状况、信用状况、用户定位、资金需求和行业发展趋势,解决由于其财务制度的不健全而无法真正了解其真实经营状况的难题,让金融机构放贷有信心、管理有保障。
4、大数据征信
大数据征信就是利用信息技术优势,将不同信贷机构、消费场景、支离破碎的海量数据整合起来,经过数据清洗、模型分析、校验等一系列流程后,加工融合成真正有用的信息。
大数据在汽车领域的应用
为了实现无人驾驶的功能,谷歌无人驾驶汽车上配备了大量传感器,包括雷达、车道保持系统、激光测距系统、红外摄像头、立体视觉、GPS 导航系统、车轮角度编码器等,这些传感器每秒产生 1GB 数据,每年产生的数据量将达到约 2PB。
大数据分析技术将帮助无人驾驶系统做出更加智能的驾驶动作决策,比人类驾车更加安全、舒适、节能、环保。
大数据在零售领域的应用
1、发现关联购买行为
这是个经典的商场数据分析案例。在上世纪 90 年代,美国沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中。
在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。
“啤酒与尿布”故事的依据是商品之间的相关性(也称关联性,英文名称为 association rule),商品相关性是指商品在卖场中不是孤立的,不同商品在销售中会形成相互影响关系(也称关联关系),比如“啤酒与尿布” 故事中,尿布会影响啤酒的销量。在卖场中商品之间的关联关系比比皆是,比如咖啡的销量会影响到咖啡伴侣、方糖的销售量,牛奶的销量会影响面包的销售量等等。
2、客户群体细分
2012 年 2 月 16 日,《纽约时报》刊登了 Charles Duhigg 撰写的一篇题为《这些公司是如何知道您的秘密的》(How Companies Learn Your Secrets)的报道。文中介绍了这样一个故事:
一天,一位男性顾客怒气冲冲地来到一家折扣连锁店 Target(中文常译作“塔吉特”,为仅次于沃尔玛的全美第二大零售商),向经理投诉,因为该店竟然给他还在读高中的的女儿,邮寄婴儿服装和孕妇服装的优惠券。但随后,这位父亲与女儿进一步沟通发现,自己女儿真的已经怀孕了。
事实上,每位顾客初次到 Target 刷卡消费时,都会自动获得一个唯一顾客识别编号(ID)。以后,顾客再次光临 Target 消费时,计算机系统就会自动记录顾客购买的商品、时间等信息。再加上从其它管道取得的统计资料,Target 便能形成一个庞大数据库,运用于分析顾客的喜好与需求。
3、供应链管理
亚马逊、联合包裹快递(UPS)、沃尔玛等先行者已经开始享受大数据带来的成果,大数据可以帮助它们更好地掌控供应链。
美国最大的医药贸易商 McKesson 公司,对大数据的应用也已经远远领先于大多数企业。该公司运用先进的运营系统,可以对每天 200 万个订单进行全程跟踪分析,并且监督超过 80 亿美元的存货。
大数据在餐饮领域的应用
Food Genius 是一家总部位于美国芝加哥的公司,聚合了来自美国全国各地餐馆的菜单数据,对超过 350000 家餐馆的菜单项目进行跟踪,以帮助餐馆更好地确定价格、食品和营销的趋势。这些数据可以帮助餐馆获得商机,并判断哪些菜可能获得成功,从而减少菜单变化所带来的不确定性。
Avero 餐饮软件公司则通过对餐饮企业内部运营数据进行分析,帮助企业提高运营效率,如制定什么样的战略可以提高销量、在哪个时间段开展促销活动效果最好等。
餐饮 O2O(Online To Offline)模式是指无缝整合线上线下资源,形成以数据驱动的 O2O 闭环运营模式。
(1)大数据驱动的团购模式
(2)利用大数据为用户推荐消费内容
(3)利用大数据调整线下门店布局
(4)利用大数据控制店内人流量
大数据在电信领域的应用
预测客户行为,发现行为趋势,并找出公司服务过程中存在缺陷的环节,从而帮助公司及时采取措施保留客户。其电信客户离网分析,如下图所示:
大数据在能源领域的应用
智能电网的发展,离不开大数据技术的发展和应用,大数据技术是组成整个智能电网的技术基石。
能源大数据目前主要应用于是由天然气全产业链、智能电网和风电行业等,利用大数据特点提高能源企业效益,并更好的服务用户。有了能源大数据的加持,企业可以优化库存,合理调配能源供给,实时进行数据分析,提高生产效率。
大数据在体育和娱乐领域的应用
1、训练球队
大数据可以有效帮助一支球队进一步提升整体实力和水平。如下图所示:
2014 年巴西世界杯决赛中德国队队长拉姆的技术数据
从全球范围来看,体育分析主要在竞技水平提升、运动伤病预防以及数字娱乐三大方向发力。竞技水平、数字娱乐是国内两大主流应用趋势纳米体育数据,可以提供足球、篮球、网球、电竞、橄榄球等赛事包括比赛实时数据、历史分析数据、世界主流指数公司即时指数、动画直播、资料库等赛事数据服务。数据覆盖各级别联赛、杯赛、友谊赛。球员数据维度细化到能力评分、技术特点、擅长位置;单场比赛跑动距离、传球数、传球成功、过人、拦截、射门等。全面的球队数据,覆盖到场馆教练、球员转会、荣誉、伤停信息;单场比赛的角球、任意球、点球、犯规、越位、红黄牌、控球时间、传球次数、进攻次数等。及赛事积分榜、射手榜、助攻榜等数据信息。
2、投拍影视作品
曾经火爆全球、使网飞一战成名的《纸牌屋》就是一部充分利用大数据的作品。
据媒体报道,《纸牌屋》所使用的数据库包含了 3000 万用户的收视选择、400 万条评论、300 万次主题搜索、评论、暂停、回放、快进等动作信息,用户评分、用户搜索数据、演员导演喜爱程度,电视节目收看行为,剧集播放设置、剧情导向选择,剧播放时间等...
其海量的用户数据积累和分析,为制作方决策提供了精准的依据。
3、预测比赛结果
大数据可以预测比赛结果却是具有一定的科学根据的,它用数据来说话,通过对海量相关数据进行综合分析,得出一个预测判断。本质上而言,大数据预测就是基于大数据和预测模型去预测未来某件事情的概率,利用大数据预测比赛结果,将对人们生活产生深刻的影响。
大数据在安全领域的应用
1、大数据与国家安全
近年来最出名的大数据安全问题是 2014 年的棱镜门事件。
2014 年 6 月,前 CIA 职员斯诺登将两份绝密资料交给英国《卫报》和美国《华盛顿邮报》,并告知媒体何时发表。5 日,《卫报》发表文章称美国国家安全局“棱镜”秘密项目,要求电信巨头威瑞森公司必须每天上交数百万用户的通话记录。6 日《华盛顿邮报》披露,过去六年间,美国国家安全局和联邦调查局通过进入微软、谷歌、苹果、雅虎等九大巨头网络的服务器,监控美国公民的电子邮件,聊天记录等秘密资料。美国舆论随之哗然。
2、应用大数据技术防御网络攻击
云计算和大数据的出现,为网络安全产品带来了深刻的变革。今天,基于云计算和大数据技术的云杀毒软件,已经广泛应用于企业信息安全保护。
云杀毒通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,传送到云端,利用先进的云计算基础设施和大数据技术进行自动分析和处理,能及时发现未知病毒代码、未知威胁、0day 漏洞等恶意攻击,再把病毒和木马的解决方案分发到每一个客户端。
3、警察应用大数据工具预防犯罪
大城市不仅仅是人类高度繁华的文化的体现,在其光鲜亮丽的背面,它也是滋养罪恶的温床,大城市存在着大量的犯罪事件,其犯罪事件远高于其他区域。因此,大城市的警察部门极其的盼望能够更好的理解和预测犯罪事件,从而预防和避免犯罪事件给人们带来的伤害,芝加哥警方就试图通过数据分析来解决这一问题。
芝加哥警方首先基于芝加哥的城市网站构建了其分析的数据集,这里存放了芝加哥近十年来所有的犯罪记录。这些数据详细记录着犯罪的信息,包括详细的犯罪记录,犯罪时间、地点,处理信息和处罚信息等,并基于分析的需要进行了相应的整理,以便进行更进一步的分析。
借助 JMP 的卓越的探索性分析功能,芝加哥警方对这些数据进行了大量的分析工作,例如,去探索犯罪行为同犯罪地点之间的行为模式,基于时间节点的犯罪类型分析等。基于上述的数据分析,芝加哥警方开展了大量的预防犯罪的工作,从而大大减少了犯罪事件的发生,减低了犯罪带来的危害。
大数据在政府领域的应用
大数据分别帮助奥巴马和特朗普获得美国总统大选胜利。
2012 年,奥巴马阵营在激烈的竞选竞争中,充分运用大数据进行深度分析如何募款、在哪里举行选举活动、如何打广告等举措,令对手无从招架。以电邮小组为例,在选战过程中,奥巴马的 18 人电邮小组测试了一万多种不同版本的电邮讯息。甚至,他们针对单一电邮,发出 18 个不同版本的邮件,每个版本都附上不同的主旨,以测试哪一种最有效。结果最成功的标题是“对手经费快超前了”,总共募到 2673278 美元;表现最差的是“民调说中了一件事……”,只募得 403603 美元。此外,几百名数据高手和数据分析专家组成的团队还从募款到现场作战方式到民调分析等全方面出击,打得共和党候选人溃不成军。
2016 年 11 月的美国总统选举结果震惊世界。原本在几乎所有民调中都不被看好的共和党总统候选人唐纳德·特朗普后来居上,在选举人团选票方面以较大优势胜出,而成为美国第四十五任总统。事后复盘,善用社交媒体被认为是特朗普胜选的秘密武器之一。
大数据在日常生活中的应用
在信息化社会,我们每个人的一言一行都会留下以数据形式存在的轨迹,这些分散在各个角落的数据,记录了我们的通话、聊天、邮件、购物、出行、住宿以及生理指标等各种信息,构成了与每个人相关联的“个人大数据”。
分析个人大数据就可以深刻了解与之关联的自然人,了解他的各种生活行为习惯,了解了个人的生活行为模式,一些公司就可以为个人提供更加周到的服务。
编程要求
根据相关知识完成右侧选择题
有任何问题都可以随时关注私信!