有人认为Hadoop正在失败,但Hortonworks总经理Vamsi K. Chemitiganti并不认同。他认为达尔文式的开源生态系统正确保Hadoop成为稳固成熟的技术平台。
为何Hadoop在发展
数字架构让企业能与全球客户持续在线互动,提供跨渠道个性化服务。银行业已涵盖移动App、电子银行、呼叫中心等四到五种服务方式。大数据技术正是为克服RDBMS和EDW的局限而生,应对数据体量扩大与种类膨胀的挑战。Hadoop虽有限制,但此前方法缺陷更多。它是唯一能将挑战化为商业机会的方式。开源社区本质是达尔文式的,专注代码质量与行业应用,没有落后者的位置。
反驳四个假设
采用不再增长:银行业、电信、制造、保险业采用率飞涨。Hortonworks比任何科技创业公司都快实现1亿美元年收入,Cloudera已上市,而EDW供应商收入股价略跌。预计5-7年内出现首家年收入10亿美元的大数据创业公司。
商业价值不明显:这是组织难题,非技术过错。大数据不是存储基础设施,而是在数据上创造业务分析,依赖组织文化与创新。CDO需自问:组织需要什么业务能力?哪些数字转换可通过大数据实现?
PB级才需Hadoop:多数TB级项目租用更大集群。数据湖价值在于跨组织构建,集中后可混合分析。许多玩家用大数据在TB级数据上获得“速度”优势。建议从小开始,将数据湖用作企业登陆区,处理重复计算密集型任务,解放EDW。
人才难找:技术鸿沟确实存在,涉及数据科学家、工程师与Hadoop管理员,但非Hadoop独有。可通过内部培训、系统集成商、学术界合作弥合。
如何启动大数据之旅
以最高级别推进大数据讨论;组建CDO领导团队;建立卓越中心;制定监管与项目监督;让业务线参与,以迭代方式推进。
Hadoop正在失败?不,它正在壮大