数字化时代,众多企业以数据驱动业务为目标,从数据中发现价值,从而对业务决策带来辅助支持,以数据为中心的企业管理正在成为常态。而BI(商业智能)作为企业发展过程中的数据工具,一直是受到众多企业的青睐。
随着技术的不断演进,BI工具也在不断变化,以满足企业市场的不同需求。在BI发展几十年中,BI工具也愈发成熟,从传统BI走向敏捷BI,再加之AI的智能化能力,BI不再只是一个查看数据报表、优化业务流程的软件工具,而是可以帮助企业提升创新能力,改变工作效率,成为增强核心竞争力的得力助手。
BI技术的快速发展
BI最早是出现在IBM计算机科学家Hans Peter Luhn在1958年撰写的一篇文章中,其中描述了BI的价值和潜力,他将“智能”定义为“对事物相互关系的一种理解能力,并依靠这种能力去指导决策,以达到预期的目标。”
BI是一个将数据变为信息的过程,可以将来自企业中的各个业务系统中的数据,按照一定的规则进行抽取、清洗,然后加载到集中的数据库中,进而完成数据分析和处理以及报表展现,而这些分析和展现的结果将能成为企业决策的重要数据支持。
过去,业务人员要想看到这些展现的数据,都是通过程序员或者DBA手工撰写SQL语句来进行查询,由于业务人员不能直接操作,因此报表数据的查看相当受限制。由此产生了很多报表工具,主要是解决了业务人员在周报、月报等方面的问题,方便业务人员进行查询。但是,由于报表工具大多都是静态的,而很多企业的报表分析都是需要交互分析,于是又出现了IBM Cognos、SAP BO等BI产品。
BI发展至今,已经出现了很多新一代敏捷的BI工具,例如Tableau、QlikView等,以更加易用的分析能力,赋能给业务人员。随着人工智能的快速发展,BI+AI的组合也得到了业界的认可,BI的敏捷加上AI的智能,赋予了企业业务决策支持更多的可能性与准确性。
敏捷化与智能化的相辅相成
永洪科技副总裁&研发部总经理马云在接受51CTO采访时表示,BI的研发方向重点在敏捷和智能化两方面,二者是相辅相成的,并且这一趋势是不可逆转的。马云解释道,过去我们都认为,报表工具是比较难用或者是相对比较专业的,需要有IT背景的人才能使用。但是从商业角度来看,大家需要解决的是商业或者业务问题,业务人员是希望可以降低IT门槛,更加便捷地使用BI工具,从而更快速地响应变化,提升业务价值。
马云强调,敏捷需要做到六点,才能帮助业务人员更好的使用并且得到结果。这六点即:功能强大、简单易用、计算性能高、弹性可扩展、移动端适配展现和自服务功能。过去,将制作报告的能力开放给业务人员后,BI就已经变得很敏捷,但是现在不同了,企业用户还需要自服务查询、自服务的数据准备,而这些敏捷的需求也都来自于客户。于是,永洪科技也会在敏捷方面研发更加丰富的功能,让业务人员都可以成为真正的数据公民。
敏捷BI-技术架构
智能化最理想的状态,是企业提出一个业务问题,系统可以通过企业内部和外部数据的分析得出的结果,然后自动给出答案。马云指出,提出问题的抽象化程度越高,智能化也就越高,而这对BI软件提出了更高的要求。
具体的挑战主要集中在两大方面,一是数据,数据的质量以及数据的一致性尤为关键。由于数据来源于企业中的不同部门以及外部数据,数据的可靠性、可用性就需要得到保障,因为分析是以数据为基础,数据质量差,得到的结果可想而知。二是分析模型本身,由于人提出的问题是抽象的,那就需要系统将抽象的问题翻译成为可执行的计划或者具体可操作的算法,从而才能得出最终的结果。
软件功能与计算能力并重发展
过去用户在做报表时,通常是打开不同的Excel表格,然后在输入查询语句后就等着Excel执行。好的情况是等十几分钟结果出来了,不好的情况通常是重新打开重新输入。可见,报表的数据结果展现需要强大的后台计算能力支持。而这也是马云提到的计算性能高和弹性可扩展能力。
据了解,永洪科技在做研发时也是分为两步走,一是专注于BI软件,研发出BI工具的产品和平台,让企业的大数据分析更加敏捷、快速;另一方面是自研MPP数据集市,采用列存储、分布式计算、内存计算、分布式处理等技术,满足企业实时分析,快速响应业务需求。马云表示,只有高性能计算才能支持用户自助分析的需求和功能的扩展,从而支持BI的敏捷化。
据了解,很多从事BI领域的企业要么使用开源技术要么购买第三方软件,但是永洪科技会选择自研。马云解释道,越是通用化的软件,对于小范围的使用就很难优化,而软件也会愈发笨重,因此永洪科技采用自研底层技术,可以对BI相关的功能开发做到极致地优化,从而帮助企业应对复杂的数据处理需求。
技术瓶颈的逐一突破
在技术的发展过程中,挑战也是相对较大的。例如强大的功能要求和降低用户使用难度其实是矛盾的,计算密集型的AI计算与实时要求较高的BI计算,怎样互不干扰互不影响,同时又可以比较优雅地处理。马云告诉51CTO,“没有最好,只有更好!”这些看似不可能的矛盾体,永洪科技都在逐一突破。
永洪科技副总裁&研发部总经理马云
例如,在AI方面,永洪科技会内置常用的AI算子,覆盖业界常用的数据处理、机器学习算法,用户通过拖拉拽的方式可以直接进行调参和模型;其次,对于高级用户,永洪科技提供类似R语言或者Python的接口,用户可以直接撰写脚本来运行,满足定制化的需求;第三,结合AI能力,新增关键影响因素组件,助力用户发现影响指标的主要因素,为BI场景赋能。
此外,在某种特定场景下,前端渲染会达到上百万个点,如果使用基于开源架构来完成图表绘制,就需要将上百万的数据传输到前台,由前台进行渲染,但这个渲染过程通常会遇到瓶颈,甚至会拖垮前台。而永洪科技会使用后端的引擎,利用分布式或Java服务器的计算能力,在后端直接将图表绘制成功,然后在前台进行展示。虽然图表会有几百万的点,但是很多都是重叠,所以真正交互的点就可能降到几千量级,从而降低了前台渲染的瓶颈。
AI与BI的深度融合
在Gartner对未来3到5年BI产品发展趋势做的预测中可以发现,增强技术、数据故事、机器学习等关键词频繁出现,而永洪科技也是在积极布局BI与AI的深度融合。马云表示,永洪科技将用户分为三类,一是可视化大屏的使用用户;二是相对较重的业务系统,由IT人员制作报告从而提供给业务人员;第三是分析师,他们主要是面对发散性问题,用产品来探索分析结论,并将结论整理成故事和证据来讲述给别人。
马云表示,虽然分析师这类用户还相对较少,但是在企业中会发挥更大的价值。因此,未来,永洪科技也会优化分析师的应用场景,以分布式平台实现高性能计算,支持所有主流深度分析算法,将分析结果的全流程可视化,不断深化AI与BI的融合。
永洪BI
更敏捷、更快速、更强大