一个窨井盖坏了
多久能被工作人员发现？
在上海浦东
只需要几分钟
这离不开物联网设备提供的
实时数据支持
IDC预测到2025年
全球物联网设备数量
将达到416亿台
如何存储、利用这些
实时产生的流数据
成为一个亟待解决的问题
美剧《上载新生》大开“脑洞”，对未来数字化生活“狠狠”进行了一番畅想，人工智能提醒你买菠菜补铁，虚拟交警借助无人机飞到违章车主面前罚款……如果将迈向新阶段的数字化生活比作向目的地高速行驶的汽车，那么数据就是提供源动力的燃料。
如今，“燃料”的供应来源正在扩大。数据的创建、使用和存储位置不再局限于传统的数据中心，也不再仅限于云端。数据源源不断地从各种来源和位置流式传输而来，包括通过无线和移动方式传送的数据。
随着边缘的数据量呈指数级增长，如同水龙头里的水，流数据哗哗地流出，5G网络的兴起，更是为流数据打开了流量“阀门”。容器云、高性能存储硬件水平的不断提高，让实时流处理拥有越来越广泛的市场前景。
流数据，简言之，是指没有明确定义开始或结束的连续数据流。比如，我们看的“下饭”综艺属于视频流、上下班听的音乐属于音频流。流数据的来源包括日常生活中的移动应用程序、安全摄像头、无人机等边缘设备。
这些来源丰富的流数据呈现出以下特点：
1、数据实时到达；
2、数据规模宏大且不能预知其最大值；
3、数据到达次序独立，不受应用系统所控制；
4、数据一经处理，除非特意保存，否则不能被再次取出处理，或者再次提取数据代价昂贵。
流数据的这些特点，令企业开始重新审视应用程序以及基础架构的部署。加之，数字化时代，用户需要沉浸式、实时的数字体验和互动，流数据处理解决方案面临着诸多需求。
一方面，传统的批处理数据引擎已经完全无法满足现代企业对实时性的要求；另一方面，现有的流数据系统大都基于消息模型，例如Kafka、Spark等，这些系统从本质上看，仅仅只是一些高速消息系统，因此很难适应当今物联网趋势下的各种复杂数据处理需求。
为了满足层出不穷的实时应用场景，同时降低大数据应用平台的投入，戴尔易安信流数据处理平台（Streaming Data Platform,SDP）应运而生。作为一个可弹性扩展的平台，SDP用于实时获取、存储和分析连续的流数据，可在同一个应用程序中同时处理实时和收集的历史数据。
该平台可以从各种来源捕获和存储流数据，这些来源包括物联网设备、网络日志、工业自动化、财务数据、实时视频、社交媒体源、应用程序和事件流。SDP能够处理来自多个来源的数百万个数据流，并确保低延迟和高可用性。
在今年的戴尔科技集团全球峰会，升级后的戴尔易安信流数据平台全新亮相。新的SDP能够在边缘提供强大的实时分析能力。同时占用空间较小，非常适合在边缘实时捕获、存储和分析流数据。
目前，戴尔易安信流数据平台已经在工业制造、建筑等行业得到实际应用，为客户业务提供预防性维护、检测等服务，并参与到戴尔科技为中国赛艇队、皮划艇队开发的综合智能训练辅助系统中，提供边缘流数据处理解决方案。
而SDP的成功落地离不开其“得力干将”——流数据存储引擎Pravega。
“Good Speed”是如何实现的
Pravega在梵语中意为“Good Speed”，其设计宗旨是成为流的实时存储解决方案。作为平台内的自研开源组件，Pravega是戴尔易安信流数据平台最基础的组件，承担着为所有其它组件提供流式数据存取服务的重任。
应用程序将数据持久化存储到Pravega中，Pravega的Stream可以有无限制的数量并且持久化存储任意长时间，使用同样的Reader API提供尾读(tail read)和追赶读(catch-up read)功能，能够有效满足两种处理方式的统一。
Kafka和Pulsar等消息中间件提供了非常适合当今数据密集型应用程序的现代Pub/Su基础架构。Pravega进一步增强了这种流行的编程模型，提供了云原生流媒体基础设施，并解决了令Kafka和Pulsar束手无策的架构问题，如分区的自动扩展、如何为大量分区保持高性能。
Pravega采取了存储分层的设计：
Tier 1存储
Tier1的存储通常部署在Pravega集群内部，主要是提供对低延迟，短期的热数据的存储。在每个Segment Store结点都有Cache以加快数据读取速率，Pravega使用Apache Bookeeper来保证低延迟的日志存储服务。
Long-term存储
Long-term的存储通常部署在Pravega集群外部，主要是提供对流数据的长期存储，即冷数据的存储。不仅支持HDFS、NFS，还会支持企业级的存储如戴尔易安信Isilon、ECS等产品。
存储分层使Pravega在延迟与吞吐量之间达到了一个最佳状态。这使得Pravega成为向实时和批处理（分析）应用程序提供数据的理想存储基础。并且，Pravega是以Kubernetes Operator来对集群各组件进行有状态的应用部署，这可以使得应用的弹性伸缩更为灵活方便。
Pravega解决了使用传统消息队列数据丢失问题和自动伸缩难题，客户可以借助其降低存储和计算成本，减小运维压力，提高代码开发效率。此前，Pravega还联合TiDB构建了实时数据仓方案，提高了实时数仓系统的并行性，可用性与安全性。
丰富的应用场景，令Pravega拥有广阔的空间大施拳脚。下面我们跟随戴尔易安信流数据平台产品营销经理Amy Tenanes的介绍，一起来了解下它是如何为企业降低运营成本、提供实时洞察力和流程优化的。
Pravega的典型应用场景
游乐园设施的预防性维护
通过使用Pravega，客户可以从游乐园过山车沿线的数千个传感器中，获取实时流数据。这些数据可用于识别关键点，比如过山车上轨道上有多少辆车，这些车在某一点经过时传感器每秒经历多少次振动。
假设一个正常的振动读数是每秒3000次，当振动读数过高时，Pravega可以提醒维护技术人员某个特定的游乐设施需要维护。同样的数据可以在以后使用完全相同的工具进行访问，有助于客户在更长的时间段内进行比较，总结出趋势，以预测故障或确定维修需求。
不仅是过山车，汽车行业同样也可以用到Pravega。它能够为油温、轮胎压力表等设置阈值，在轮胎漏气、发动机状况不佳等问题进一步恶化前，提醒客户进行预防性维护。
工业物联网中的异常检测
在制造业环境中，异常检测对节省时间、资源和开支极为重要。借助安置在生产线上的物联网传感器和摄像头，Pravega可以捕获图像和数据，比如传送带的速度和温度。
摄像机图像可以自动发现不符合规格的零部件或产品，然后发出警报，提醒哪里存在异常现象。利用来自传感器的数据，客户很容易发现机器的环境温度是否太高、传送带的速度是否正常等。
此外，异常检测还可用于制造业之外的许多行业。比如它可以用于金融业，检测移动支票存款中的异常情况；可以用于咖啡饮品行业，通过监测数据对机器的预防性维护，并提供自动重新订购用品；还可以用于发电站，以发现水力发电设施的不足之处，其实际应用非常广阔。
建筑业中施工的准确性和资源跟踪
在建筑环境中，无人机将实时视频和遥测数据流传送到Pravega。通过其提供的建筑项目实时进展情况，最新进展报告可以将项目的数字效果图与实际进展情况进行比较，确保施工的准确性和规划时间的适当性。
同时，通过在地面建筑设备上安装传感器，Pravega可以实现物体检测，并对设备、人员和材料进行跟踪，确保在多个项目中对每一部分的资源进行最佳分配、利用。
“智能厨房”中的温度控制
Pravega可与大型储存冷柜中的数字温度计一起使用，实时获取流式温度读数，并在温度超出范围时发出警报。这可以防止冷藏食品在冷柜门没关好的情况下变质，从而让食品获得尽可能长的保质期。
随着自动驾驶、股票交易等更多流数据应用场景的兴起，戴尔易安信流数据处理平台将服务更多领域，Pravega的价值也会进一步放大，“飞入”各行各业，帮助客户加速数字化转型。
各位少侠、侠女且留步
We want you！
与小伙伴合力闯荡
流世界的机会来了
今天，实时流无处不在
而Pravega为流式计算
重新构建了全新的存储
想不想
全面了解Pravega的优秀特性
与业界大牛来一场亲密接触
展示你和小伙伴
对于实时数据分析的奇思妙想
由戴尔科技集团举办的
Pravega创客大赛
火热报名中！
为你们提供快速实现想法的机会
iPhone12等丰厚奖品已备好
让更多志同道合的人
一起拥抱流的世界！
欢迎报名参赛
除了Pravega创客大赛
2021戴尔科技峰会也将于
8月18日盛大开幕
为您呈现未来企业竞争力！
2021
戴尔科技峰会
“智汇*商业新磁场”
8月18日
上海跨国采购国展中心
诚邀您的莅临
相关内容推荐：戴尔科技新一代边缘服务器|最关键的五个要点
文章来自公众号戴尔易安信解决方案
扫一扫关注微信