Nosql物联网,nodle物联网

物联网时代的大数据策略

物联网时代的大数据策略

互联网时代，PC、Pad、智能手机等设备无处不在，数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据，电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息，海量的数据促进了云计算，分布式技术的发展，而这些技术反过来不仅推动了Web和移动互联网的革新，也推动了物联网的飞速前进。现在，我们正逐渐迈入物联网时代，实现万物互联的愿景，如果说之前人是信息生产的主体，那么或许不久的将来设备将成为主角，它们将源源不断地产生与人相关的衣食住行信息，这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据，应该采用什么样的大数据策略呢？

THINKstrategies 的总经理 Jeff Kaplan 在自己的博文《 当物联网遇见大数据 》中写道：

“你不能使用现在的策略，因为可以被捕获、管理并利用的数据将更加多样化，同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者 创造性的目的 。IT部门的任务就是与业务部门一起工作，完全理解物联网方面的用例，然后寻找满足业务需求的技术。特别是，IT部门必须识别出最优的分析平台和工具，让业务用户能够获取到需要的数据，分析数据的含义并快速地做出响应。”

Gartner公司的副总裁、著名分析师 Joe Skorupa 认为：

“分布在世界各地的物联网设备将产生大量的输入数据，将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势——将应用程序集中起来以便于降低成本并增强安全性——并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中，在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。”

Patrick McFadin则在自己的博文《 物联网：数据都去了哪里？ 》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段：产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。

第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过HTTP、MQTT和CoAP三种常用的标准协议传递数据。HTTP通用程度高，但是它的头中包含大量冗余信息，不太适合带宽比较低的场景。MQTT基于发布/订阅模型，新的设备或者服务能够非常容易地连到中央系统上消费消息。另外，它在消息大小上比HTTP更轻量，但是缺点是不包含加密标准。CoAP适合于低功耗、低带宽的场景，与MQTT的订阅模式相比它更侧重于一对一的连接。

第二阶段则需要根据设备、网络以及功耗的限制决定是实时地收集数据还是在某个时间批量收集，同时还需要决定如何存储数据。如果是实时收集，那么必须要考虑数据库的写入速度，这对于传统的数据库而言可能是一个挑战，但是像 Cassandra 这样的NoSQL数据库却能够轻松应对。

一旦完成了数据的收集与存储，接下来就是分析了，这才是整个过程最核心的部分。此时需要考虑需要何时使用分析结果，是否需要立即或近乎实时的分析，还是仅仅需要对历史数据进行处理。越来越多的人在使用Apache Spark分析大数据，使用Spark Streaming满足近乎实时的要求，如果将这些技术与Cassandra这样的NoSQL数据库结合在一起使用，那么开发者就能够处理并分析大规模、快速移动的数据集。

那么是不是所有的物联网厂商都需要自己去构建相关的数据解决方案呢？也不尽然，在云计算的时代大可以利用云服务提供商的资源，以降低相关的成本，对小公司或初创公司更是如此。

Mike Kavis最近在自己的博文《 物联网将彻底改变你的大数据策略 》中阐述了自己的方案，他认为：

“在物联网时代，面对PB级的数据，企业将难以以一己之力完成基础设施的建设。物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化，同时也会驱动相关企业采用新的大数据策略。由于缺乏相关技能以及持续增长的数据对基础设施采购的需求，企业将逐步放弃DIY模式，转而使用PaaS和托管的解决方案，借助于数据库即服务（例如Amazon的Redshift、Hortonworks和Cloudera的企业级Hadoop）、托管的大数据服务（例如Treasure Data）以及矩阵式的数据中心服务（例如GoGrid）实现自己的物联网数据分析方案。

总之，物联网的价值在于数据。企业对数据的分析工作启动地越快，挖掘出的业务价值就越多。而云服务提供商的目的就是通过加大相关的投入，消除数据收集、管理的风险以及复杂性，让客户能够专注于分析。”

以上是小编为大家分享的关于物联网时代的大数据策略的相关内容，更多信息可以关注环球青藤分享更多干货

相关问答

Q1: 物联网、区块链、大数据有什么区别

物联网、区块链、大数据有什么区别

在不久的将来，物联网的设备将爆增，有可能是千亿，也可能是万亿，像这么一个庞大的网络，如果还是以中心化的组网模式去管理的话，数据中心的基础设施投入维护应该是没办法估量的。

大数据本质上来讲，属于数据库的一个小分支，这样就把这个问题归结为和数据库的关系。数据库在软件、在互联网界、在IT界其实是个特别古老的研究领域，从最初的文件系统到ER模型到后来引发的大家都知道的传统数据库的三大成就，关系模型、事务处理、查询优化，一直到后来互联网盛行以后的NOSql数据库的崛起，数据库技术在不停发展、在变化，那么也包括以XML为代表的半结构化，文本、语音等非结构化的数据处理等等。

区块链和数据库的关系看起来其实也就是这样一种关系，从数据库技术演进的过程，我们可以发现，它总是来源于要怎么去满足新的业务需求，然后创造出新的这些数据处理技术。比如从最开始的文件系统，为什么我们需要ER的这种模型呢，是因为金融行业的发展，大家对于这些快速的记帐、高并发数据写入和访问，有了进一步的需求，从而导致了实体关系模型的产生以及快速的发展。后来为什么NOSql数据库会出现呢？就是因为互联网的快速发展对数据库提出了更高更新的要求，所以本质上我们认为整个互联网就是一个大的数据库。

事物总是在不断发展的，当然我们通过NOSql数据库、云存储这些技术解决的互联网海量实时数据处理问题之后，下一个问题一定就来了，那就是如何以规模化的方式来解决数据的真实性和有效性。

举个例子，可能跟我们的饮食相关，从一开始的温饱问题，到营养结构问题，再到大家所关注的食品安全问题，数据库的发展其实也是一样，当我们通过ER实体关系模型，通过NOSql数据库能够很好的解决数据存储和数据访问的这些问题的时候，接下来大家要去关心的，要去解决的那一定是真实性、有效性的问题。

所以到了这个阶段，以区块链为代表的这些技术，对数据真实有效不可伪造、无法篡改的这些要求，相对于现在的数据库来讲，肯定是一个新的起点和新的要求。我们可以清晰的感受到，数据库与区块链融合趋势，其实是非常紧密的、无法阻挡，好像刚才说的电影，内容的制作方开始向虚拟现实、增强现实这个方向发展一样；从数据库的角度，区块链就是一种新型的数据组织方式。我们认为大数据、区块链是两者合一的。

Q2: NoSQL 数据库：何时使用 NoSQL 与 SQL？

NoSQL 数据库因其功能性、易于开发性和可扩展性而广受认可，它们越来越多地用于大数据和实时 Web 应用程序，在本文中，我们通过示例讨论 NoSQL、何时使用 NoSQL 与 SQL 及其用例。

NoSQL是一种下一代数据库管理系统 (DBMS)。NoSQL 数据库具有灵活的模式，可用于构建具有大量数据和高负载的现代应用程序。

“NoSQL”一词最初是由 Carlo Strozzi 在 1998 年创造的，尽管自 1960 年代后期以来就已经存在类似的数据库。然而，NoSQL 的发展始于 2009 年初，并且发展迅速。

在处理大量数据时，任何关系数据库管理系统 (RDBMS) 的响应时间都会变慢。为了解决这个问题，我们可以通过升级现有硬件来“扩大”信息系统，这非常昂贵。但是，NoSQL 可以更好地横向扩展并且更具成本效益。

NoSQL 对于非结构化或非常大的数据对象（例如聊天日志数据、视频或图像）非常有用，这就是为什么 NoSQL 在微软、谷歌、亚马逊、Meta (Facebook) 等互联网巨头中特别受欢迎的原因。

一些流行的 NoSQL 数据库包括：

随着企业更快地积累更大的数据集，结构化数据和关系模式并不总是适合。有必要使用非结构化数据和大型对象来更好地捕获这些信息。

传统的 RDBMS 使用 SQL（结构化查询语言）语法来存储和检索结构化数据，相反，NoSQL 数据库包含广泛的功能，可以存储和检索结构化、半结构化、非结构化和多态数据。

有时，NoSQL 也被称为“ 不仅仅是 SQL ”，强调它可能支持类似 SQL 的语言或与 SQL 数据库并列。SQL 和 NoSQL DBMS 之间的一个区别是 JOIN 功能。SQL 数据库使用 JOIN 子句来组合来自两个或多个表的行，因为 NoSQL 数据库本质上不是表格的，所以这个功能并不总是可行或相关的。

但是，一些 NoSQL DBMS 可以执行类似于 JOIN的操作——就像 MongoDB 一样。这并不意味着不再需要 SQL DBMS，相反，NoSQL 和 SQL 数据库倾向于以不同的方式解决类似的问题。

一般来说，在以下情况下，NoSQL 比 SQL 更可取：

许多行业都在采用 NoSQL，取代关系数据库，从而为某些业务应用程序提供更高的灵活性和可扩展性，下面给出了 NoSQL 数据库的一些企业用例。

内容管理是一组用于收集、管理、传递、检索和发布任何格式的信息的过程，包括文本、图像、音频和视频。NoSQL 数据库可以通过其灵活和开放的数据模型为存储多媒体内容提供更好的选择。

例如，福布斯在短短几个月内就构建了一个基于 MongoDB 的定制内容管理系统，以更低的成本为他们提供了更大的敏捷性。

大数据是指太大而无法通过传统处理系统处理的数据集，实时存储和检索大数据的系统在分析 历史 数据的同时使用流处理来摄取新数据，这是一系列非常适合 NoSQL 数据库的功能。

Zoom使用 DynamoDB（按需模式）使其数据能够在没有性能问题的情况下进行扩展，即使该服务在 COVID-19 大流行的早期使用量激增。

物联网设备具有连接到互联网或通信网络的嵌入式软件和传感器，能够在无需人工干预的情况下收集和共享数据。随着数十亿台设备生成数不清的数据，IoT NoSQL 数据库为 IoT 服务提供商提供了可扩展性和更灵活的架构。

Freshub就是这样的一项服务，它从 MySQL 切换到 MongoDB，以更好地处理其大型、动态、非统一的数据集。

拥有数十亿智能手机用户，可扩展性正成为在移动设备上提供服务的企业面临的最大挑战。具有更灵活数据模型的 NoSQL DBMS 通常是完美的解决方案。

例如，The Weather Channel使用 MongoDB 数据库每分钟处理数百万个请求，同时还处理用户数据并提供天气更新。