本文中，我们将为读者介绍东南亚国家联盟(东盟)的企业是如何应对这一现实问题的。为了能够从中获得有价值的洞察和见解，该地区的企业不仅需要面临一系列法律监管的影响，同时还要处理如何庞大数据量存储的技术挑战。
存储大数据的一大明显的障碍就是如何存储如此海量信息。传统的数据存储的方法，无论是从存储空间还是从性能方面来说，其成本都是相当昂贵的。
“使用传统的数据库来处理海量的数据是不容易的;仅仅使用样本数据早已不足以满足用户对于追求更准确的数据信息的胃口。” 新加坡最大的IT服务提供商，并在亚洲，澳大利亚和中东地区的10个国家设有办事处的NCS公司首席顾问Andy Tan Choo Heng表示说。
为了应对和处理如此海量的数据信息，大数据存储方面的技术创新就包括了Hadoop。
有各种不同的Hadoop技术来适应不同的需求，Tan说。高可用性的Hadoop使用商品级的计算机存储数据和提供冗余，以实时的数据流查看和分析数据;还有在Hadoop的拼接机的完全成熟的RDBMS;在Hadoop中的Apache Tajo的低延迟数据库;以及MongoDB的文档型数据库。
“东盟大多数国家使用的是开源软件，如Apache Hadoop，而还要一些公司使用其他基于Hadoop或MongoDB的开放源码。” Tan说。
总部位于马来西亚的一家电子商务公司表示，他们当前所面临的挑战不只是数据的存储，而且还包括数据的访问。“我们需要确保数据库的结构，同时，在设计存储方法时要充分考虑兼顾到与企业的成长和发展相匹配。我们今天一个月的销售就比我们过去三年前全年的销售还多。因此，我们肯定需要强大而完善的方式来存储数据和检索信息。”据该公司一名希望匿名的发言人表示。
“除了处理数据的挑战，数据的快速膨胀同时也带来了数据库的安全问题，因为我们需要确保数据的完整性、以及敏感数据信息的匿名化，因为这些都是关于我们客户、产品，或关系到我们的盈利能力的数据信息。”
为了应对这些挑战，该公司使用了安全套接层(Secure Sockets Layer，SSL)加密，以确保安全地连接其数据库;并尝试使用最新的工具和技术，以确保其使用强大而高效的商业智能工具来获取和检索信息并进行分析。
Gartner首席研究分析师Santhosh Rao认为，当个人或敏感数据被存储时，数据匿名化技术应首先被部署，以便让数据在被大数据系统摄取之前删除个人数据。“另一种最好的做法是将个人数据保存在一个孤立的和安全的数据存储，为匿名数据创建一个单独的数据存储，以便通过大数据平台摄取匿名数据。”Rao说。
为了保证数据的稳定性，并确保数据长期以同一种安全状态被存储，用户使用存储和备份系统支持一次性写入后的多功能读取和加密。为了节省存储成本，一些有使用分层存储和压缩技术，Rao补充说。
与大数据相关的法律挑战
除了存储大数据方面的技术难题，企业所面临的另一大挑战是数据保护和监管方面的担心。整个东盟的不同国家的数据保护法律意味着要处理这些法律的监管难题可能会非常棘手，因为新加坡和马来西亚都有数据保护法，但印度尼西亚，泰国和其他东盟成员国则没有。此外，一些国家要求企业所收集到的数据必须获得明确的同意许可，而有些国家则接受默认同意。新加坡Pinsent Masons法律事务所合作伙伴Bryan Tan说。
“大数据是利用已存储的数据。而数据保护则限制了在哪些方面的数据可以被使用以及数据应该如何存储。即使是一个隐匿过程，在不同国界也有不同的解释。”Pinsent Masons的Tan说。
此外，某些行业必须遵守特定的数据规定。“一些金融监管机构看不惯云存储，” Tan说。“在韩国和日本等国家，监管机构要求的个人资料必须被保存在其本国国土内——这意味着公司无法将数据集中在数据中心，这是大数据分析的一大挑战。而印度尼西亚和中国也正在制定具有本地特色的监管法律，数据服务提供商只能在其各自国家使用服务器。”
除了法律和监管方面的挑战，也有现实意义和历史问题。数据质量便可以说是一大问题，因为在东盟，不同国家有不同的发展速度，并可能有其自己独特的语言。其结果是，各管辖区的数据集保持不同，影响了数据的质量。
在开始实施大数据项目之前，企业需要考虑大数据项目的合规性问题。
“将个人资料暴露在公共领域，数据保留期和故意删除数据都可能会导致不符合监管规定的问题。”Gartner的Rao说。
他说，某些国家已经就如何保护个人数据提供了有限指引。这些安全机制的预期是合理的，确保未经授权的数据并访问和限制修改。例如，新加坡的一些数据保护法律强调了在特定行业的数据类型的保留期。
马来西亚的电子商务企业的这名发言人同意对于他所在的企业而言，最重要的合规性问题是必须遵守马来西亚的个人数据保护法(PDPA)。
“自2013年11月以来，马来西亚已开始正在实施PDPA法案，以确保我们收集企业外部的数据信息必须要征得他们的同意。我们需要小心的使用这些信息，以尊重客户和商家的隐私，当涉及到使用这些信息，并要做到尽可能明确。”他说。
“作为马来西亚最大的在线电子商务平台，我们要确保与我们合作的商家的合作合同是详细完备的，然后将他们产品上架到我们的平台进行销售，这为重点保护个人数据、数据治理及确保我们用户数据的安全性奠定了重要的基础。”
尽管马来西亚的数据保护法并没有限制企业在马来西亚针对其大多数数据存储和数据服务器活动的开展，但他们仍必须严格遵循个人数据保护法。
现如今所正在生成和分析的数据的量和数据传输速度都在大幅增加，而这些问题在不久的将来将继续构成显著的存储和合规性问题。目前，存储供应商和各国企业都应积极的应对这些变化。
“大多数存储供应商都在试图严格遵守相关的监管法规，如证券交易委员会(SEC)的17a-4(f)，萨班斯·奥克斯利法案(SOX)，健康保险流通与责任法案(HIPAA)和商品期货交易委员会监管法规(CFTC)。”Gartner的Rao说。“我们期待在东盟国家的数据保护框架也将进行修订，以提供对数据安全性和存储的具体指导方针。”