海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺(tái)帶來(lái)巨大挑戰(zhàn)。清華大學(xué)軟件學(xué)院大數(shù)據(jù)中心總工程師王晨指出，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長(zhǎng)，這給計(jì)算資源和存儲(chǔ)資源的擴(kuò)展性和高可用性帶來(lái)挑戰(zhàn)。另外，生態(tài)監(jiān)測(cè)網(wǎng)實(shí)時(shí)數(shù)據(jù)也給數(shù)據(jù)平臺(tái)帶來(lái)性能挑戰(zhàn)。
在內(nèi)蒙古的烏梁素海，通過(guò)污染源和地表水環(huán)境質(zhì)量的立體網(wǎng)格化的數(shù)據(jù)采集，全流域水質(zhì)情況一覽無(wú)余，影響每一個(gè)水質(zhì)斷面的主要污染企業(yè)也都清楚明了。
不僅在內(nèi)蒙古，“讓數(shù)據(jù)說(shuō)話，用數(shù)據(jù)管理”的思路也已深入到全國(guó)各個(gè)地區(qū)的環(huán)保管理當(dāng)中，在上海、四川、無(wú)錫等地出臺(tái)的《環(huán)境信息化“十三五”規(guī)劃》中，推進(jìn)大數(shù)據(jù)監(jiān)管都被列入其主要任務(wù)之一。
今年是環(huán)境保護(hù)部發(fā)布的《生態(tài)環(huán)境大數(shù)據(jù)總體方案》實(shí)施的起步之年，生態(tài)環(huán)境大數(shù)據(jù)建設(shè)也開(kāi)始從模糊走向明朗。11月24日至25日，2016全國(guó)環(huán)境信息技術(shù)與應(yīng)用交流大會(huì)在京召開(kāi)，如何利用大數(shù)據(jù)推動(dòng)環(huán)境監(jiān)管精準(zhǔn)化，為“智慧環(huán)保”提供決策服務(wù)，成為此次大會(huì)的主要議題。
環(huán)境監(jiān)管的“無(wú)形之手”
環(huán)境管理重在預(yù)防，未雨綢繆從源頭治污。提前預(yù)測(cè)環(huán)境污染風(fēng)險(xiǎn)和污染源，將更加有針對(duì)性地幫助政府精準(zhǔn)治污，而大數(shù)據(jù)技術(shù)則成為環(huán)境監(jiān)管的“無(wú)形之手”。
國(guó)家信息中心信息化研究部大數(shù)據(jù)分析處副處長(zhǎng)王建冬表示，大數(shù)據(jù)為政府治理提供了全新的視角和手段，大數(shù)據(jù)時(shí)代的到來(lái)，不僅僅意味著對(duì)數(shù)據(jù)處理技術(shù)和處理能力的提升，更重要的是全社會(huì)數(shù)據(jù)資源分布結(jié)構(gòu)的深刻變化——實(shí)時(shí)、交互、離散化、非結(jié)構(gòu)化的海量數(shù)據(jù)中，蘊(yùn)含著經(jīng)濟(jì)社會(huì)運(yùn)行的各種指標(biāo)和信號(hào)。
“對(duì)于環(huán)境管理來(lái)說(shuō)，監(jiān)測(cè)體系是監(jiān)管的基礎(chǔ)，大數(shù)據(jù)應(yīng)用是監(jiān)管的靈魂，有了大數(shù)據(jù)就能使我們的監(jiān)管能力顯著提升。”內(nèi)蒙古自治區(qū)環(huán)保廳副廳長(zhǎng)李劍表示，“用數(shù)據(jù)說(shuō)話，摸清家底；用數(shù)據(jù)管理，監(jiān)察執(zhí)法。”成為強(qiáng)化環(huán)境監(jiān)管的重要支撐。
大數(shù)據(jù)時(shí)代的到來(lái)，傳統(tǒng)環(huán)境管理的思路方法也將被顛覆。“環(huán)境管理目標(biāo)從簡(jiǎn)單的總量控制為主向污染治理、環(huán)境質(zhì)量改善轉(zhuǎn)變，從單一的污染防治向風(fēng)險(xiǎn)防控、聯(lián)防聯(lián)控、流域共治轉(zhuǎn)變。”聚光科技信息開(kāi)發(fā)中心總監(jiān)丁成富說(shuō)。
而在太較計(jì)算機(jī)股份有限公司高級(jí)系統(tǒng)架構(gòu)師李華看來(lái)，相較于其他行業(yè)大數(shù)據(jù)應(yīng)用，環(huán)保方面的大數(shù)據(jù)具有先天的優(yōu)勢(shì)，其整體分析、應(yīng)用從一開(kāi)始就具備了大數(shù)據(jù)體系的相關(guān)要素。
“環(huán)境保護(hù)大數(shù)據(jù)體系從一開(kāi)始就可以針對(duì)某個(gè)方面進(jìn)行體系脈絡(luò)清晰的大數(shù)據(jù)分析，而不會(huì)出現(xiàn)數(shù)據(jù)網(wǎng)狀關(guān)聯(lián)，能夠很直接地針對(duì)一類(lèi)數(shù)據(jù)整理出相關(guān)的分析，建設(shè)過(guò)程較為直觀。”李華說(shuō)。
另外，李華表示，環(huán)保大數(shù)據(jù)還具有豐富的應(yīng)用主題，包括環(huán)境承載力分析、污染氣象關(guān)系分析、環(huán)境經(jīng)濟(jì)關(guān)系分析、污染物大數(shù)據(jù)分析、環(huán)保預(yù)警預(yù)測(cè)、污染排放治理等。
目前，環(huán)保大數(shù)據(jù)需求十分緊迫。因?yàn)榄h(huán)保部門(mén)相較于產(chǎn)生污染企業(yè)的管理部門(mén)而言相對(duì)弱勢(shì)，更迫切地需要科學(xué)、正確的數(shù)據(jù)來(lái)進(jìn)行事實(shí)的陳述說(shuō)明，明確責(zé)權(quán)，進(jìn)行環(huán)保的整改調(diào)整，因此也更需要依賴(lài)基于大數(shù)據(jù)的信息化支撐。
海量數(shù)據(jù)帶來(lái)挑戰(zhàn)
環(huán)保大數(shù)據(jù)到底是什么數(shù)據(jù)？在清華大學(xué)軟件學(xué)院大數(shù)據(jù)中心總工程師王晨看來(lái)，環(huán)保大數(shù)據(jù)包含了大量未開(kāi)發(fā)的環(huán)境信息資源，包括環(huán)境輿情、互聯(lián)網(wǎng)公開(kāi)的數(shù)據(jù)；審批附件、圖片等非結(jié)構(gòu)化數(shù)據(jù)；生態(tài)物聯(lián)網(wǎng)的建設(shè)帶來(lái)海量半結(jié)構(gòu)化數(shù)據(jù)等。
然而，海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺(tái)帶來(lái)巨大挑戰(zhàn)。王晨表示，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長(zhǎng)，這給計(jì)算資源和存儲(chǔ)資源的擴(kuò)展性和高可用性帶來(lái)挑戰(zhàn)。另外，生態(tài)監(jiān)測(cè)網(wǎng)實(shí)時(shí)數(shù)據(jù)也給數(shù)據(jù)平臺(tái)帶來(lái)性能挑戰(zhàn)。而非結(jié)構(gòu)化數(shù)據(jù)、時(shí)間序列數(shù)據(jù)、關(guān)系型數(shù)據(jù)等多類(lèi)型數(shù)據(jù)，也增加了數(shù)據(jù)處理及分析的復(fù)雜性。
來(lái)自重慶市環(huán)境保護(hù)中心的王陸瀟博士則指出，環(huán)保行業(yè)廣泛使用地理信息系統(tǒng)（GIS），盡管GIS軟件已實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)的性能擴(kuò)展，能夠同時(shí)管理圖形、屬性數(shù)據(jù)、高程數(shù)據(jù)等，并已實(shí)現(xiàn)了多比例尺空間數(shù)據(jù)的存儲(chǔ)，但該數(shù)據(jù)存儲(chǔ)模式已經(jīng)觸碰到瓶頸，并且會(huì)導(dǎo)致地理信息系統(tǒng)空間數(shù)據(jù)自動(dòng)綜合能力與效率低下。此外，GIS的客戶機(jī)服務(wù)器架構(gòu)決定了數(shù)據(jù)共享、數(shù)據(jù)存儲(chǔ)、同步性更新及更新效率等能力較弱。
而從政府頂層設(shè)計(jì)層面來(lái)看，環(huán)境大數(shù)據(jù)也面臨重重難點(diǎn)。清華大學(xué)環(huán)境學(xué)院環(huán)境管理與政策教研所主任常杪表示，地方政府在環(huán)境大數(shù)據(jù)建設(shè)中會(huì)面臨規(guī)劃設(shè)計(jì)、設(shè)備技術(shù)選型、數(shù)據(jù)收集等難點(diǎn)。
以規(guī)劃設(shè)計(jì)為例，“規(guī)劃設(shè)計(jì)并不是對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)的簡(jiǎn)單加和，而應(yīng)當(dāng)在需求明確的情況下，融合現(xiàn)有的傳感技術(shù)、互聯(lián)技術(shù)、數(shù)據(jù)挖掘技術(shù)等，開(kāi)發(fā)出能經(jīng)濟(jì)、有效解決實(shí)際問(wèn)題的系統(tǒng)。”常杪表示，如何設(shè)計(jì)出能集成海量、多源、異構(gòu)數(shù)據(jù)且實(shí)現(xiàn)數(shù)據(jù)動(dòng)態(tài)更新的數(shù)據(jù)中心框架，如何實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一，以完成環(huán)境數(shù)據(jù)的統(tǒng)一規(guī)劃、集成和管理，提高數(shù)據(jù)產(chǎn)品加工和服務(wù)能力等，都是規(guī)劃設(shè)計(jì)的難點(diǎn)問(wèn)題。
如何“慧”集數(shù)據(jù)
預(yù)計(jì)未來(lái)5年，環(huán)保監(jiān)管數(shù)據(jù)將實(shí)現(xiàn)精準(zhǔn)化，“智慧環(huán)保”將使得環(huán)境管理更精明，居民更有獲得感、資源利用更高效、生態(tài)環(huán)境更宜居。
環(huán)境保護(hù)部信息中心總工程師、環(huán)境信息化分會(huì)秘書(shū)長(zhǎng)魏斌指出，數(shù)字變革和數(shù)字顛覆對(duì)人類(lèi)的發(fā)展影響遠(yuǎn)遠(yuǎn)超出我們的想象。信息技術(shù)不斷突破原有技術(shù)架構(gòu)和發(fā)展模式，步入體系化創(chuàng)新和群體性突破的新階段。
而對(duì)于環(huán)境信息化建設(shè)，魏斌指出，其建設(shè)和發(fā)展模式亟待改變，信息碎片化、應(yīng)用條塊化、服務(wù)割裂化等問(wèn)題都需要從根源上加強(qiáng)統(tǒng)籌，實(shí)現(xiàn)信息共享，系統(tǒng)互聯(lián)互通。
那么，如何充分挖掘數(shù)據(jù)的價(jià)值，從而為“智慧環(huán)保”服務(wù)呢？
以大氣環(huán)境監(jiān)測(cè)領(lǐng)域?yàn)槔锌朴顖D資源環(huán)境研究院院長(zhǎng)劉銳提出一種基于多源數(shù)據(jù)融合的監(jiān)測(cè)方法——首先搭建集成工作站、服務(wù)器等硬件支撐平臺(tái)以支撐項(xiàng)目的建設(shè)和運(yùn)營(yíng)，其次根據(jù)數(shù)據(jù)資源的來(lái)源和分析需求，智能利用跨領(lǐng)域研究實(shí)踐的技術(shù)優(yōu)勢(shì)，以互聯(lián)網(wǎng)全域數(shù)據(jù)為基礎(chǔ)，基于Hadoop的分布式存儲(chǔ)及計(jì)算框架，研究大氣環(huán)境監(jiān)測(cè)預(yù)警大數(shù)據(jù)應(yīng)用關(guān)鍵技術(shù)，建立大氣數(shù)據(jù)分析環(huán)境和聯(lián)合監(jiān)測(cè)環(huán)境。
劉銳還提出了機(jī)器學(xué)習(xí)的概念，基于大數(shù)據(jù)技術(shù)的預(yù)報(bào)預(yù)警模型，機(jī)器學(xué)習(xí)通過(guò)模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。
另外，李華表示，大數(shù)據(jù)支撐環(huán)境是應(yīng)用成敗的關(guān)鍵，基于大數(shù)據(jù)基礎(chǔ)服務(wù)可提供用戶大數(shù)據(jù)采集、存儲(chǔ)、計(jì)算能力；通過(guò)太較環(huán)保大數(shù)據(jù)平臺(tái)則可以實(shí)現(xiàn)大數(shù)據(jù)的分析挖掘與可視化，具備一站式數(shù)據(jù)應(yīng)用能力。
在王晨看來(lái)，環(huán)保大數(shù)據(jù)管理系統(tǒng)研發(fā)的要點(diǎn)還包括高吞吐量、事務(wù)處理模型全局一致、專(zhuān)業(yè)化查詢(xún)和分析引擎、系統(tǒng)易管理和維護(hù)、容錯(cuò)和故障恢復(fù)等，“效能＋易用性”才是關(guān)鍵所在。
（原標(biāo)題：大數(shù)據(jù)推動(dòng)“智慧環(huán)保”落地）