基于大數據挖掘的科技項目查重模型研究
發布時間：2017-11-16 10:12:10
摘要：科技項目查重是避免重復立項、重復建設的重要措施之一，目前缺乏行之有效的方法。文 章提出基于大數據挖掘和多源信息整合的項目查重方法，以科技項目的基本信息、發表論文信息、關鍵詞、負責人信息和承擔機構等要素構建的大數據網絡為研究對象，利用多源信息整合方法構建 科技項目的相似度判別模型，并采用Hadoop框架實現海量數據的快速挖掘。文章介紹項目查重模型，重點討論需要解決的關鍵問題，為解決項目查重問題提供一種全新的思路和方法。
關鍵詞：大數據挖掘；多源信息整合；科技項目查重；Hadoop：架構；引用本文格式
引言為推動科技創新，我國不斷加大對科研的資助規模和強度，科技項目的數量和經費在近 年均得到顯著提升，形成多層次的國家科技計劃資助體系，隨之而來的重復立項問題日趨嚴重。據統計，我國科研項目重復率達 40% ，另外 60% 中與國外重復約占 30% 以上[1]。重復立 項不僅造成科技資源的浪費，也導致惡性科研 競爭，損害開拓創新的科研精神，對科技創新危害極大。早在2006年，科技部前部長徐冠華在《關于建設創新型國家的幾個重要問題》講話中指出，切實加強科技宏觀統籌協調的重要舉措之一就是“積極推動建立跨部門的科技項目數據庫。針對科技項目立項中多頭立項、重復立項的問題，推進科技項目共享數據庫的建立，為解決重復問題提供必要的技術支撐”。各級科技計劃主管部門對重復立項問題十分重視，研究了一些項目查重的方法和機制問題，取得了一定的進展，但總體效果并不明顯。究其原因，主要在于以下3個方面：
（1）項目數量呈現逐年快速增長的態勢。僅國家自然科學基金委員會2013年度資助的項目就達3.5萬余項。數量龐大的項目為查重工作帶來很大挑戰。此外，基礎科學研究具有創新性、不確定性、學科交叉融合等特點，不同學科領域的新觀點、新概念和新知識不斷涌現，科研項目管理人員需要越來越多的專業知識才能準確判斷項目的相似性，這也給項目查重工作帶來很大的困難。
（2）項目信息公開、共享和整合程度較低。科技計劃的項目信息和實施情況主要分散掌握在各計劃主管部門內部，對外開放和共享的程度低，各計劃之間的項目信息無法進行有效整合。如國家自然科學基金在立項審查時只能在該基金資助的項目范圍內進行重復性檢測，而幾乎無法與其他科技計劃項目進行檢測和查重。解決該問題的方法是在國家層面上建立統一的可對外公開的項目信息檢索平臺，實現項目信息的共享和整合。
（3）項目相似性判別方法單一。目前科研重復立項檢測主要通過比對項目標題或者比對項目申請書的內容進行甄別。前者只是進行簡單的關鍵詞匹配，將項目標題中包含指定關鍵詞集的項目定義為相似項目。一旦項目更換標題，該方法則會失效。后者能夠較準確地發現相關/相似的項目，但算法實現難度較大，并且項目申請書因涉密或保護知識產權等原因一般不對外公開，很難從公開渠道獲取這些信息。因此該方法只適用于在單個計劃主管部門內部實現項目查重。
文獻調研發現，國外沒有項目查重的概念，但在數據挖掘、文檔檢索等方面的研究起步早，進行了大量的研究和探索，積累了豐富的經驗和成熟的技術[2-5]。國內在方法研究方面起步晚，但有針對性地開展文本挖掘方法在科技項目管理中的應用研究。姜韶華[6]提出一種基于文本挖掘的科研項目管理原型系統，重點研究和解決科研項目文本的切分和特征建模等問題；左川[7]提出一種基于非分詞技術解決科技項目查重問題的方法，該方法不需要對文本進行分詞處理，利用頻繁閉項集構造向量空間模型對項目申請書進行建模并計算相似度；方延風[8]提出將一種改進的TF-IDF方法用于科技項目查重，考慮了特征詞的位置和長度兩種因素；吳燕[9]提出一種基于層次聚類的科技項目分類和查重方法，在計算科技項目相似性時綜合考慮了應用領域、研究內容和技術來源等因素；林明才等[10]提出一種改進的模糊聚類算法RM-FCM,在計算項目相似度時考慮了不同屬性的特征項對科研項目的重要性；劉蔭明等[11]從科技查新實踐、地區和部門多頭管理、科研論文所依托的基金項目數量等方面研究我國科研的重復立項現象，通過對科研項目的申報與審批流程進行分析，提出避免重復立項的具體措施。
上述研究工作基本都是從項目申請書入手，對申請書進行分詞或將其作為整體處理，然后提取特征向量，利用特征向量的相似度表示項目的相似度。一方面不同計劃的申請書格式不同，學科領域差別較大，很難找到統一的描述模式；另一方面，項目申請書一般不對外公開，獲取難度很大。因此，該方法適應于在單個計劃內部進行項目查重，很難進行跨計劃的項目查重。基于上述分析，本文采用一種全新的思路解決項目查重問題，首先收集項目的標題、項目所發表的論文、關鍵詞、負責人和承擔機構等要素的海量信息，構建與項目查重相關的大數據網絡，為后續的分析和挖掘提供數據支撐；然后利用多源信息整合技術構建項目相似度模型，綜合考慮項目的研究內容、負責人和承擔單位3種因素以提高計算項目相似度的準確性和可靠性；最后采用Hadoop分布式處理技術加速項目相似度的計算過程，實現對海量數據的快速挖掘。
1. 大數據挖掘
隨著海量數據獲取、存儲與處理方法與技術的飛速發展，大數據時代來臨，并對眾多領域產生影響[12]。2007年計算機圖靈獎得主JimGray在NRC-CSTB的演講報告中提出科學研究的第四范式[13]——數據密集型科學研究，以協同化、網絡化與數據驅動為其主要特征，在學術界引起很大關注。世界頂尖科學期刊《Nature》和《Science》分別推出專刊，圍繞科學研究中的大數據問題展開專題討論。美國政府于2012年3月29日發布的“大數據研究與發展計劃”[14]更是將大數據的發展和研究提高到國家戰略的層面，將其視為信息科學領域內繼信息高速公路計劃之后的又一重大發展戰略。
大數據挖掘在近年發展迅速，基本思想是通過包括互聯網在內的多種渠道收集研究對象的多維度數據，通過對海量數據的關聯分析和數據挖掘，發現被研究對象的潛在行為模式或規律。大數據挖掘的經典應用有Google公司推出的“流感趨勢預報服務”[15]和奧巴馬競選團隊的“大數據選舉”[16]。Google公司認為，用戶搜索的關鍵詞代表了他們的即時需求，通過對流感進行關鍵詞建模，并對搜索這些關鍵詞的海量用戶進行跟蹤分析，創建流感地圖。“谷歌流感趨勢”在測試過程中還顯示出反應迅速的優勢，甚至能夠比疾病控制和預防中心提前1個星期到10天時間公布流感預報。美國總統奧巴馬的競選團隊利用大數據驅動的分析和決策為其成功連任發揮巨大的作用，競選團隊創建了龐大的數據系統，將民調者、注資者、工作人員、消費者、社交媒體及“搖擺州”主要民主黨投票人的信息進行關聯及整合，然后通過大量的數據挖掘和模擬運算，對籌集競選資金、競選廣告精準投放、模擬競選等提供決策支持服務，取得了立竿見影的效果。
國內的學者也開展了相關研究。孟小峰等[17]對大數據管理的概念、技術和挑戰等問題進行了系統化的梳理和總結；侯經川等[18]研究了大數據時代的數據引證問題，對其研究現狀、最新進展和未來展望進行了深入的分析和討論。總體來看，大數據挖掘的相關研究處于起步階段，國內與國外差距還不大，這是我國在該領域追趕國際先進國家的重要機遇。利用大數據的思想解決科技項目查重問題是一個全新的研究課題，有重要的理論和實踐意義。本文重點介紹基于大數據挖掘的項目查重模型，并探討其中涉及的關鍵問題，為解決項目查重問題提供一種新的視角和方案。
2. 項目查重模型
本文提出的項目查重方法的基本思路是從海量數據中挖掘出與項目查重緊密相關的研究內容、負責人和承擔單位等信息，采用多源信息整合技術對上述信息進行整合并判定項目的相似度。為加速海量數據的挖掘，筆者采用Hadoop分布式技術提高項目查重的計算速度。項目查重的架構框圖如圖1所示，可分為任務解析、大數據文件、項目相似度判別模型、分布式調度和結果展示等5部分。任務解析模塊在收到用戶的查詢請求后將其解析和翻譯為機器可執行的指令，并提交給分布式調度模塊執行；分布式調度模塊負責利用Hadoop框架管理和調度計算機集群系統協同完成項目查重任務；大數據文件模塊存儲了與項目查重相關的海量數據，是該模型的數據基礎；項目相似度判別模型通過綜合關鍵詞、負責人和承擔單位等因素計算項目與查詢條件的相似度；結果展示模塊則通過可視化等手段將查詢結果反饋給用戶。
圖1 項目查重的架構框圖
本查重模型所處理的數據對象包括5類：項目信息、論文題錄、關鍵詞、負責人和承擔單位。5種數據對象間存在網狀的關聯關系，如圖2所示。通過對上述網狀數據進行加工處理，提取出與項目查重密切相關的元數據描述：
項目ID是項目的唯一標識，是實現各類數據之間關聯的紐帶；關鍵詞集是一組用于描述項目研究內容的術語，是對研究內容的凝練和概括。該數據來源于兩部分：一部分來自于項目標題，可通過自動切分詞技術獲取；另外一部分則來源于由項目資助所發表論文的關鍵詞，可通過論文的資金資助信息建立項目ID與論文關鍵詞的關聯關系。由于項目數量和論文數量都十分龐大，關鍵詞集的構建首先通過文本智能挖掘和抽取技術完成，然后輔以人工校驗的方式保證數據的準確性；負責人信息則直接從項目信息數據庫中抽取，但由于信息缺失，負責人身份的唯一性識別仍然是尚未得到有效解決的難題；承擔單位信息也存在上述類似的問題，機構的更名、重組、簡稱全稱混用等因素為設定承擔單位的唯一性識別帶來很大的困難。
圖2 大數據構建的示意圖
圖3 相似度判別模型
項目的相似度判別模型分別計算研究內容、負責人和承擔單位3方面的相似度，并對上述結果進行加權整合得到項目最終的相似度。其中，項目的研究內容由一組關鍵詞進行描述，因此其相似性轉化為檢索詞集合與項目關鍵詞集合之間的相似性。項目負責人和承擔單位存在的重復性直接通過檢索詞匹配的方式計算，即兩個項目的負責人或承擔單位相同，則存在重復立項問題的可能性較高。三個維度的匹配度計算完成后，通過加權的方式進行整合，最終得到與檢索條件匹配度由高到低排序的項目集合。
本模型解決的是大數據場景下的項目查重問題，要在短時間內完成對海量數據的檢索，需要借助于分布式計算技術。筆者采用Hadoop框架完成項目查重任務的分布式處理，其原理如圖4所示。Job Tracker是管理者的角色，負責任務的拆分和調度，維持與Task Tracker通訊并記錄其最新狀態信息。Task Tracker是工人的角色，負責具體子任務的執行，從指定的位置讀取待處理的數據，完成任務后保存中間結果，并向Job Tracker提交狀態更新。子任務的類型有兩種：Map操作和Reduce操作。Map操作處理相應的片段數據，即對指定片段計算項目的相似度，并保存中間結果。Reduce操作則對中間結果進行收集和合并，即對指定的項目集合完成相似度的加權計算，得到最終的判別結果。
圖4 Hadoop分布式調度原理
3. 討論
本文從大數據挖掘的角度提出了一種全新、可行的項目查重模型，能夠解決目前項目查重的諸多難題。然而，該方法涉及海量數據的采集、加工、關聯和挖掘等內容，需要建立規范的工作機制和采用智能的挖掘技術以保證查重方法的切實可行。下面將重點介紹該模型需要解決的幾個關鍵問題：
（1）海量數據的采集和加工需要建立一系列的標準和規范來保證數據的準確性。處理的數據涉及項目信息、論文題錄、關鍵詞、負責人和承擔單位等，數據量龐大，種類較多，且沒有固定的格式，因此，需要建立一套規范的工作機制，并嚴格按照指定的標準對數據進行加工和處理。此外，由于數據量巨大，需要大量的人力和財力作為支撐。
（2）數據的標識、描述和關聯機制問題。數據標識解決數據的唯一性標志問題，目前在如何解決負責人、承擔單位的唯一標識上仍存在很大的困難；數據描述用于揭示數據的內容/屬性，需要對5種數據對象建立統一的元數據標準；關聯機制則重點解決不同類型數據之間的關聯關系問題，如項目與發表論文如何建立準確的對應關系等。
（3）研究文本智能抽取技術是處理海量數據必不可少的手段之一。該技術主要用于解決關鍵詞集的自動生成問題：一方面，針對科技項目標題的特點設計針對性的切分詞技術，自動從項目標題中抽取關鍵詞；另一方面，從論文題錄的項目資助信息中自動抽取項目編號，建立項目與論文的關聯關系，并將論文的關鍵詞自動加入到項目的關鍵詞集合中。關鍵詞集構建的準確與否直接關系到項目查重效果的優劣。
（4）大數據挖掘需要處理海量的數據，為提高項目查重的速度，需要分布式的處理架構對海量數據進行檢索和挖掘。Hadoop是一套通用的技術框架，應用到項目查重場景中需要根據業務邏輯進行適應性改造。如何將項目查重的業務邏輯設計為分布式處理模式，并盡可能提高查重效率是需要解決的關鍵問題。
4. 結語
本文提出一種基于大數據挖掘的項目查重方法，利用大數據挖掘和多源信息整合等技術解決項目查重問題。該方法提供了一種全新的思路和方法，是對現有項目查重方法的促進，具有重要的理論意義與應用價值。基于該模型構建切實可用的查重系統需要解決一系列關鍵的機制問題和技術問題，包括建立海量數據采集和加工標準；構建數據的標識、描述和關聯機制；研究文本智能抽取技術和改進Hadoop框架以適應項目查重的業務需求等。
參考文獻
[1] 張金玲，黃長，陳如好，等. 深化科技查新工作 擴 展社會化服務[J]. 圖書館論壇， 2011 （5）： 122-124，137.
[2] H.Zhang，T.Chow，A multi- level matching method with hybrid similarity for document retrieval [J]，Expert Systems with Applications，2012，39 （3）：2710-2719.
[3] J. Reid， M. Lalmas， K. Finesilver， M. Hertzum， Best entry points for structured document retrieval--Part II：Types，usage and effectiveness [J]，InformationProcessing & Management，2006，42 （1）：89-105.
[4] J. Reid， M. Lalmas， K. Finesilver， M. Hertzum，Best entry points for structured document retrieval--Part I： Characteristics [J]， Information Processing & Management，2006，42 （1）：74-88.
[5] P.Kalczynski，A.Chou，Temporal Document R etrieval Model for business news archives [J]， Information Processing & Management，2005，41 （3）：635-650.
[6] 姜韶華. 科研項目管理中文本挖掘方法研究及應用[D]. 大連：大連理工大學，2006．
[7] 左川. 基于非分詞技術的科技項目查重研究與實現[D]. 重慶：重慶大學，2010.
[8] 方延風. 科技項目查重中特征詞 TF- IDF 值計算方 法的改進[J]. 情報探索，2012 （1）：1-3.
[9] 吳燕. 基于層次聚類的科技項目分類與查重研究[D]. 天津：天津財經大學，2008．
[10] 林明才，康耀紅，張誠一. 基于科研立項管理應用 的模糊 C 均值算法研究[J]. 計算機工程與設計， 2010，31 （7）：1570- 1572.
[11] 劉蔭明，張福俊，劉謙. 淺析科研管理之避免重復立項[J]. 科技管理研究，2010 （21）：198- 200.
[12] L. Steve. The age of big data [N/OL]. The New YorkTimes.（2012-02-12） [2013- 03- 06].
[13] H.Tony，T.Stewart，T.Kirstin. The fourth paradigm：Data- intensive scientific discovery [M]. R edmond， WA：Microsoft R esearch，2009：19- 33.
[14] Fact Sheet： Big Data Across the Federal Government [EB/OL].（2012-03-29）[2013-03-06].
[15] Google Flu Trends. [EB/OL].
[16] M. Scherer. Inside the Secret World of the Data Crunchers Who Helped Obama Win. [EB/OL]. （2012-11-07） [2013-03-06].
[17] 孟小峰，慈祥.大數據管理：概念、技術與挑戰[J]. 計算機研究與發展，2013，50 （1）：146- 169.
[18] 侯經川，方靜怡.數據引證研究：進展與展望[J].中國圖書館學報，2013 （1）：112- 118.
Papertime論文檢測小編經常與大家分享關于論文寫作等方面的信息~
