
天文大數(shù)據(jù)都能做什么
美國天文學(xué)家勞倫斯·克勞斯曾說過:“你身體里的每一個原子都來自一顆爆炸了的恒星,形成你左手的原子可能和形成你右手的來自不同的恒星。”作為一門基礎(chǔ)科學(xué),天文學(xué)解答的是關(guān)乎人類從何而來、將去向何處這樣的大問題,它是孕育重大原創(chuàng)發(fā)現(xiàn)和前沿的科學(xué),也是推動科技進(jìn)步和創(chuàng)新的戰(zhàn)略制高點。在互聯(lián)網(wǎng)+的時代,面對海量的天文大數(shù)據(jù),天文學(xué)家和公眾有同樣的機會取得新的發(fā)現(xiàn)。也許未來,我們中的任何人都有可能成為揭示宇宙和人類發(fā)展重大奧秘的那位幸運兒。
在天文大數(shù)據(jù)撲面而來之際,你準(zhǔn)備好了么,讓我們一起去迎接和描繪你對宇宙的新認(rèn)識。
美國學(xué)者預(yù)測:到2025年,全球天文數(shù)據(jù)采集量為每年250億TB,而我們身邊比較常見的U盤及移動硬盤,U盤容量有16GB、32GB、64GB,移動硬盤數(shù)據(jù)容量有500GB、1TB、2TB,想想看,這是怎樣的海量的數(shù)據(jù)?
虛擬天文臺
讓天文數(shù)據(jù)活起來
作為寶貴的科研資料,天文數(shù)據(jù)成為人類了解和研究宇宙奧秘的第一手素材。從哈勃空間望遠(yuǎn)鏡每天3GB-5GB的數(shù)據(jù),到LAMOST每年10TB數(shù)據(jù),再到FAST每4小時產(chǎn)生10TB數(shù)據(jù),天文學(xué)研究已成為一項以數(shù)據(jù)為中心,為數(shù)據(jù)所驅(qū)動的科研活動。據(jù)美國天文學(xué)家的預(yù)測,到2025年,全球天文數(shù)據(jù)采集量將達(dá)到每年250億TB。這些豐富的數(shù)據(jù)資源將大大加深人類對宇宙的認(rèn)識,在這樣一個數(shù)據(jù)密集型時代,對天文大數(shù)據(jù)的挖掘和知識的發(fā)現(xiàn)變得大有可為。
現(xiàn)在,“數(shù)據(jù)洪水”或“數(shù)據(jù)爆炸”早已成為天文學(xué)界的常見詞匯。如何利用好這些海量數(shù)據(jù),通過信息技術(shù)推進(jìn)天文學(xué)研究成為一大挑戰(zhàn)。在這種情境下,虛擬天文臺應(yīng)運而生。
虛擬天文臺是通過先進(jìn)的信息技術(shù)將全球范圍內(nèi)的天文研究資源無縫透明連結(jié)在一起,從而形成數(shù)據(jù)密集型、網(wǎng)絡(luò)化的天文學(xué)研究和科普教育環(huán)境。它將全球的天文數(shù)據(jù)庫連接起來形成一個多波段的數(shù)字星空和一個全球性的天文數(shù)據(jù)網(wǎng)格,讓科學(xué)家和普通公眾能夠基于數(shù)據(jù)發(fā)現(xiàn)、高效數(shù)據(jù)訪問和互操作,以各種創(chuàng)新的方式對數(shù)據(jù)進(jìn)行檢索、展現(xiàn)和分析,打造創(chuàng)新型的科學(xué)研究和資源使用環(huán)境。
以往傳統(tǒng)的天文研究模式為人類留下了GB量級的數(shù)據(jù)遺產(chǎn),大望遠(yuǎn)鏡巡天模式則為人類留下了TB量級的數(shù)據(jù)遺產(chǎn)。而虛擬天文臺模式則把人類帶入PB量級的數(shù)據(jù)密集型時代,這三種模式的關(guān)系并不是一種取代另一種,而是同時存在于現(xiàn)代天文學(xué)研究活動中。
以中國科學(xué)院國家天文臺為首的中國天文學(xué)界于2002年提出了中國虛擬天文臺的設(shè)想,并于當(dāng)年加入國際虛擬天文臺聯(lián)盟。中國虛擬天文臺是將國內(nèi)外天文望遠(yuǎn)鏡的海量觀測數(shù)據(jù)融合在一個互聯(lián)網(wǎng)的平臺上,通過云計算的方式為科學(xué)研究和科普教育提供服務(wù)。
隨著平臺的建立,知識發(fā)現(xiàn)的新模式也隨之建立。在中國虛擬天文臺匯集的眾多天文數(shù)據(jù)中,LAMOST望遠(yuǎn)鏡的數(shù)據(jù)就是其中之一,LAMOST望遠(yuǎn)鏡已經(jīng)通過中國虛擬天文臺進(jìn)行了多次數(shù)據(jù)發(fā)布,天文學(xué)家利用這些數(shù)據(jù)發(fā)表了一百多篇科學(xué)論文,取得了許多精彩的研究成果。比如,前不久美國天文學(xué)家利用這些數(shù)據(jù)發(fā)現(xiàn)了超高速星。這是國際上已經(jīng)發(fā)現(xiàn)的20顆超高速星中距離地球最近的一顆?!俺咚傩恰笔侵高@顆星的速度很高,能夠達(dá)到銀河系的逃逸速度,會直接跑出銀河系,對超高速星的研究,可以讓科學(xué)家加深對銀河系中心黑洞的了解,在銀河系暗物質(zhì)的分布、暗物質(zhì)的組成等方面取得新的進(jìn)展。
天文大數(shù)據(jù)
讓宇宙漫游有個性
迄今為止,科學(xué)家已經(jīng)在太陽系以外發(fā)現(xiàn)了1800多顆經(jīng)證實的行星。其中1000多顆是由開普勒太空望遠(yuǎn)鏡在2009年至2013年四年間發(fā)現(xiàn)的。在此期間,它成功地收集了大量的數(shù)據(jù)。
在對這些數(shù)據(jù)進(jìn)行短短兩年的研究后,美國國家航空航天局將之公諸于眾——不僅僅是研究者,普通大眾也能獲取這些數(shù)據(jù)。美國的全民科學(xué)組織研發(fā)了一種工具,通過這一工具,天文學(xué)家足不出戶就可以尋找下一個類似地球的行星。最近NASA還發(fā)布了一個可在電腦中使用的尋找小行星的工具,借公眾下載使用。哈勃望遠(yuǎn)鏡團(tuán)隊的一些科學(xué)家致力于將哈勃的數(shù)據(jù)轉(zhuǎn)移到一個公共數(shù)據(jù)庫項目中,使研究者更容易獲取這些現(xiàn)有的數(shù)據(jù),以驗證假設(shè),減少研究時間。
在資深天文學(xué)家看來,如今的互聯(lián)網(wǎng)+時代,基于天文大數(shù)據(jù)的虛擬天文臺,結(jié)合計算宇宙學(xué)、天文信息學(xué),對海量科學(xué)真實數(shù)據(jù)進(jìn)行歸檔、大規(guī)模數(shù)值模擬、可視化展示,將天文大數(shù)據(jù)進(jìn)行融合以及智能挖掘,從各個方面都能夠激發(fā)更多學(xué)科的發(fā)展。
在中國虛擬天文臺里,大量天文科學(xué)數(shù)據(jù)的上線,除了能夠幫助天文學(xué)家進(jìn)行更加高效的科學(xué)研究外,天文科學(xué)數(shù)據(jù)也降低了公眾獲取天文數(shù)據(jù),參與天文學(xué)研究的門檻,成為公眾科普的重要資源。
中國虛擬天文臺有一個“公眾頻道”,其中的特色欄目中包括征集星座故事的“家鄉(xiāng)的星星”,開欄語中寫道:中華大地上,一地一方的人們心中都有不同的星空,這就是廣泛流傳的中國民間星座,這些星座充滿博物學(xué)氣質(zhì),有著各種各樣神奇的名字。然而,這些民間星座在慢慢消失……現(xiàn)在,如果你知道它們的名字或者故事,請告訴我們吧!
“公眾超新星搜尋計劃”和“WWT宇宙漫游項目”是公眾頻道的重頭戲,前者是面向普通大眾的宇宙新天體搜尋項目,它讓任何對新天體搜索感興趣的普通公眾都有機會參與到專業(yè)的天文發(fā)現(xiàn)中來。2015年,來自安徽合肥的10歲小學(xué)生廖家銘,借助中國虛擬天文臺公開發(fā)布的天文數(shù)據(jù)發(fā)現(xiàn)了一顆超新星,他也成為全球年齡最小的超新星發(fā)現(xiàn)者。
如果說超新星搜尋需要一定的天文學(xué)知識的話,“WWT宇宙漫游項目”就更為普及。WWT是萬維望遠(yuǎn)鏡的是簡稱,WWT漫游制作借助先進(jìn)的數(shù)據(jù)可視化技術(shù)和友好的用戶界面,通過加載虛擬天文臺中豐富的真實大數(shù)據(jù)資源,可以將遙遠(yuǎn)陌生的宇宙快捷、方便地呈現(xiàn)出來,并通過互聯(lián)網(wǎng)分享出去。利用基于虛擬天文臺的WWT軟件,任何人都可以對真實的科學(xué)大數(shù)據(jù)進(jìn)行引用、剪輯,實現(xiàn)宇宙場景的切換,配以圖片、文字、音樂和旁白,可以制作出一個屬于自己的個性化宇宙漫游節(jié)目。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11