LAMOST 科学数据库开发与进展 VO-enabled LAMost 何勃亮 hebl@@lamost. org 2008-11-28 国家天文台 LAMOST A
LAMOST 科学数据库开发与进展 何勃亮 hebl@lamost.org 2008-11-28 国家天文台 LAMOST VO-enabled LAMOST
目录 LAMOST科学数据库 LAMOST科学数据库与 Virtual observation 项目开发进展 n未来设想 Target Q& a Catalog LAMOST Telescope IVO China-VO Scientific Discovery Data Pipeline
目 录 LAMOST 科学数据库 LAMOST 科学数据库与 Virtual Observation 项目开发进展 未来设想 Q & A
LAMOST科学数据库简介 数据库简介 系统功能模块 数据库开发应用环境 管理的数据 数据库数据表 可以进行的操作 数据存储 Web页面功能设计 其它
LAMOST 科学数据库简介 数据库简介 系统功能模块 数据库开发应用环境 管理的数据 数据库 数据表 可以进行的操作 数据存储 Web 页面功能设计 其它
LAMOST的运行观测 LAMOST 4000根光纤 4000/250=>16光谱仪 Red&b1ue16x2=>32CCD照相机 CCD相机=>4kx4 k pixels=>16 bits color deep 每个观测天区( plate),3次暴光,每次暴光30分钟,每晚观测7.5~9小 时,大约5个 plate 每晚观测数据:4KX4KX2x32×3×5=15.36(GB) 每晚所有的数据:20GB 每年:20×200=4,000 GB per year 5年周期:4×5year=20TB
LAMOST 的运行观测 LAMOST 4000 根光纤 4000 / 250 => 16 光谱仪 Red & blue 16 x 2 => 32 CCD 照相机 CCD 相机 => 4k x 4k pixels => 16 bits color deep 每个观测天区 (plate) ， 3 次暴光，每次暴光 30 分钟，每晚观测 7.5~9 小 时，大约 5 个 plate 每晚观测数据： 4K x 4K x 2 x 32 x 3 x 5= 15.36 (GB) 每晚所有的数据： 20 GB 每年： 20 x 200= 4,000 GB per year 5 年周期： 4 x 5 year = 20 TB
数据库简介 ■数据库是大型天文望远镜数据管理的重要方式。 LAMOST科学数据库是 LAMOST数据管理子系统的主要 组成部分,它负责的是对观测数据(原始数据、输入星 表等)进行管理和维护,数据库将对 LAMOST需要用到 的数据和观测的数据进行高效的运行管理。 数据库的用户群:管理用户(系统管理、数据维护) 数据用户(巡天观测用户、项目内部科学家、公开用 户)。 数据产品 2-D multi-fiber spectrum images (pravite) 1-D spectra (to the public 18 months laten) Catalogs (to the public 24 months later
数据库简介 数据库是大型天文望远镜数据管理的重要方式。 LAMOST 科学数据库是 LAMOST 数据管理子系统的主要 组成部分，它负责的是对观测数据（原始数据、输入星 表等）进行管理和维护，数据库将对 LAMOST 需要用到 的数据和观测的数据进行高效的运行管理。 数据库的用户群：管理用户（系统管理、数据维护）、 数据用户（巡天观测用户、 项目内部科学家、公开用 户）。 数据产品 2-D multi-fiber spectrum images (pravite) 1-D spectra (to the public 18 months later) Catalogs (to the public 24 months later)
系统功能模块 观测与数据 处理系统 科学数据用户 数据归档模块 数据查询模块 系统管理模块 访问统计模块 SCIDB METADB ADMDB LOGDB
系 统 管 理 模 块 数据归档模块 数据查询模块 访问统计模块 SCIDB 观测与数据 处理系统 科学数据用户 系统功能模块 METADB ADMDB LOGDB
与其它子系统的接口要求 SSS、oS、TCS及其他各观测相关子系统需要尽可能完整的保留自己收集 的数据,并把这些数据以ⅫML文件、 ASCII文件或者 MySQL数据库等格式 保存起来,并定期向数据管理系统归档。数据管理子系统决定最终归档的数 据格式和目录格式 望远镜观测获取的原始数据以FITS文件的形式提交数据管理系统进行归档 数据管理系统进行归档的同时进行必要的备份。 数据处理系统,包括二维数据处理系统和一维数据处理系统,从数据管理系 统获取 Pipeline的输入数据。数据处理系统向数据管理系统提交的处理结 果包括包含完整信息的FITS文件和包括完整信息的星表。 各个相关子系统需要采用统一的科学数据库模型,通过一套统一的工D系统进 行操作
与其它子系统的接口要求 SSS 、 OCS 、 TCS 及其他各观测相关子系统需要尽可能完整的保留自己收集 的数据，并把这些数据以 XML 文件、 ASCII 文件或者 MySQL 数据库等格式 保存起来，并定期向数据管理系统归档。数据管理子系统决定最终归档的数 据格式和目录格式。 望远镜观测获取的原始数据以 FITS 文件的形式提交数据管理系统进行归档。 数据管理系统进行归档的同时进行必要的备份。 数据处理系统，包括二维数据处理系统和一维数据处理系统，从数据管理系 统获取 Pipeline 的输入数据。数据处理系统向数据管理系统提交的处理结 果包括包含完整信息的 FITS 文件和包括完整信息的星表。 各个相关子系统需要采用统一的科学数据库模型，通过一套统一的 ID 系统进 行操作
软件开发应用环境 服务环境: Linux(RHEL、 Fedora、etC.) 数据库软件: MySQL、 PostgreSQL、 Oracle等 开发语言:PHP、 Javascript、Per1、C、C++ Java等 应用技术:A]AX、CGI、 Web Service等 开发的服务:B/S、 Web Service等 数据库中间层:抽象对数据库的操作以适应数据库可能的 迁移
软件开发应用环境 服务环境： Linux （ RHEL 、 Fedora 、 etc. ） 数据库软件： MySQL 、 PostgreSQL 、 Oracle 等 开发语言： PHP 、 Javascript 、 Perl 、 C 、 C++ 、 Java 等 应用技术： AJAX 、 CGI 、 Web Service 等 开发的服务： B/S 、 Web Service 等 数据库中间层：抽象对数据库的操作以适应数据库可能的 迁移
管理的数据 观测数据 每次观测的数据记录 观测的一维二维光谱数据 天光信息等 巡天星表 a二维光谱星表 维光谱星表 工作星表 系统运行数据(各个系统运行日志、环境气象信息、观测信 息等) 其他需要保存的数据
管理的数据 观测数据 每次观测的数据记录 观测的一维二维光谱数据 天光信息等 巡天星表 二维光谱星表 一维光谱星表 工作星表 系统运行数据（各个系统运行日志、环境气象信息、观测信 息等） 其他需要保存的数据
数据库数据表 LAMOST科学数据库包含的数据表分为四类 SCi次科学数据类表 工作星表 运行信息 观测信息 Meta*元数据表 sCi_*数据表的元数据 其它元数据 Admin*管理类数据表 用户信息 管理员信息 用户空间管理 Log*日志数据表
数据库 数据表 LAMOST 科学数据库包含的数据表分为四类： Sci_* 科学数据类表 工作星表 运行信息 观测信息 Meta_* 元数据表 sci_* 数据表的元数据 其它元数据 Admin_* 管理类数据表 用户信息 管理员信息 用户空间管理 Log_* 日志数据表