数据科学 – QuantPlus Analytics Offical Site! The Official news and tips site.

DS+数据科学科研实训平台

以产业数据为源，创新教学与科研

DS+数据科学综合实训平台

DS+数据科学平台是为解决现有数据科学平台存在的问题而推出的，旨在提供更全面、便捷的学习和实践环境。首先，我们提供开箱即用的交互式实验环境，用户无需自行搭建环境，可以快速开始学习和实践数据科学。其次，DS+平台拥有丰富的数据集和案例集，为用户提供更多可供学习和实践的素材。这将帮助用户更好地理解数据分析的过程，并能够应用到实际问题中。第三，我们提供完备的实验操作模板，包括详细的操作过程和说明。用户可以通过这些模板学习和参考，理解不同类别的分析工作，并能够运用类似的方法完成其他任务。最后，DS+平台还配备智能的辅助学习工具，为用户提供有效的指导和帮助。

DS+核心优势功能

（1）分布式财经数据库

DS+数据库是一款基于无服务器分布式架构设计的数据库，具有高透明度、更快的性能、成本效益、即时可用性等优势。无服务器分布式数据库是一种自动化的数据库服务，无需手动维护、扩展和更新，它具有可扩展性、弹性缩放、高可用性、安全性、无数据库范式和接口化等特点。访问数据库就像使用API接口一样简单，可以使用无数据库范式管理数据库的任何数据输出。

（2）跨行业的数据科学案例集

DS+平台拥有16.8万个的高质量数据集，内容涵盖了全球各个行业，涉及交通、运输、能源、经济、农业、工业、医疗、科技、教育等领域，包括图像、文本、时间序列、地理空间、音频和视频数据。这些数据集可用于数据分析、机器学习和深度学习等应用，为数据科学家和研究人员提供丰富资源，助力数据分析和建模，推动学术方法论的发展。

（3）开箱即用的实验环境

DS+数据科学平台提供了容器化的Jupyter实验环境，无需安装/配置，一键启动在线实验环境，快速进行代码的编写和运行解决相应的问题。此外，平台集成了大量的python第三方函数库，用户可以灵活地加载各个模块的资源。

（4）AI智能辅助工具

DS+平台在数据科学平台中具有独特的优势之一就是配备了AI智能学习助手。相比其他平台缺乏智能答疑功能，DS+平台以人工智能的方式帮助用户更快速地解决问题，提高用户的学习效率。

实验项目：

DS+数据科学综合实训平台实验项目
实验项目一	数据要素治理
实验项目二	数据预处理实验
实验项目三	数据爬取实验
实验项目四	数据特征建模基础实验
实验项目五	金融收益模型和风险实验

适用专业

DS+数据科学平台，可以适用于各个学科专业，不同行业的数据科学应用场景不同，适用的学科专业包括但不限于：

计算机类

计算机科学与技术、软件工程、网络工程、信息安全、人工智能、机器学习

数学类

数学与应用数学、统计学与应用统计学、金融数学、运筹学与控制论

地球科学与环境科学类

地球物理学、地质学、地理信息科学、环境科学与工程、生态学

经济类

金融学、应用经济学、会计学、经济统计学、管理学、人力资源管理

社会学类

社会学、心理学、教育学、统计心理学

教育类

教育学、教育技术学、远程教育

农业类

农业工程、农业资源与环境、农业机械化工程、农业经济管理

了解更多

什么是无服务分布式数据库？

无服务分布式数据库是一种专门设计用于存储、积累、处理和增强数据的实时数据存储库，它能够自动扩展和管理数据存储，无需用户进行手动配置或管理。与传统的数据库不同，它不需要管理基础设施或服务器，因此可以更轻松地扩展和部署。

无服务分布式数据库采用了分布式架构，将数据存储在多个节点上，从而实现了数据的高可用性和容错性。同时，无服务分布式数据库还可以自动进行数据备份和恢复，确保数据的安全性和可靠性。

无服务分布式数据库还具有“无服务器”特性，即用户无需关心底层服务器的配置和管理，只需要关注数据的存储和查询即可。这种特性使其能够更好地适应云计算环境下的应用场景，如大规模数据处理、物联网等。

无服务分布式数据库的特性

维护简单自动化：无需手动管理服务器资源调配、容量规划、扩展、维护和更新等任务，使用起来极为便捷，节省了时间和精力。
可扩展性：无服务数据库可以随时根据应用程序的需要进行扩展或缩小，确保负载均衡，避免因客户端访问限制导致的功能无法运行。
实时数据处理：能够自动处理和分析数据，以提供实时数据分析和数据生成的优势。
两种业务类型数据库：

“关系型数据库”指不包含任何时间索引的数据，该部分数据可以通过界面和查询语句生成器生成查询语句。
“时间序列数据库”指包含时间索引的数据，该部分数据可以通过界面和查询时间范围确定查询语句。

无数据库范式：可以使用无数据库范式管理数据库的任何数据输出，使无服务数据库集成到功能应用中变得轻而易举。

DS+数据库功能聚焦

DS+领域数据库包含网页端可视化查询界面和Python API数据获取客户端。数据库资源可通过网页交互形式查询及获取查询的sql语句，通过查询语句获取所有数据，即取即用。

网页端可视化查询界面

为了便于没有IT技术背景的用户也能够轻松进行数据查询，DS+数据库提供了SQL查询语句可视化构建器。这个工具可以帮助非专业人员轻松地进行数据查询操作，无需具备专业技能。

用户只需简单地通过鼠标在界面选择和配置相关选项，就能构建出所需的查询语句。通过SQL查询语句构建器，用户可以选择要查询的表、字段以及条件，并进行逻辑组合和排序等操作。构建器会自动生成相应的SQL查询语句，然后将其发送给无服务分布式数据库进行数据查询预览。用户可以实时预览查询结果，并根据结果进行进一步调整和处理。

关系型数据库可视化查询

在“关系型数据库”标签页，可以获取关系型数据库目前存放的所有表名和表内容的描述。点击每个数据表的名称内容，切换数据表的选择。在第二列会显示选中表的名称和该表所包含的字段，以及字段类型，最右侧会预览该数据表前10条记录。

用户可以使用“sql构建器”，查询和预览相应的数据，并用可视化的方式生成查询语句。点击左下角的“查询字段”选择需要查询的字段，这里选择COMPANY_NAME、CREDIT_CODE、FOUND_DATE。

可以选择单个查询的条件，点击“Select”区域的字段选项，如FOUND_DATE，条件为FOUND_DATE是‘1515974400000’，可以选择“逻辑”选择“=”，值选择‘1515974400000’ ，点击“开始查询”，可以查询到数据的预览结果

也可以进行选择多个查询的条件，点击“Select”区域的字段选项，条件为FOUND_DATE是‘1515974400000’，选择“关系”下拉选项为and，点击“sql构建器”左上角的“+”进行条件添加。这里选择“COMPANY_NAME”逻辑选择“=”，值为横琴理忱资产管理有限公司，点击“开始查询”，实现查询的结果和构建出来的sql语句。

可以直接下载查询语句，粘贴到python客户端进行数据获取，详见DS + python客户端模块描述。

时间序列型数据库可视化查询

在“时间序列型数据库”标签页，可以获取时间序列型数据库目前存放的所有表名和表内容的描述，可以选择“时间序列数据库名”，该库包含的“时间序列数据表名”，该表包含的“查询时间范围”。默认可以不选时间，在左下角显示查询生成的sql语句。

Python API客户端数据获取

完成DS +客户端安装，即可在该环境里实现python客户端库的调用，进入安装DS +客户端的python环境，将查询语句粘贴到执行参数处，即可查询出返回结果，可支持numpy类型和pandas类型。

关系型数据库访问

在python环境执行以下语句，可以获取相应的关系型数据库数据：

## 导入FinDataLabClient客户端
from FinDataLab.connect import RelationConnect, TimeseriesConnect## 连接关系型数据库
rs = RelationConnect()
## 获取pandas dataframe格式的数据查询结果
rs_df = rs.select(“select REFINDEX,TENOR,WSWPRATE,IDATE,VOLUME_M from finance.IRSDLYBLTN where VOLUME_M > 300”).to_pandas()
rs_df.head(3)

时间序列型数据库访问

在python环境执行以下语句，可以获取相应的时间序列型数据库数据：

## 导入FinDataLabClient客户端
from FinDataLab.connect import RelationConnect, TimeseriesConnect
## 连接时间序列型数据库
ts = TimeseriesConnect()
## 获取pandas dataframe格式的数据查询结果
ds = ts.select("select * from stock.day['688322','688297','603187'] limit 20").to_pandas()
ds.head(3)

可以得到返回的dataframe格式的数据