小李：嘿，小王，听说咱们公司最近要为烟台市开发一个大数据分析平台？
小王：是啊！我们计划使用数据中台系统来整合各种数据源，并提供强大的数据分析能力。你对这个项目感兴趣吗？
小李：当然啦！不过我还不太清楚数据中台到底能做些什么。你能给我讲讲它的主要功能吗？
小王：好的！数据中台的核心功能包括数据集成、数据存储、数据治理以及数据服务。比如，我们可以将烟台市政府部门的各种业务数据（如交通、环保、人口统计等）统一接入到中台系统中进行清洗和标准化。
小李：听起来很厉害呢！那具体怎么操作呢？有没有代码示例？
小王：当然有啦！比如，我们可以通过Python脚本连接MySQL数据库并读取数据。下面是一个简单的例子：
import pandas as pd
import pymysql
# 连接MySQL数据库
conn = pymysql.connect(host='localhost', user='root', password='password', database='yantai_data')
query = "SELECT * FROM traffic_data LIMIT 10;"
# 执行SQL查询并将结果加载到DataFrame中
df = pd.read_sql(query, conn)
print(df.head())
小李：哇，这确实方便多了！那么，数据治理这部分又是怎么工作的呢？
小王：数据治理主要是确保数据质量，比如去重、填补缺失值等。这里有一个简单的数据清洗示例：
def clean_data(df):
# 去除重复记录
df.drop_duplicates(inplace=True)
# 填补缺失值
for col in df.columns:
if df[col].dtype == 'float64' or df[col].dtype == 'int64':
df[col].fillna(df[col].mean(), inplace=True)
else:
df[col].fillna('Unknown', inplace=True)
return df
cleaned_df = clean_data(df)
print(cleaned_df.info())
小李：明白了，最后一步是数据服务吧？用户怎么获取这些处理后的数据呢？
小王：没错！我们可以搭建RESTful API接口供外部调用。以下是一个Flask框架下的简单实现：
from flask import Flask, jsonify
app = Flask(__name__)
@app.route('/data/api', methods=['GET'])
def get_data():
result = cleaned_df.to_dict(orient='records')
return jsonify(result)
if __name__ == '__main__':
app.run(debug=True)
小李：太棒了！这样一来，烟台市民就能通过API轻松访问各类统计数据了。
小王：没错，而且我们的系统还能不断扩展新的功能模块，比如可视化工具或者机器学习模型预测。
]]>