小明：最近听说南昌在推进数据中台系统，这个系统具体有什么功能呢？
小李：数据中台系统主要是为了整合和管理企业或城市的数据资源。南昌的数据中台应该包括数据采集、数据治理、数据服务等核心功能。
小明：那你能举个例子吗？比如如何实现数据采集？
小李：可以使用Python脚本结合Kafka进行实时数据采集。例如，下面是一个简单的数据采集示例代码：
import requests
from kafka import KafkaProducer
def fetch_data():
response = requests.get('https://api.example.com/data')
return response.json()
producer = KafkaProducer(bootstrap_servers='localhost:9092')
data = fetch_data()
producer.send('data_topic', str(data).encode('utf-8'))
小明：这段代码看起来不错，那数据治理部分怎么实现呢？
小李：数据治理通常包括数据清洗、去重、标准化等操作。可以用Apache Spark来处理这些任务。例如：
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("DataCleaning").getOrCreate()
df = spark.read.csv("input.csv")
cleaned_df = df.dropDuplicates().filter(df['value'].isNotNull())
cleaned_df.write.csv("output.csv")
小明：明白了，那数据服务部分呢？
小李：数据服务可以通过API的方式提供给业务系统调用。比如使用Flask搭建一个简单的REST API：
from flask import Flask, jsonify
import pandas as pd
app = Flask(__name__)
df = pd.read_csv('data.csv')
@app.route('/data', methods=['GET'])
def get_data():
return jsonify(df.to_dict())
if __name__ == '__main__':
app.run(host='0.0.0.0', port=5000)
小明：看来南昌的数据中台系统功能很全面，能支持多种应用场景。
小李：是的，功能清单包括数据采集、治理、服务等多个模块，能够有效提升数据利用率。