"""数据访问层 - 提供隐私保护的数据访问接口。""" import pandas as pd import logging from typing import Dict, Any, List, Optional from pathlib import Path from src.models import DataProfile, ColumnInfo logger = logging.getLogger(__name__) class DataLoadError(Exception): """数据加载错误。""" pass class DataAccessLayer: """ 数据访问层，提供隐私保护的数据访问。 核心原则： - AI 不能直接访问原始数据 - 只能通过工具获取聚合结果 - 数据画像只包含元数据和统计摘要 """ def __init__(self, data: pd.DataFrame, file_path: str = ""): """ 初始化数据访问层。 参数： data: 原始数据（私有，不暴露给 AI） file_path: 数据文件路径 """ self._data = data # 私有数据，AI 不可访问 self._file_path = file_path @classmethod def load_from_file(cls, file_path: str, max_retries: int = 3, optimize_memory: bool = True) -> 'DataAccessLayer': """ 从文件加载数据，支持多种编码和性能优化。 参数： file_path: CSV 文件路径 max_retries: 最大重试次数 optimize_memory: 是否优化内存使用 返回： DataAccessLayer 实例 异常： DataLoadError: 数据加载失败 """ encodings = ['utf-8', 'gbk', 'gb2312', 'latin1', 'iso-8859-1'] for encoding in encodings: try: logger.info(f"尝试使用编码 {encoding} 加载文件: {file_path}") # 使用低内存模式加载大文件 data = pd.read_csv(file_path, encoding=encoding, low_memory=False) # 检查数据是否为空 if data.empty: raise DataLoadError(f"文件 {file_path} 为空") # 检查数据大小并采样 if len(data) > 1_000_000: logger.warning(f"数据过大（{len(data)}行），采样到100万行") data = data.sample(n=1_000_000, random_state=42) # 优化内存使用 if optimize_memory: from src.performance_optimization import DataLoadOptimizer initial_memory = data.memory_usage(deep=True).sum() / 1024 / 1024 data = DataLoadOptimizer.optimize_dtypes(data) final_memory = data.memory_usage(deep=True).sum() / 1024 / 1024 logger.info(f"内存优化: {initial_memory:.2f}MB -> {final_memory:.2f}MB (节省 {initial_memory - final_memory:.2f}MB)") logger.info(f"成功加载数据: {len(data)}行, {len(data.columns)}列") return cls(data, file_path) except UnicodeDecodeError: logger.debug(f"编码 {encoding} 失败，尝试下一个") continue except Exception as e: logger.error(f"加载文件失败 ({encoding}): {e}") if encoding == encodings[-1]: raise DataLoadError(f"无法加载文件 {file_path}: {e}") continue raise DataLoadError(f"无法加载文件 {file_path}，尝试了所有编码") def get_profile(self) -> DataProfile: """ 生成数据画像（安全，不包含原始数据）。 返回： DataProfile: 数据画像，包含元数据和统计摘要 """ columns_info = [] for col_name in self._data.columns: col_data = self._data[col_name] # 推断数据类型 dtype = self._infer_column_type(col_data) # 计算缺失率 missing_rate = col_data.isna().sum() / len(col_data) # 计算唯一值数量 unique_count = col_data.nunique() # 获取示例值（最多5个，去重） sample_values = col_data.dropna().unique()[:5].tolist() # 计算统计信息 statistics = {} if dtype == 'numeric': statistics = { 'min': float(col_data.min()) if not col_data.isna().all() else None, 'max': float(col_data.max()) if not col_data.isna().all() else None, 'mean': float(col_data.mean()) if not col_data.isna().all() else None, 'std': float(col_data.std()) if not col_data.isna().all() else None, 'median': float(col_data.median()) if not col_data.isna().all() else None, } elif dtype == 'categorical': value_counts = col_data.value_counts().head(10) statistics = { 'top_values': value_counts.to_dict(), 'num_categories': unique_count, } columns_info.append(ColumnInfo( name=col_name, dtype=dtype, missing_rate=float(missing_rate), unique_count=int(unique_count), sample_values=sample_values, statistics=statistics )) return DataProfile( file_path=self._file_path, row_count=len(self._data), column_count=len(self._data.columns), columns=columns_info, inferred_type='unknown', # 将由 AI 推断 key_fields={}, quality_score=0.0, summary="" ) def _infer_column_type(self, col_data: pd.Series) -> str: """ 推断列的数据类型。 参数： col_data: 列数据 返回： 数据类型: 'numeric', 'categorical', 'datetime', 'text' """ # 检查是否为日期时间类型 if pd.api.types.is_datetime64_any_dtype(col_data): return 'datetime' # 尝试转换为日期时间 if col_data.dtype == 'object': try: sample = col_data.dropna().head(20) if len(sample) == 0: pass else: # 尝试用常见日期格式解析 date_formats = ['%Y-%m-%d', '%Y/%m/%d', '%Y-%m-%d %H:%M:%S', '%Y/%m/%d %H:%M:%S', '%d/%m/%Y', '%m/%d/%Y'] parsed = False for fmt in date_formats: try: pd.to_datetime(sample, format=fmt) parsed = True break except (ValueError, TypeError): continue if not parsed: # 最后尝试自动推断，但用 infer_datetime_format pd.to_datetime(sample, format='mixed', dayfirst=False) parsed = True if parsed: return 'datetime' except: pass # 检查是否为数值类型 if pd.api.types.is_numeric_dtype(col_data): return 'numeric' # 检查是否为分类类型（唯一值较少） unique_ratio = col_data.nunique() / len(col_data) if unique_ratio < 0.05 or col_data.nunique() < 20: return 'categorical' # 默认为文本类型 return 'text' def execute_tool(self, tool: Any, **kwargs) -> Dict[str, Any]: """ 执行工具并返回聚合结果（安全）。 参数： tool: 分析工具实例 **kwargs: 工具参数 返回： 工具执行结果（聚合数据） """ try: result = tool.execute(self._data, **kwargs) return self._sanitize_result(result) except Exception as e: logger.error(f"工具 {tool.name} 执行失败: {e}") return { 'success': False, 'error': str(e), 'tool': tool.name } def _sanitize_result(self, result: Dict[str, Any]) -> Dict[str, Any]: """ 确保结果不包含原始数据，只返回聚合数据。 参数： result: 工具执行结果 返回： 过滤后的结果 """ # 检查结果中是否有 DataFrame sanitized = {} for key, value in result.items(): if isinstance(value, pd.DataFrame): # 限制返回的行数 if len(value) > 100: logger.warning(f"结果包含 {len(value)} 行数据，截断到100行") value = value.head(100) sanitized[key] = value.to_dict('records') elif isinstance(value, pd.Series): # 限制返回的行数 if len(value) > 100: logger.warning(f"结果包含 {len(value)} 行数据，截断到100行") value = value.head(100) sanitized[key] = value.to_dict() else: sanitized[key] = value return sanitized @property def shape(self) -> tuple: """返回数据形状（行数，列数）。""" return self._data.shape @property def columns(self) -> List[str]: """返回列名列表。""" return self._data.columns.tolist()