大数据分析复习与考试总结
刘盛华部分 第二章 大数据分析技术与系统 第1节 数据与计算的演变 第2节 大数据分布式计算模型 大数据分析算法特点: 以优化为中心,多轮迭代直到收敛,容错高。 序列计算 在处理器上按照先后顺序进行 将问题分解为指令序列,按顺序依次执行指令,在一个处理器上执行所有指令,任意时间片里处理器只有一条指令在执行。 并行计算 将问题分解为可以并发处理的子问题 每一个子问题分为逻辑虚列 需要一个总体的控制机制 在大数据处理中 O(n2)算法很难处理intractable 算法可扩展(scalable)性 当c=0,A是线性scalable,当 A(n)=o(1)A(n) = o(1)A(n)=o(1) 是super scalable Cost Measures Communication cost = total I/O of all processes Elapsed communication cost = max of I/O along any path 第3节 分布式计算系统:map-reduce **Map:**读取输入值,生成key-value对。 用户设计ma...
图像处理复习与考试总结
第三章:空域图像处理 第四章:频域图像处理 第五章:图像噪声建模与图像恢复 第七章:多分辨率分析与小波变换 考试总结 考试题型:填空题,选择题,判断题,简答题,计算分析题。全都是考前两三天可以学完的。z变换忘学了,其他地方应该也写错了较多。主要是没搞到2019年的卷子,听说都是那年的原题。问题不大,能过就行。
信号与系统复习与考试总结
绪论 信号 周期信号与非周期信号 能量信号与功率信号 典型连续间信号 正弦信号 指数信号 抽样信号 系统 因果系统与非因果系统 稳定系统与非稳定系统 线性系统与非线性系统 时不变系统和时变系统 连续时间系统的时域分析 电路系统的古典解法 通解-自然响应-零输入相应 特解-受迫相应-零状态响应 系统方程的算子表示法 微分算子 转移算子 H(p)=N(p)D(p)H(p)=\frac{N(p)}{D(p)}H(p)=D(p)N(p) 系统的零输入响应-解齐次方程 特征多项式 D(p)=0D(p)=0D(p)=0 的根为特征根 λi\lambda_iλi,自然频率 无重根 有重根 系统的零状态响应-激励和单位冲激相卷积 任意函数可以分解为冲激函数积分 奇异函数 单位阶跃函数 冲激函数 阶跃响应和冲激响应-求解h(t) 激励函数表示为冲激函数的积分 冲激响应的特解有标准的形式 用系统转移算子 H(p)H(p)H(p) 计算 h(t)h(t)h(t) 零状态响应由激励函数与冲激卷积积分求得 rzs(t)=e(t)∗h(t)r_{z_s}...
数据科学导论复习与考试总结
数据科学概述 机器学习 机器学习是一门人工智能的科学,该领域的主要研 究对象是如何在经验学习中改善具体算法的性能。 机器学习是对能通过经验自动改进计算机算法的研 究。 有监督学习:基于输入数据及目标值建立模型 无监督学习:无监督学习不指定目标值或预先无法知道目标值 深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征,并利用这些组合特征解决问题,深度学习是机器学习的一个分支。 数据挖掘算法概述 分类 回归 一元线性回归 多元线性回归 SVM支持向量机 KNN 近邻 决策树 朴素贝叶斯 聚类 K-Means K均值 层次聚类 谱聚类 DBSCAN(基于密度) 集成算法 Bagging Boosting Stacking 模型评价 分类模型:混淆矩阵、正确率、召回率 回归模型:平方绝对差、均方误差、决定系数 聚类模型:内部指标、外部指标、轮廓系数 数据预处理 描述性数据汇总 分布式度量 代数度量 整体度量 度量中心趋势 经验公式计算众数mean−mode=3*(mean − median) 方差和标准差(standa...






