作为认知科学的延伸，数据科学一方面应该越来越引起广大大数据工作者的重视，另一方面也要撩开自己的神秘面纱，以最为亲民的姿态和每位大数据工作者成为亲密无间的战友，为用科学的思维方式进行工作做好理论准备。本书从众多先贤及科学家的轶事讲起，以逐步归纳和递进的脉络总结出科学及数据科学应关注的要点，然后在生产的各个环节中对这些要点逐一进行讨论与落实，从更高、更广的视角回看科学及数据科学在各个生产环节的缩影。本书并不以高深的数学理论研究作为目的，也不以某一种计算机语言编程作为主线脉络，而是在一个个看似孤立的故事与工程中不断拾遗，并试着从中悟出一些道理。本书适合大数据从业人员和对大数据相关知识感兴趣的人，初级和中级程序员、架构师及希望通过对数据的感知改进工作的人，产品经理、运 营经理、数据分析师、数据库开发工程师等对数据分析工作敏感的人，以及所有对数据科学感兴趣并希望逐步深入了解数据科学知识体系的人阅读。 认知篇 1 第1章 什么是科学家 2 1.1 从太阳东升西落开始 2 1.1.1 农历 2 1.1.2 公历 5 1.1.3 小结 7 1.2 阿基米德爱洗澡？ 7 1.3 托勒密的秘密 10 1.4 牛顿为什么那么牛 11 1.4.1 苹果和三大定律 11 1.4.2 极限和微积分 12 1.5 高斯——高，实在是高 15 1.6 离经叛道的爱因斯坦 17 1.7 本章小结 20 第2章 什么是科学 23 2.1 科学之科 23 2.2 边界的迷茫 23 2.3 科学之殇 26 2.4 本章小结 27 第3章 数据与数学 28 3.1 什么是数据 28 3.2 数学的奥妙 29 3.2.1 《几何原本》 29 3.2.2 《九章算术》 30 3.2.3 高等数学 34 3.3 本章小结 37 第4章 数据科学的使命 38 4.1 走近数据科学 38 4.1.1 介质 38 4.1.2 从信息到数据 41 4.1.3 数据科学的本质 43 4.2 万能的数据科学 44 4.2.1 测量 44 4.2.2 统计计算 47 4.2.3 指标 52 4.3 使命必达 53 4.3.1 高效生产 53 4.3.2 破除迷信 56 4.3.3 目标一致与不一致 57 4.4 本章小结 58 第5章 矛盾的世界 59 5.1 古希腊——学者高产的国度 59 5.2 矛盾无处不在 61 5.3 世界究竟是否可知 63 5.4 薛定谔的“喵星人” 64 5.5 本章小结 67 第6章 实验和哲学 68 6.1 朴素的认知方法 68 6.1.1 眼见为实 69 6.1.2 归纳与总结 70 6.2 哲学靠谱吗 71 6.3 数学的尽头是哲学 72 6.4 本章小结 73 第7章 辩证思维 74 7.1 要不要辩证有多大区别 74 7.2 谁对谁错 76 7.3 做到客观不容易 77 7.4 观念的存弭 79 7.5 本章小结 82 分化篇 85 第8章 统计学 86 8.1 数理统计鼻祖—阿道夫·凯特勒 86 8.2 统计就是统共合计 88 8.3 数据来源 90 8.4 抽样 91 8.5 对照实验 91 8.6 误差 94 8.6.1 抽样误差 94 8.6.2 非抽样误差 96 8.7 概括性度量 97 8.7.1 集中趋势度量 98 8.7.2 离散程度度量 100 8.7.3 小结 100 8.8 概率与分布 100 8.8.1 数学期望 102 8.8.2 正态分布 103 8.8.3 其他分布 106 8.9 统计学与大数据 107 第9章 信息论 109 9.1 模拟信号 109 9.2 信息量与信息熵 110 9.3 香农公式 111 9.4 数字信号 112 9.5 编码与压缩 113 9.5.1 无损压缩 114 9.5.2 有损压缩 117 9.6 本章小结 126 第10章 混沌论 127 10.1 洛伦兹在想什么 128 10.2 罗伯特·梅的养鱼计划 129 10.3 有限的大脑，无限的维 130 10.4 谋杀上帝的拉普拉斯 132 10.5 庞加莱不是省油的灯 134 10.6 未知居然还能做预测 137 10.7 本章小结 137 第11章 算法学 139 11.1 离散的世界 139 11.2 成本的度量 142 11.3 穷举法——暴力破解 143 11.4 分治法——化繁为简 152 11.5 回溯法——能省则省 154 11.6 贪心法——局部最优 155 11.7 迭代法——步步逼近 156 11.7.1 牛顿法 157 11.7.2 梯度下降法 158 11.7.3 遗传算法 159 11.8 机器学习——自动归纳 161 11.8.1 非监督学习 162 11.8.2 监督学习 164 11.8.3 强化学习 175 11.9 神经网络——深度学习 177 11.9.1 神经元 177 11.9.2 BP神经网络 180 11.9.3 损失函数 180 11.9.4 非线性分类 182 11.9.5 激励函数 186 11.9.6 卷积神经网络 188 11.9.7 循环神经网络 190 11.9.8 小结 193 11.10 本章小结 194 实践篇 195 第12章 数据采集 196 12.1 数据的源头 196 12.2 日志收集 197 12.2.1 实时上传 197 12.2.2 延时上传 201 12.2.3 加密问题 202 12.2.4 压缩问题 203 12.2.5 连接方式 204 12.2.6 消息格式 206 12.2.7 维度分解 207 12.3 这只是不靠谱的开始 208 12.4 本章小结 209 第13章 数据存储 210 13.1 读写不对等 210 13.1.1 读多写少 211 13.1.2 读少写多 211 13.1.3 读写都多 212 13.2 进快还是出快 213 13.2.1 最快写入 213 13.2.2 读出最快 215 13.3 文件还是数据库 215 13.4 要不要支持事务 216 13.5 表分区和索引 218 13.5.1 表分区 219 13.5.2 索引 219 13.6 稳定最重要 222 13.7 安全性和副本 223 13.7.1 RAID 223 13.7.2 软冗余 225 13.8 本章小结 226 第14章 数据统计 227 14.1 此“统计”恐非彼“统计” 227 14.2 要精确还是要简洁 231 14.3 统计是万能的吗 232 14.4 注意性能 234 14.5 本章小结 234 第15章 数据建模 235 15.1 模型是宝贵的财富 236 15.2 量化是关键 236 15.3 该算法出马了 237 15.3.1 统计学模型 238 15.3.2 线性关系 238 15.3.3 复杂的非线性关系 238 15.4 算法的哲学 240 15.5 本章小结 241 第16章 数据可视化与分析 242 16.1 看得见，摸得着 242 16.2 颜色很重要 242 16.3 别说布局没有用 244 16.3.1 由上而下，由简而繁 244 16.3.2 总-分，分-总，总-分-总 245 16.3.3 毗邻吸引 246 16.4 有图就别要表格 248 16.5 分析的内涵 249 16.5.1 相关性分析 250 16.5.2 预测分析 251 16.5.3 其他分析 252 16.6 有趣的统计应用 252 16.6.1 不规则图形的面积 252 16.6.2 套出你的实话 253 16.6.3 巧测圆周率 253 16.7 仁者见仁，智者见智 255 16.8 永恒的困惑 256 16.9 本章小结 257 第17章 数据决策 258 17.1 决策就是“拍脑袋” 258 17.2 哪里有物质，哪里就有数据 259 17.2.1 目的的统一 259 17.2.2 数据胜于雄辩 260 17.3 这是风险博弈 260 17.3.1 性价比优先 261 17.3.2 小迭代至上 262 17.3.3 不要“输不起” 262 17.3.4 留得青山在 263 17.4 本章小结 264 第18章 案例分析 266 18.1 K线图里的秘密 266 18.1.1 什么是市场 267 18.1.2 谁在控制价格 267 18.1.3 货币价格的形成 270 18.1.4 零和博弈 271 18.1.5 涨跌都盈利 272 18.1.6 价格的预测 273 18.1.7 形态 274 18.1.8 K线图周期 276 18.1.9 造市商与点差 277 18.1.10 科学分析 277 18.1.11 小结 310 18.2 数学能救命 310 18.2.1 阴云下的大西洋 311 18.2.2 护航船队的救星 311 18.2.3 数学家的天下 317 18.2.4 小结 317 18.3 人人都能运筹帷幄 317 第19章 与本书相关内容的问与答 319 后记 325 附录A 326 A.1 VMware Workstation的安装 326 A.1.1 VMware简介 326 A.1.2 安装准备工作 326 A.2 CentOS虚拟机的安装 329 A.2.1 下载DVD镜像 329 A.2.2 创建VMware虚拟机 329 A.3 Ubuntu虚拟机的安装 335 A.4 Python语言简介 341 A.4.1 安装Python 341 A.4.2 Hello Python 341 A.4.3 行与缩进 341 A.4.4 变量类型 342 A.4.5 循环语句 343 A.4.6 函数 344 A.4.7 模块 345 A.4.8 小结 345 A.5 Scikit-learn库简介 346 A.6 安装Theano 346 A.7 安装Keras 347 A.8 安装MySQL 347 A.9 安装MySQL-Python驱动 349 A.10 MT4平台简介 350 参考文献 353 营经理、数据分析师、数据库开发工程师等对数据分析工作敏感的人，以及所有对数据科学感兴趣并希望逐步深入了解数据科学知识体系的人阅读。 认知篇 1 第1章 什么是科学家 2 1.1 从太阳东升西落开始 2 1.1.1 农历 2 1.1.2 公历 5 1.1.3 小结 7 1.2 阿基米德爱洗澡？ 7 1.3 托勒密的秘密 10 1.4 牛顿为什么那么牛 11 1.4.1 苹果和三大定律 11 1.4.2 极限和微积分 12 1.5 高斯——高，实在是高 15 1.6 离经叛道的爱因斯坦 17 1.7 本章小结 20 第2章 什么是科学 23 2.1 科学之科 23 2.2 边界的迷茫 23 2.3 科学之殇 26 2.4 本章小结 27 第3章 数据与数学 28 3.1 什么是数据 28 3.2 数学的奥妙 29 3.2.1 《几何原本》 29 3.2.2 《九章算术》 30 3.2.3 高等数学 34 3.3 本章小结 37 第4章 数据科学的使命 38 4.1 走近数据科学 38 4.1.1 介质 38 4.1.2 从信息到数据 41 4.1.3 数据科学的本质 43 4.2 万能的数据科学 44 4.2.1 测量 44 4.2.2 统计计算 47 4.2.3 指标 52 4.3 使命必达 53 4.3.1 高效生产 53 4.3.2 破除迷信 56 4.3.3 目标一致与不一致 57 4.4 本章小结 58 第5章 矛盾的世界 59 5.1 古希腊——学者高产的国度 59 5.2 矛盾无处不在 61 5.3 世界究竟是否可知 63 5.4 薛定谔的“喵星人” 64 5.5 本章小结 67 第6章 实验和哲学 68 6.1 朴素的认知方法 68 6.1.1 眼见为实 69 6.1.2 归纳与总结 70 6.2 哲学靠谱吗 71 6.3 数学的尽头是哲学 72 6.4 本章小结 73 第7章 辩证思维 74 7.1 要不要辩证有多大区别 74 7.2 谁对谁错 76 7.3 做到客观不容易 77 7.4 观念的存弭 79 7.5 本章小结 82 分化篇 85 第8章 统计学 86 8.1 数理统计鼻祖—阿道夫·凯特勒 86 8.2 统计就是统共合计 88 8.3 数据来源 90 8.4 抽样 91 8.5 对照实验 91 8.6 误差 94 8.6.1 抽样误差 94 8.6.2 非抽样误差 96 8.7 概括性度量 97 8.7.1 集中趋势度量 98 8.7.2 离散程度度量 100 8.7.3 小结 100 8.8 概率与分布 100 8.8.1 数学期望 102 8.8.2 正态分布 103 8.8.3 其他分布 106 8.9 统计学与大数据 107 第9章 信息论 109 9.1 模拟信号 109 9.2 信息量与信息熵 110 9.3 香农公式 111 9.4 数字信号 112 9.5 编码与压缩 113 9.5.1 无损压缩 114 9.5.2 有损压缩 117 9.6 本章小结 126 第10章 混沌论 127 10.1 洛伦兹在想什么 128 10.2 罗伯特·梅的养鱼计划 129 10.3 有限的大脑，无限的维 130 10.4 谋杀上帝的拉普拉斯 132 10.5 庞加莱不是省油的灯 134 10.6 未知居然还能做预测 137 10.7 本章小结 137 第11章 算法学 139 11.1 离散的世界 139 11.2 成本的度量 142 11.3 穷举法——暴力破解 143 11.4 分治法——化繁为简 152 11.5 回溯法——能省则省 154 11.6 贪心法——局部最优 155 11.7 迭代法——步步逼近 156 11.7.1 牛顿法 157 11.7.2 梯度下降法 158 11.7.3 遗传算法 159 11.8 机器学习——自动归纳 161 11.8.1 非监督学习 162 11.8.2 监督学习 164 11.8.3 强化学习 175 11.9 神经网络——深度学习 177 11.9.1 神经元 177 11.9.2 BP神经网络 180 11.9.3 损失函数 180 11.9.4 非线性分类 182 11.9.5 激励函数 186 11.9.6 卷积神经网络 188 11.9.7 循环神经网络 190 11.9.8 小结 193 11.10 本章小结 194 实践篇 195 第12章 数据采集 196 12.1 数据的源头 196 12.2 日志收集 197 12.2.1 实时上传 197 12.2.2 延时上传 201 12.2.3 加密问题 202 12.2.4 压缩问题 203 12.2.5 连接方式 204 12.2.6 消息格式 206 12.2.7 维度分解 207 12.3 这只是不靠谱的开始 208 12.4 本章小结 209 第13章 数据存储 210 13.1 读写不对等 210 13.1.1 读多写少 211 13.1.2 读少写多 211 13.1.3 读写都多 212 13.2 进快还是出快 213 13.2.1 最快写入 213 13.2.2 读出最快 215 13.3 文件还是数据库 215 13.4 要不要支持事务 216 13.5 表分区和索引 218 13.5.1 表分区 219 13.5.2 索引 219 13.6 稳定最重要 222 13.7 安全性和副本 223 13.7.1 RAID 223 13.7.2 软冗余 225 13.8 本章小结 226 第14章 数据统计 227 14.1 此“统计”恐非彼“统计” 227 14.2 要精确还是要简洁 231 14.3 统计是万能的吗 232 14.4 注意性能 234 14.5 本章小结 234 第15章 数据建模 235 15.1 模型是宝贵的财富 236 15.2 量化是关键 236 15.3 该算法出马了 237 15.3.1 统计学模型 238 15.3.2 线性关系 238 15.3.3 复杂的非线性关系 238 15.4 算法的哲学 240 15.5 本章小结 241 第16章 数据可视化与分析 242 16.1 看得见，摸得着 242 16.2 颜色很重要 242 16.3 别说布局没有用 244 16.3.1 由上而下，由简而繁 244 16.3.2 总-分，分-总，总-分-总 245 16.3.3 毗邻吸引 246 16.4 有图就别要表格 248 16.5 分析的内涵 249 16.5.1 相关性分析 250 16.5.2 预测分析 251 16.5.3 其他分析 252 16.6 有趣的统计应用 252 16.6.1 不规则图形的面积 252 16.6.2 套出你的实话 253 16.6.3 巧测圆周率 253 16.7 仁者见仁，智者见智 255 16.8 永恒的困惑 256 16.9 本章小结 257 第17章 数据决策 258 17.1 决策就是“拍脑袋” 258 17.2 哪里有物质，哪里就有数据 259 17.2.1 目的的统一 259 17.2.2 数据胜于雄辩 260 17.3 这是风险博弈 260 17.3.1 性价比优先 261 17.3.2 小迭代至上 262 17.3.3 不要“输不起” 262 17.3.4 留得青山在 263 17.4 本章小结 264 第18章 案例分析 266 18.1 K线图里的秘密 266 18.1.1 什么是市场 267 18.1.2 谁在控制价格 267 18.1.3 货币价格的形成 270 18.1.4 零和博弈 271 18.1.5 涨跌都盈利 272 18.1.6 价格的预测 273 18.1.7 形态 274 18.1.8 K线图周期 276 18.1.9 造市商与点差 277 18.1.10 科学分析 277 18.1.11 小结 310 18.2 数学能救命 310 18.2.1 阴云下的大西洋 311 18.2.2 护航船队的救星 311 18.2.3 数学家的天下 317 18.2.4 小结 317 18.3 人人都能运筹帷幄 317 第19章 与本书相关内容的问与答 319 后记 325 附录A 326 A.1 VMware Workstation的安装 326 A.1.1 VMware简介 326 A.1.2 安装准备工作 326 A.2 CentOS虚拟机的安装 329 A.2.1 下载DVD镜像 329 A.2.2 创建VMware虚拟机 329 A.3 Ubuntu虚拟机的安装 335 A.4 Python语言简介 341 A.4.1 安装Python 341 A.4.2 Hello Python 341 A.4.3 行与缩进 341 A.4.4 变量类型 342 A.4.5 循环语句 343 A.4.6 函数 344 A.4.7 模块 345 A.4.8 小结 345 A.5 Scikit-learn库简介 346 A.6 安装Theano 346 A.7 安装Keras 347 A.8 安装MySQL 347 A.9 安装MySQL-Python驱动 349 A.10 MT4平台简介 350 参考文献 353