搭建三合一网站杭州关键词优化平台
数据真是越来越多啊
正文开始
一、数据
结构化数据
可以使用关系型数据库表示和存储的数据，拥有固定结构
半结构化数据
弱结构化，虽然不符合关系型数据模型的要求，但是含有相关的标记(自描述结构)，分割实体及其属性 。如：XML，JSON等
非结构化数据
没有固定数据结构，或很难发现统一数据结构的数据
文档，文本，图片，视频，音频等
二、数据库
数据库(Database, DB)
长期储存在计算机内、有组织的、可共享的大量数据的集合。
数据库管理系统(Database Management System, DBMS)
位于用户与操作系统之间的一层数据管理软件
数据库系统(Database System，简称DBS)
在计算机系统中引入数据库后的系统构成
DB、DBMS（及其开发工具）、应用系统、数据库管理员
关系型数据库系统（SQL）
关系模型中数据的逻辑结构是一张二维表，行与列
特点：结构化
概念：关系，属性，元组
优点1：管理效率高（十万，百万，千万… ）
数据库的安全性：自主存取控制与强制存取控制
自主存取控制（Discretionary Access Control ，简称DAC）
用户可“自主”地决定将数据的存取权限授予何人、决定是否也将“授予”的权限授予别人
强制存取控制（Mandatory Access Control，简称 MAC）
系统“强制”地给用户和数据标记安全等级
(1)仅当主体(如用户)的许可证级别大于或等于客体（数据，表，索引等）的密级时，该主体才能读取相应的客体
(2)仅当主体的许可证级别小于或等于客体（数据）的密级时，该主体才能写相应的客体
数据库的效率：索引
建立索引（Index）的目的：加快查询速度
谁可以建立索引
DBA 或 表的属主（即建立表的人）
DBMS一般会自动建立以下列上的索引
PRIMARY KEY
UNIQUE
谁维护索引
DBMS自动完成
使用索引
DBMS自动选择是否使用索引以及使用哪些索引
RDBMS中索引一般采用B+树、HASH索引来实现
B+/B-树索引具有动态平衡的优点
HASH索引具有查找速度快的特点
NoSQL（Not Only SQL）
非关系型的DBMS，不同于传统关系型DB的DBMS的统称
超大规模数据存储，不需要固定模式，无需多余操作横向扩展
为什么NoSQL？（大数据）
数据量的飞速增长：GB-TB-PB
RDBMS的范式约束、事务特性、磁盘IO等特点的限制
开发需求的前期不明确
如果要详细学习NoSQL：可以学习MongoDB
MongoDB VS MySQL
NoSQL适用于
数据模型比较简单；
需要灵活性更强的IT系统；
对DBMS性能要求较高；
不需要高度的数据一致性；
对于给定key，比较容易映射复杂值的环境
附：想要查看各个数据库的使用排名，可以去看如下链接
https://db-engines.com/en/ranking
https://db-engines.com/en/ranking
三、爬虫及数据库学习分享链接
Beautiful Soup
Beautiful Soup 4.4.0 文档 — beautifulsoup 4.4.0q 文档http://beautifulsoup.readthedocs.io/zh_CN/latest/
MongoDB教程
MongoDB 教程 | 菜鸟教程MongoDB 教程 MongoDB是一个流行的开源文档型数据库，它使用类似 JSON 的文档模型存储数据，这使得数据存储变得非常灵活。 MongoDB 是一个基于文档的 NoSQL 数据库，由 MongoDB Inc. 开发。 MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 现在开始学习 ..http://www.runoob.com/mongodb/mongodb-tutorial.html
CSS选择器教程
CSS 选择器参考手册http://www.w3school.com.cn/cssref/css_selectors.asp
jsoup教程
http://blog.csdn.net/column/details/jsoup.htmlhttp://blog.csdn.net/column/details/jsoup.html
scrapy教程
Scrapy入门教程 — Scrapy 0.24.6 文档http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
下一讲，我们将讲述数据预处理