数据压缩分为两类，按照标准不一样，有三种分法：即时压缩和非即时压缩 即时压缩是将语音信号转化为数字信号，同时进行压缩，然后即时通过Internet传送出去。即时压缩一般应用在影像、声音数据的传送中。非即时压缩是在需要的情况下才进行，没有即时性。
数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。无损压缩是指使用压缩后的数据进行重构（或者叫做还原，解压缩），重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。
首先，可逆压缩算法，如Huffman编码，以其无损特性而受到青睐。它通过对数据的频率分析，为每个字符分配最短的编码，从而实现高效的压缩。这种编码方式确保了解压后的数据与原始数据一致，适用于对数据准确性要求极高的场景。接着，非可逆压缩算法如JPEG，以牺牲一定的数据精确度换取更高的压缩比。
数据压缩分为两类，有三种分法：即时压缩和非即时压缩即时压缩是将语音信号转化为数字信号，同时进行压缩，然后即时通过Internet传送出去。即时压缩一般应用在影像、声音数据的传送中。非即时压缩是在需要的情况下才进行，没有即时性。
这种压缩方法同样是一种不可逆压缩。 对于数据压缩技术而言，最基本的要求就是要尽量降低数字化的在码事，同时仍保持一定的信号质量。不难想象，数据压缩的方法应该是很多的，但本质上不外乎上述完全可逆的冗余度压缩和实际上不可逆的嫡压缩两类。
用于压缩位图文件数据的方法分为两大类：保真压缩和失真压缩。无损压缩技术是图像数据中有很多重复的数据，使用数学方法表示重复的数据减少存储空间，压缩率比较低，也叫做保真压缩技术，如GIF、PCX、TIF等。
行式存储（OLTP），如同积木般按行堆积，适用于频繁的写入操作，如关系型数据库。而列式存储（OLAP）则以列为主导，便于数据分析，特别适合读取密集型场景，比如数据仓库（DW）和数据湖（DA）。为了兼顾不同查询性能，我们还引入了混合存储，巧妙融合了两者的优势，以适应各种查询需求。
分布式计算框架：如Hadoop的MapReduce，能够在大量计算机集群上并行地处理大数据，实现大数据的快速分析。数据挖掘和机器学习算法：大数据的挖掘和分析需要依赖于高效的数据挖掘和机器学习算法，如Scikit-learn、TensorFlow等。
一句话总结： zlib、gzip 在大数据语境中都是一种 压缩格式 ，他们使用相同的 压缩算法： DEFLATE，DefaultCodec 是 zlib 使用的 编解码器 ，Gzip 使用的编解码器是 GzipCodec 我们知道，Hadoop 在任务切分时，是按照文件的粒度进行的。即一个文件一个文件进行切分。
OLTP是一种多事务短时间片系统，有大量的DML操作，而DML操作我们都知道是有锁lock的（insert update delete）当数据块中记录数多起来时，导致访问这个数据块的用户就多，就是产生争用和等待，从而降低了效率。数据插入、更新和索引键值更新时，都要先解压缩再更新，等待的时间会更长。
压缩业务广泛应用在各个领域中，如互联网、移动互联网、计算机网络、电信、广电、金融行业等。特别是随着云计算、大数据等技术的迅速发展，压缩技术也得到迅速发展和广泛应用，为提高网络带宽利用率和降低网络传输成本做出了巨大贡献。
汇总压缩储存是一种数据存储技术，它允许将大型数据集汇总到一个数据存储容器中，并通过压缩算法将数据占用的空间最小化。这种技术可以显著降低存储数据所需的硬件成本和数据管理开销。部分压缩和分散储存已经成为云计算和大数据分析等领域中广泛采用的技术，因为它简化了数据管理，提高了可用性和可提供性。
SSISDB数据库的恢复模式默认是Full，如果不进行日志备份并截断，SSISDB.ldf会持续增长，很快占满磁盘。考虑到SSIDB并没有容灾要求，直接将恢复模式改为Simple Recovery，这样的好处是数据库Checkpoint之后会自动截断transaction log，SSISDB.ldf会控制在一个稳定的大小。
1、行式存储（OLTP），如同积木般按行堆积，适用于频繁的写入操作，如关系型数据库。而列式存储（OLAP）则以列为主导，便于数据分析，特别适合读取密集型场景，比如数据仓库（DW）和数据湖（DA）。为了兼顾不同查询性能，我们还引入了混合存储，巧妙融合了两者的优势，以适应各种查询需求。
2、rar是一种常见的压缩格式，而且，rar是一种专利文件格式，是由俄罗斯人尤金·罗谢尔开发，主要用于数据压缩和归档打包方面，rar的全称为“Roshal ARchive”，翻译为中文就是“罗谢尔的归档之意”。相比于另一种常见的压缩格式zip，rar压缩格式有着更高的压缩比，但也存在着压缩和解压速度较慢的特点。
3、本文介绍的4种大数据存储格式，2个是行式存储，2个是列式存储，但我们可以看到一个共同点：它们都是支持分割的。这是大数据文件结构体系中一个非常重要的特点， 因为可分割使一个文件可以被多个节点并发处理，提高数据的处理速度 。
4、zst格式是一种用于压缩数据的文件格式。它是由RUST语言编写的，使用了一种新颖的压缩算法——zstd，是目前迄今为止最快的压缩算法之一。与其他压缩算法相比，它可以在保持数据质量的同时，显著降低数据的大小。zst格式可用于各种类型的数据压缩，包括文本文件、图像文件、音频文件和视频文件。
大数据在存储和管理时用到的关键技术主要包括：分布式存储技术：如Hadoop的HDFS，能够将数据分散地存储在多个节点上，从而实现对海量数据的处理。分布式计算框架：如Hadoop的MapReduce，能够在大量计算机集群上并行地处理大数据，实现大数据的快速分析。
大数据预处理技术 大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。因获取的数据可能具有多种结构和类型，数据抽取的主要目的是将这些复杂的数据转化为单一的或者便于处理的结构，以达到快速分析处理的目的。
大数据预处理技术：该技术主要对采集到的数据进行识别、提取和清洗等操作。1 抽取：数据抽取过程将复杂的数据转化为单一或易于处理的格式，以便快速分析处理。2 清洗：大数据中包含大量无价值的数据，甚至包括错误的数据，因此需要通过过滤去除噪声，提取有效数据。
大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。大数据分析及挖掘技术 大数据分析技术。
评论