浮点数

看不见的浮点数,0.1+0.2竟然都算错

说到浮点误差,有一个比较高深的计算机概念——浮点数,有兴趣的同学可以问度娘。简单说,在计算机的计算中,只能存储和处理二进制数据,就是1和0。Excel在计算时,首先要把十进制的数值转换为二进制,交给计算机处理,最后再把二进制的结果转换为十进制,显示到Excel

excel countif 浮点数 浮点 十进制 2025-04-22 11:23  6

刘心向学(11)联合体的定义及其应用

在编程中,联合体(Union)是一种特殊的数据结构类型,允许在相同的内存位置存储不同类型的数据。与结构体不同,联合体的所有成员共享同一块内存空间,这意味着在同一时间只能存储其中一种数据类型。尽管联合体的应用场景相对有限,但它在某些特定情况下可以显著提高内存使用

应用 刘心 联合体 浮点数 刘心向学 2025-04-20 15:11  6

如何将整数除法转换为浮点数除法?

在 C# 中,整数除法会舍去小数部分,返回一个整数结果。如果需要将整数除法转换为浮点数除法,从而保留小数部分,可以通过以下方法实现:将除法操作中的一个或两个整数操作数显式转换为浮点类型(如 float 或 double),确保除法运算是浮点运算。int a =

浮点数 除法 浮点数除法 2025-01-29 16:17  12

【AI系统】计算之比特位宽

在前面的深度学习计算模式里面我们提到了模型的量化操作,通过建立一种有效的数据映射关系,使得模型以较小的精度损失获得更好的模型执行效率的收益。模型量化的具体操作就是将高比特的数据转换为低比特位宽表示。本文我们将对计算的比特位宽概念做一个更具体的了解。

浮点数 比特位 二进制补码 2024-12-02 23:18  15

多个字节如何转为浮点数

今天我们手动用算法转换一下,在转换之前大家想想,为什么不论工控机、西门子、三菱或是其他品牌PLC,都能正常显示浮点数?其实他们的底层一定离不开数据标准。没错,我们使用IEEE754标准算法进行计算。

字节 bytes 浮点数 2024-12-25 20:00  14