1.SnowFlake 雪花算法简介

SnowFlake 中文意思为雪花，故称为雪花算法。最早是 Twitter 公司在其内部用于分布式环境下生成唯一 ID。

雪花算法将 64 位二进制位划分为五个部分，分别如下：

符号位：始终为 0，占用 1 位。
时间戳：精确到毫秒级，占用 41 位。
机器 ID：机器 ID 可以划分为两部分，占用 10 位。其中 5 位是数据中心 ID，另外 5 位是机器 ID。
序列号：序列号可以精确控制单位时间内最大生成的 ID 数量，占用 12 位。
总共 64 位，除去符号位后剩下 63 位，刚好是一个 Java long 类型的取值范围。

2.雪花算法各个部分分析

符号位

因为二进制里第一个bit如果为1，则表示为负数。但是雪花算法生成的long类的数字都是整数，所以第一个bit统一都是0。

时间戳

41bit可以表示的数字多达2^41 - 1，也就是可以标识2 ^ 41 - 1个毫秒值，换算成年就是69年的时间。

年 = (1L << 41) / (1000L * 60 * 60 * 24 *365) = 69

工作机器ID

工作机器ID有10bit位，就表示这个服务最多部署在2^10台机器上，也就是1024台机器。但是10 bit里5个bit 代表机房id, 5个bit代表机器id。意思就是最多代表2^5个机房(32 个机房)，每个机房里可以代表2^5个机器(32 台机器)，也可以根据自己公司的实际情况确定。

序列号

12 bit可以代表的最大正整数是2^12- 1 = 4096,也就是说可以用这个12 bit代表的数字来区分同一个毫秒内的
4096个不同的id。

3.雪花算法源码

/**
 * Twitter的SnowFlake算法,使用SnowFlake算法生成一个整数，然后转化为62进制变成一个短地址URL
 *
 * https://github.com/beyondfengyu/SnowFlake
 *
 * Snowflake生成的是Long类型的ID，一个Long类型占8个字节，每个字节占8比特，也就是说一个Long类型占64个比特。
 * Snowflake ID组成结构：正数位（占1比特）+ 时间戳（占41比特）+ 机器ID（占5比特）+ 数据中心（占5比特）+ 自增值（占12比特），总共64比特组成的一个Long类型。
 * ● 第一个bit位（1bit）：Java中long的最高位是符号位代表正负，正数是0，负数是1，一般生成ID都为正数，所以默认为0。
 * ● 时间戳部分（41bit）：毫秒级的时间，不建议存当前时间戳，而是用（当前时间戳 - 固定开始时间戳）的差值，可以使产生的ID从更小的值开始；41位的时间戳可以使用69年，(1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69年
 * ● 工作机器id（10bit）：也被叫做workId，这个可以灵活配置，机房或者机器号组合都可以。
 * ● 序列号部分（12bit），自增值支持同一毫秒内同一个节点可以生成4096个ID
 * 根据这个算法的逻辑，只需要将这个算法用Java语言实现出来，封装为一个工具方法，那么各个业务应用可以直接使用该工具方法来获取分布式ID，只需保证每个业务应用有自己的工作机器id即可，而不需要单独去搭建一个获取分布式ID的应用。
 */
public class SnowFlakeUtil {

    /**
     * 起始的时间戳
     */
    private final static long START_TIMESTAMP = 1480166465631L;

    /**
     * 每一部分占用的位数
     */
    private final static long SEQUENCE_BIT = 12;   //序列号占用的位数
    private final static long MACHINE_BIT = 5;     //机器标识占用的位数
    private final static long DATA_CENTER_BIT = 5; //数据中心占用的位数

    /**
     * 每一部分的最大值
     */
    private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);  // 4095
    private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT); //
    private final static long MAX_DATA_CENTER_NUM = -1L ^ (-1L << DATA_CENTER_BIT);

    /**
     * 每一部分向左的位移
     */
    private final static long MACHINE_LEFT = SEQUENCE_BIT;
    private final static long DATA_CENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    private final static long TIMESTAMP_LEFT = DATA_CENTER_LEFT + DATA_CENTER_BIT;

    private long dataCenterId;  //数据中心
    private long machineId;     //机器标识
    private long sequence = 0L; //序列号
    private long lastTimeStamp = -1L;  //上一次时间戳

    /**
     * 获取到下一毫秒的时间戳
     *
     * @return long
     */
    private long getNextMill() {
        long mill = getNewTimeStamp();
        while (mill <= lastTimeStamp) {
            mill = getNewTimeStamp();
        }
        return mill;
    }

    /**
     * 获取到当前时间戳
     *
     * @return long
     */
    private long getNewTimeStamp() {
        return System.currentTimeMillis();
    }

    /**
     * 根据指定的数据中心ID和机器标志ID生成指定的序列号
     *  机器id总共占5位,低12位序号id12位.因此要左移12位
     *  数据中心id(机房id)占5位,低17位为机器id5位和序号id12位,因此要左移17位
     * @param dataCenterId 数据中心ID
     * @param machineId    机器标志ID
     */
    public SnowFlakeUtil(long dataCenterId, long machineId) {
        if (dataCenterId > MAX_DATA_CENTER_NUM || dataCenterId < 0) {
            throw new IllegalArgumentException("DtaCenterId can't be greater than MAX_DATA_CENTER_NUM or less than 0！");
        }
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("MachineId can't be greater than MAX_MACHINE_NUM or less than 0！");
        }
        this.dataCenterId = dataCenterId;
        this.machineId = machineId;
    }

    /**
     * 产生下一个ID
     * id号只有12位.同一毫秒内最多生产4096个.
     * 超过时,申请下一个毫秒值
     * @return
     */
    public synchronized long nextId() {
//        1.获取到当前时间戳
        long currTimeStamp = getNewTimeStamp();
//        2.如果当前时间戳小于上一次ID生成的时间戳,说明系统时钟回退过,这个时候应当抛出异常
        if (currTimeStamp < lastTimeStamp) {
            throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
        }

//        3.在同一毫秒内
        if (currTimeStamp == lastTimeStamp) {
//        4.相同毫秒内，序列号自增   MAX_SEQUENCE=4095(12位,序列号最大值)
//          sequence + 1 =4096时sequence为0(相当于4095&4096)
            sequence = (sequence + 1) & MAX_SEQUENCE;
            //同一毫秒的序列数已经达到最大
            if (sequence == 0L) {
//         5.获取下一个毫秒并赋值给当前毫秒
                currTimeStamp = getNextMill();
            }
        } else {
            //不同毫秒内，序列号置为0
            sequence = 0L;
        }

        lastTimeStamp = currTimeStamp;

        return (currTimeStamp - START_TIMESTAMP) << TIMESTAMP_LEFT //时间戳部分 低22位 数据中心id5位,机器标识id5位,序号id12位,因此左移22位
                | dataCenterId << DATA_CENTER_LEFT       //数据中心部分
                | machineId << MACHINE_LEFT             //机器标识部分
                | sequence;                             //序列号部分
    }

    public static void main(String[] args) {
        SnowFlakeUtil snowFlake = new SnowFlakeUtil(2L, 3L);

        for (int i = 0; i < (1 << 4); i++) {
            //10进制
            System.out.println(snowFlake.nextId());
        }
    }
}

4.时钟回拨问题

4.1什么是时钟回拨

时钟回拨（Clock Drift Backwards）是指系统时间向后调整的现象。在计算机系统中，系统时间通常由硬件时钟或软件时钟来维护，而这些时钟有时会因各种原因出现不同程度的偏差，以致于系统时间发生了回拨的情况。

时钟回拨对应用程序和系统运行都有很大的影响，尤其是在需要保证数据一致性和唯一性的场景中。例如，在分布式系统中，如果某个节点的时间回拨了，就可能导致该节点产生了重复的ID或者序列号等数据，从而破坏了系统的正确性和可靠性。

4.2时钟回拨解决方案

雪花算法中使用的时间戳一般都是基于当前系统时间生成的，因此如果系统时间发生了回拨，则可能会导致生成的ID出现重复。为了解决这个问题，可以采用以下几种方法：

时钟同步：尽量保持系统时间的稳定和精确，避免因系统时间不准确而导致时间回拨。

时钟后移：当检测到系统时间发生回拨时，可以将时钟向后调整一段时间，以保证新生成的ID不会与之前已经生成的ID重复。

等待处理：当检测到系统时间发生回拨时，可以暂停ID的生成，并等待系统时间恢复正常之后再重新开始生成ID。

需要注意的是，在实际应用中，时钟回拨问题可能并不常见，一般只有在出现硬件故障或者系统异常情况时才会发生。因此，在设计时可以根据具体需求和实际情况来选择相应的解决方案。同时，也可以考虑结合其他技术手段，如NTP（网络时间协议）等，来进一步提高系统的时间稳定性和可靠性。

4.3示例代码

import org.apache.commons.lang3.RandomUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.SystemUtils;

import java.net.Inet4Address;
import java.net.UnknownHostException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.locks.LockSupport;

/**
 * Twitter的SnowFlake算法,使用SnowFlake算法生成一个整数，然后转化为62进制变成一个短地址URL
 * <p>
 * https://github.com/beyondfengyu/SnowFlake
 * <p>
 * Snowflake生成的是Long类型的ID，一个Long类型占8个字节，每个字节占8比特，也就是说一个Long类型占64个比特。
 * Snowflake ID组成结构：正数位（占1比特）+ 时间戳（占41比特）+ 数据中心（占5比特）+ 机器ID（占5比特）+ 自增值（占12比特），总共64比特组成的一个Long类型。
 * ● 第一个bit位（1bit）：Java中long的最高位是符号位代表正负，正数是0，负数是1，一般生成ID都为正数，所以默认为0。
 * ● 时间戳部分（41bit）：毫秒级的时间，不建议存当前时间戳，而是用（当前时间戳 - 固定开始时间戳）的差值，可以使产生的ID从更小的值开始；41位的时间戳可以使用69年，(1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69年
 * ● 工作机器id（10bit）：也被叫做workId，这个可以灵活配置，机房或者机器号组合都可以。
 * ● 序列号部分（12bit），自增值支持同一毫秒内同一个节点可以生成4096个ID
 * 根据这个算法的逻辑，只需要将这个算法用Java语言实现出来，封装为一个工具方法，那么各个业务应用可以直接使用该工具方法来获取分布式ID，只需保证每个业务应用有自己的工作机器id即可，而不需要单独去搭建一个获取分布式ID的应用。
 */
public class SnowFlakeUtil {
    /**
     * 起始的时间戳
     */
    private final static long START_TIMESTAMP = 1679815564110L;

    /**
     * 每一部分占用的位数
     */
    private final static long SEQUENCE_BIT = 12;   //序列号占用的位数
    private final static long MACHINE_BIT = 5;     //机器标识占用的位数
    private final static long DATA_CENTER_BIT = 5; //数据中心占用的位数

    /**
     * 每一部分的最大值
     */
    private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);  // 4095
    private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT); //
    private final static long MAX_DATA_CENTER_NUM = -1L ^ (-1L << DATA_CENTER_BIT);

    /**
     * 每一部分向左的位移
     */
    private final static long MACHINE_LEFT = SEQUENCE_BIT;
    private final static long DATA_CENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    private final static long TIMESTAMP_LEFT = DATA_CENTER_LEFT + DATA_CENTER_BIT;

    private long dataCenterId = 1L;  //数据中心
    private long machineId = 1L;     //机器标识
    private long sequence = 0L; //序列号
    private long lastTimeStamp = -1L;  //上一次时间戳

    /**
     * 最大容忍回拨时间 3ms
     */
    private static final long MAX_BACKWARD_MS = 3;

    private long getNextMill() {
        long mill = getNewTimeStamp();
        while (mill <= lastTimeStamp) {
            mill = getNewTimeStamp();
        }
        return mill;
    }

    private long getNewTimeStamp() {
        return System.currentTimeMillis();
    }

    /**
     * 根据指定的数据中心ID和机器标志ID生成指定的序列号
     * 机器id总共占5位,低12位序号id12位.因此要左移12位
     * 数据中心id(机房id)占5位,低17位为机器id5位和序号id12位,因此要左移17位
     */
    public SnowFlakeUtil(long dataCenterId, long machineId) {
        if (dataCenterId > MAX_DATA_CENTER_NUM || dataCenterId < 0) {
            throw new IllegalArgumentException("DtaCenterId can't be greater than MAX_DATA_CENTER_NUM or less than 0！");
        }
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("MachineId can't be greater than MAX_MACHINE_NUM or less than 0！");
        }
        this.dataCenterId = dataCenterId;
        this.machineId = machineId;
    }

    /**
     * 产生下一个ID
     * id号只有12位.同一毫秒内最多生产4096个.
     * 超过时,申请下一个毫秒值
     *
     * @return
     */
    private synchronized long nextId() {
        long currTimeStamp = getNewTimeStamp();
        long offset = lastTimeStamp - currTimeStamp; // 时钟回拨
        // 如果时钟回拨且回拨时间小于最大容忍范围
        if (offset > 0 && offset <= MAX_BACKWARD_MS) {
            try {
                // 时钟回拨,等待时钟回拨完成
                LockSupport.parkNanos(TimeUnit.MILLISECONDS.toNanos(offset << 1));
                // 重新获取时间戳
                currTimeStamp = getNewTimeStamp();
                // 如果还是小于上次时间戳,则抛出异常
                if (currTimeStamp < lastTimeStamp) {
                    clockCallback(); // 备用机制
                }
            } catch (Exception e) {
                throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
            }
        } else if (offset > MAX_BACKWARD_MS) { // 时钟回拨超过最大容忍范围,抛出异常
            clockCallback(); // 备用机制
        }

        // 在同一毫秒内
        if (currTimeStamp == lastTimeStamp) {
            //相同毫秒内，序列号自增   MAX_SEQUENCE=4095(12位,序列号最大值)  sequence + 1 =4096时sequence为0
            sequence = (sequence + 1) & MAX_SEQUENCE;
            //同一毫秒的序列数已经达到最大
            if (sequence == 0L) {
                currTimeStamp = getNextMill();
            }
        } else {
            //不同毫秒内，序列号置为0
            sequence = 0L;
        }
        // 上次生成ID的时间截
        lastTimeStamp = currTimeStamp;

        return (currTimeStamp - START_TIMESTAMP) << TIMESTAMP_LEFT //时间戳部分 低22位 数据中心id5位,机器标识id5位,序号id12位,因此左移22位
                | dataCenterId << DATA_CENTER_LEFT       //数据中心部分
                | machineId << MACHINE_LEFT             //机器标识部分
                | sequence;                             //序列号部分
    }

    // 提供获取下一个ID
    public synchronized static long getNextId() {
        SnowFlakeUtil snowFlakeUtil = new SnowFlakeUtil(getDataCenterId(), getWorkId());
        return snowFlakeUtil.nextId();
    }


    // 备用机制
    private synchronized void clockCallback() {
        if (this.dataCenterId == MAX_DATA_CENTER_NUM && this.machineId == MAX_MACHINE_NUM) {
            throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
        }
//        if (this.machineId == MAX_MACHINE_NUM) {
//            dataCenterId = (dataCenterId + 1) & MAX_DATA_CENTER_NUM;

//        }
//        this.machineId = (this.machineId + 1) & MAX_MACHINE_NUM;
        dataCenterId = getDataCenterId();
        this.machineId = getWorkId();
    }

    /**
     * workId使用IP生成
     *
     * @return workId
     */
    private static Long getWorkId() {
        try {
            String hostAddress = Inet4Address.getLocalHost().getHostAddress();
            int[] ints = StringUtils.toCodePoints(hostAddress);
            int sums = 0;
            for (int b : ints) {
                sums = sums + b;
            }
            return (long) (sums % 32);
        } catch (UnknownHostException e) {
            // 失败就随机
            return RandomUtils.nextLong(0, 31);
        }
    }

    /**
     * dataCenterId使用hostName生成
     *
     * @return dataCenterId
     */
    private static Long getDataCenterId() {
        try {
            String hostName = SystemUtils.getHostName();
            int[] ints = StringUtils.toCodePoints(hostName);
            int sums = 0;
            for (int i : ints) {
                sums = sums + i;
            }
            return (long) (sums % 32);
        } catch (Exception e) {
            // 失败就随机
            return RandomUtils.nextLong(0, 31);
        }
    }
}

SnowFlake算法

#SnowFlake算法

雪花算法详解

https://xhablog.online/2023/03/21/雪花算法详解/

作者

Xu huaiang

发布于

2023年3月21日

许可协议

Nowcoder Java专项练习上一篇

JWT详解下一篇