WeightAlgorithm - 权重算法 - Random、HashCode对比

Posted on 2019-03-22 Edited on 2025-07-25 In Tech Symbols count in article: 3.3k Reading time ≈ 3 mins.

一、权重算法

权重算法一般在路由里面用的比较多，分布式环境下对等的服务有多个，加权随机选出一个服务来调用；

可能还有其他方面的用途，下面的代码简单的实现了这个权重，本质上就用到了数组，随机下标；

二、代码概览

public static void main(String[] args) {
    String[] weight = {"A", "A", "A", "A", "A", "B", "B", "B", "C", "C"};
    final int times = 500000;
    final long hashStart = System.currentTimeMillis();
    List<String> hashRes = getList4Hash(weight, times);
    printRes("Hash", hashStart, hashRes);

    final long randomStart = System.currentTimeMillis();
    List<String> randomRes = getList4Random(weight, times);
    printRes("Random", randomStart, randomRes);
//        Hash          use millis: 931
//        A:49.92%
//        B:29.99%
//        C:20.09%
//        Random        use millis: 50
//        A:50.08%
//        B:29.93%
//        C:19.99%
}

三、完整代码

git版本差异报告 - git difftool分支对比 - gitLab compare

Posted on 2019-03-09 Edited on 2025-07-25 In Tech Symbols count in article: 376 Reading time ≈ 1 mins.

一、初衷

有时候上线会出现合错代码，比如功能，或者maven的pom文件；

人都不是十全十美的人，只要是人就会犯错
关键是要想办法去避免，只有工具才不犯错

所以尽量想办法利用工具来防止我们犯错，git来说有很多办法；
简单的命令，或者gitlab的compare报告；
每次上线之前，开发自己看一遍当前版本与线上版本的区别，确认每一个点都是正确的改动；

二、gitlab compare功能(推荐)

2.1 入口：工程首页 -> Repository -> Compare
2.2 选择：上一个版本，当前版本，点击Compare
2.2 结果：一次能看到两个版本的所有commit、改动点

三、git命令

# 显示版本之间改动的文件名
git difftool master 1.2.4 --stat

# 在命令行挨个显示版本某个文件具体差异
git difftool master 1.2.4

dubbo transport Data length too large-14277263-max payload-8388608 channel-NettyChannel

Posted on 2019-03-07 Edited on 2025-07-25 In Tech Symbols count in article: 368 Reading time ≈ 1 mins.

一、报错信息

com.alibaba.dubbo.remoting.transport.ExceedPayloadLimitException: Data length too large: 14277263, max payload: 8388608, channel: NettyChannel [channel=[id: 0x12a13c8f, /172.0.0.1:49402 => /172.0.0.2:23888]]

二、报错原因

dubbo默认使用Netty传输协议
并且默认的大小限制为：默认为8M，即8388608

三、解决办法

修改接口
出现这种情况是因为一个接口查某个表的所有数据(几万条)
一般这种接口肯定是需要分页的
更改配置信息
在dubbo.properties 中增加如下

1	dubbo.protocol.dubbo.payload=11557050

Java.lang.NoClassDefFoundError错误解决

Posted on 2019-02-23 Edited on 2025-07-25 In Tech Symbols count in article: 347 Reading time ≈ 1 mins.

maven项目昨天遇到的一个错误：Java.lang.NoClassDefFoundError

理论原因：JVM在编译的时候能找到调用方法或静态变量所在的类，但在运行的时候找不到此类而引发的错误。

真实原因：(仅针对当前问题)
项目A依赖公共服务C-1.0.1版本
项目B依赖项目A，B中dependencyManagement强制指定C-1.0.0

此时编译可以通过，运行时如果有用的C的新版本功能就会会出现上述问题

解决办法：对项目B中C的版本升级，使用1.0.1

扩展阅读：
https://blog.csdn.net/qq_27576335/article/details/77102385
https://blog.csdn.net/jamesjxin/article/details/46606307

MySQL统计成功率等 - 利用case when

Posted on 2019-02-18 Edited on 2025-07-25 In Tech Symbols count in article: 652 Reading time ≈ 1 mins.

CONCAT:连接字符串,CONCAT(55.00,’%’)->55.00%
truncate:处理小数点位数,truncate(10.1111,2)->10.11

统计sql

select res.*, CONCAT(truncate((res.succ / res.`all`) * 100, 2), '%') as 'success rate'
from (select tpc.USER_NO,
             tpc.TYPE,
             count(*)                                                            as 'all',
             sum(case when tpc.STATUS = 0 then 1 else 0 end)                     as 'succ',
             sum(case when tpc.STATUS = 1 then 1 else 0 end)                     as 'fail',
             sum(case when tpc.STATUS != 1 && tpc.STATUS != 0 then 1 else 0 end) as 'other'
      from t_hisen tpc
      where tpc.DATE between '20190216' and '20190217'
      group by tpc.USER_NO, tpc.TYPE
      order by tpc.USER_NO) res

统计结果

USER_NO	TYPE	all	succ	fail	other	success rate
456	10	1	0	0	1	0.00%
123	10	29	23	0	6	79.31%

MySQL - Data truncation:Incorrect datetime value

Posted on 2019-02-01 Edited on 2025-07-25 In Tech Symbols count in article: 413 Reading time ≈ 1 mins.

一、问题

1	com.mysql.jdbc.MysqlDataTruncation: Data truncation: Incorrect datetime value: '2039-01-07 12:58:20.625' for column

二、原因

由于程序没有控制好，计算下一次更新时间失误，造成数值过大。

1
2
3

update table_a
SET UPDATE_TIME = '2039-01-07 12:58:20.625'
WHERE ID = 6241

以下是MySQL官方的说法，就是时间超过了范围。

1 2	The TIMESTAMP data type is used for values that contain both date and time parts. TIMESTAMP has a range of '1970-01-01 00:00:01' UTC to '2038-01-19 03:14:07' UTC.

mac docker compose timezone 问题解决

Posted on 2018-12-21 Edited on 2025-07-25 In Tech Symbols count in article: 2.3k Reading time ≈ 2 mins.

一、背景介绍

想用docker搭建一个lnmp环境

使用这个脚本：

1	https://github.com/buxiaomo/docker-compose/tree/master/lnmp

执行命令之后报错

docker-compose -f lnmp.yml up -d
WARNING: Some services (mysql, nginx, php, redis) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configuration - use `docker stack deploy` to deploy to a swarm.
WARNING: Some services (mysql, nginx, php) use the 'configs' key, which will be ignored. Compose does not support 'configs' configuration - use `docker stack deploy` to deploy to a swarm.
lnmp_mysql_1 is up-to-date
Starting lnmp_redis_1 ...
lnmp_nginx_1 is up-to-date
Starting lnmp_redis_1 ... error

ERROR: for lnmp_redis_1  Cannot start service redis: b'Mounts denied: \r\nThe path /usr/share/zoneinfo/Asia/Shanghai\r\nis not shared from OS X and is not known to Docker.\r\nYou can configure shared paths from Docker -> Preferences... -> File Sharing.\r\nSee https://docs.docker.com/docker-for-mac/osxfs/#namespaces for more info.\r\n.'

                    memory: 100M
ERROR: for redis  Cannot start service redis: b'Mounts denied: \r\nThe path /usr/share/zoneinfo/Asia/Shanghai\r\nis not shared from OS X and is not known to Docker.\r\nYou can configure shared paths from Docker -> Preferences... -> File Sharing.\r\nSee https://docs.docker.com/docker-for-mac/osxfs/#namespaces for more info.\r\n.'
ERROR: Encountered errors while bringing up the project.

二、报错原因

mac机器的时间路径与linux不一样
lnmp.yml redis用到了这个时间

三、解决办法

查看当前机器时间文件真实位置(/etc/localtime 这个路径是不让共享给docker的)

1 2	ls -la /etc/localtime lrwxr-xr-x 1 root wheel 39 10 19 11:13 /etc/localtime -> /var/db/timezone/zoneinfo/Asia/Shanghai

设置位置：Docker -> Preferences… -> File Sharing
新增共享目录：/var/db/timezone
apply & restart
修改lnmp.yml配置文件全局替换：/usr/share/zoneinfo/Asia/Shanghai 为：/var/db/timezone/zoneinfo/Asia/Shanghai

四、成功信息

docker-compose -f lnmp.yml up -d
WARNING: Some services (mysql, nginx, php, redis) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configuration - use `docker stack deploy` to deploy to a swarm.
WARNING: Some services (mysql, nginx, php) use the 'configs' key, which will be ignored. Compose does not support 'configs' configuration - use `docker stack deploy` to deploy to a swarm.
Removing lnmp_redis_1
Starting lnmp_nginx_1                ... done
Starting lnmp_mysql_1                ... done
Recreating f5b9db566588_lnmp_redis_1 ... done
Starting lnmp_php_1                  ... done

定时任务的一点思考 - Java

Posted on 2018-10-27 Edited on 2025-07-25 In Tech Symbols count in article: 1.2k Reading time ≈ 1 mins.

一、背景交代

部署方式：多点
业务概要：处理一批数据，可以失败重试

二、实现方式

主表入一条控制数据，两个控制字段：next，process(0:空闲,1:处理中)，子表具体处理业务
定时任务只扫描主表，通过其他业务字段，加上主表两个控制字段(now>netx,process=0)，捞出需要处理的数据
当开始处理数据时候，先更新process=1，如果更新成功，说明拿到锁(假装是一个分布式锁，因为两台机器)
如果拿到3的锁，则开始处理子表的业务数据，一次查100条(limit 0,100 desc update_time)，直到子表全部处理完成
如果遇到错误，把错误数据的id存起来，更新子表重试次数，和更新时间，如果达到最大失败次数，更改状态(让4查不出这条数据)
如果遇到当前处理数据的id存在List中，那么说明当前所有的数据都处理过一次了，退出(如果不判断，失败后会无限循环，直到全部成功)

三、伪代码

public void process(MainTable mainTable) {

    // 1. 锁控制表
    boolean lock = service.lock(mainTable);
    LOGGER.info("lockFlag:,", lock, ",mainTableId:", mainTable.getId());
    if (!lockFlag) {
        return;
    }
    List<Long> repeatIds = new ArrayList<>();
    // 2. 根据主表id，下次扫描时间，每次查询100条
    List<SubTable> subTables;
    do {
      //扫描子表中的数据
        subTables = service.querySub(mainTable.getId(), 100);
        for (SubTable sub : subTables) {
            if (repeatIds.contains(batch.getId())) {
                subTables = null;
                break;
            }
            // 处理业务
            handle(mainTable, subTables, repeatIds);
        }
    } while (!CollectionUtils.isEmpty(subTables));

    // 5. 检查是否全部终态
    checkHandleDone(mainTable);
    // 7. 释放锁
    boolean unLock = service.unLock(mainTable);
    LOGGER.info("lockFlag:,", unLock, ",mainTableId:", mainTable.getId());
}

go程序设计语言练习 - 同统计重复 - gop1.io/ch1/dup2/dup2.go

Posted on 2018-10-27 Edited on 2025-07-25 In Tech Symbols count in article: 1.4k Reading time ≈ 1 mins.

一直在写Java，看语法逻辑什么的没有问题

但是刚刚看书上写出来的这个程序，居然不知道怎么在goland里面运行…

于是曲线救国，了解到打印输入的参数。

这断代码就是为了找出输入数据中的重复行

直接启动，不带参数，启动之后输入参数

参数0: /private/var/folders/lk/p8gbq87n6rvfndk7wlk23y8r0000gn/T/___go_build_dup2_go
1 # 一行输入一个
1 # 一行输入一个
^D #这是command + D
2	1 # 输出的结果：个数 输入值

在命令行启动，带

$ go run dup2.go 'hisen.txt'
参数0: /var/folders/lk/p8gbq87n6rvfndk7wlk23y8r0000gn/T/go-build525680776/b001/exe/dup2
参数1: hisen.txt #代码同级目录的文件名
2       hisen
2       hisenyuan
2       123

代码如下：

MySQL批量删除重复数据,保留id最小的一条

Posted on 2018-10-16 Edited on 2025-07-25 In Tech Symbols count in article: 234 Reading time ≈ 1 mins.

stu数据如下：

id	name
1	hisen
2	hisen
3	hisen
4	hisenyuan
5	hisenyuan

删除重复的name，保留id最小的。

思路就是先找出重复数据，然后再找出需要保留的数据(重复中id最小的)

然后删除id不在需要保留的id中的所有数据

delete
from stu
where id not in (select t.minId
                 from (select min(id) minId from stu group by name having count(name) > 1) t)