Java 实现协程的方法

作者:W3CSCHOOL 时间:2022-02-18 22:55:05 

协程(Coroutine)这个词其实有很多叫法,比如有的人喜欢称为纤程(Fiber),或者绿色线程(GreenThread)。其实究其本质,对于协程最直观的解释是线程的线程。虽然读上去有点拗口,但本质上就是这样。

协程的核心在于调度那块由他来负责解决,遇到阻塞操作,立刻放弃掉,并且记录当前栈上的数据,阻塞完后立刻再找一个线程恢复栈并把阻塞的结果放到这个线程上去跑,这样看上去好像跟写同步代码没有任何差别,这整个流程可以称为coroutine,而跑在由coroutine负责调度的线程称为Fiber。

java协程的实现

早期,在JVM上实现协程一般会使用kilim,不过这个工具已经很久不更新了,现在常用的工具是Quasar,而本文章会全部基于Quasar来介绍。

下面尝试通过Quasar来实现类似于go语言的coroutine以及channel。

为了能有明确的对比,这里先用go语言实现一个对于10以内自然数分别求平方的例子。


func counter(out chan<- int) {
for x := 0; x < 10; x++ {
 out <- x
}
close(out)
}

func squarer(out chan<- int, in <-chan int) {
for v := range in {
 out <- v * v
}
close(out)
}

func printer(in <-chan int) {
for v := range in {
 fmt.Println(v)
}
}

func main() {
//定义两个int类型的channel
naturals := make(chan int)
squares := make(chan int)

//产生两个Fiber,用go关键字
go counter(naturals)
go squarer(squares, naturals)
//获取计算结果
printer(squares)
}

上面这个例子,通过channel两解耦两边的数据共享。对于这个channel,大家可以理解为Java里的SynchronousQueue。下面我直接上Quasar版JAVA代码的,几乎可以原封不动的复制go语言的代码。


public class Example {

private static void printer(Channel<Integer> in) throws SuspendExecution, InterruptedException {
 Integer v;
 while ((v = in.receive()) != null) {
  System.out.println(v);
 }
}

public static void main(String[] args) throws ExecutionException, InterruptedException, SuspendExecution {
 //定义两个Channel
 Channel<Integer> naturals = Channels.newChannel(-1);
 Channel<Integer> squares = Channels.newChannel(-1);

//运行两个Fiber实现.
 new Fiber(() -> {
  for (int i = 0; i < 10; i++)
   naturals.send(i);
  naturals.close();
 }).start();

new Fiber(() -> {
  Integer v;
  while ((v = naturals.receive()) != null)
   squares.send(v * v);
  squares.close();
 }).start();

printer(squares);
}
}

两者对比,看上去Java似好像更复杂些,没办法这就是Java的风格,而且这还是通过第三方的库来实现的。

说到这里各位肯定对Fiber很好奇了。也许你会表示怀疑Fiber是不是如上面所描述的那样,下面我们尝试用Quasar建立一百万个Fiber,看看内存占用多少,我先尝试了创建百万个Thread。


for (int i = 0; i < 1_000_000; i++) {
new Thread(() -> {
 try {
  Thread.sleep(10000);
 } catch (InterruptedException e) {
  e.printStackTrace();
 }
}).start();
}

很不幸,直接报Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread,这是情理之中的。下面是通过Quasar建立百万个Fiber。


public static void main(String[] args) throws ExecutionException, InterruptedException, SuspendExecution {
int FiberNumber = 1_000_000;
CountDownLatch latch = new CountDownLatch(1);
AtomicInteger counter = new AtomicInteger(0);

for (int i = 0; i < FiberNumber; i++) {
 new Fiber(() -> {
  counter.incrementAndGet();
  if (counter.get() == FiberNumber) {
   System.out.println("done");
  }
  Strand.sleep(1000000);
 }).start();
}
latch.await();
}

我这里加了latch,阻止程序跑完就关闭,Strand.sleep其实跟Thread.sleep一样,只是这里针对的是Fiber。

最终控制台是可以输出done的,说明程序已经创建了百万个Fiber,设置Sleep是为了让Fiber一直运行,从而方便计算内存占用。官方宣称一个空闲的Fiber大约占用400Byte,那这里应该是占用400MB堆内存,但是这里通过jmap -heap pid显示大约占用了1000MB,也就是说一个Fiber占用1KB。

Quasar是怎么实现Fiber的

其实Quasar实现的coroutine的方式与Go语言很像,只不过前者是使用框架来实现,而go语言则是语言内置的功能。

不过如果你熟悉了Go语言的调度机制的话,那么对于Quasar的调度机制就会好理解很多了,因为两者有很多相似之处。

Quasar里的Fiber其实是一个continuation,他可以被Quasar定义的scheduler调度,一个continuation记录着运行实例的状态,而且会被随时中断,并且也会随后在他被中断的地方恢复。

Quasar其实是通过修改bytecode来达到这个目的,所以运行Quasar程序的时候,你需要先通过java-agent在运行时修改你的代码,当然也可以在编译期间这么干。go语言的内置了自己的调度器,而Quasar则是默认使用ForkJoinPool这个具有work-stealing功能的线程池来当调度器。work-stealing非常重要,因为你不清楚哪个Fiber会先执行完,而work-stealing可以动态的从其他的等等队列偷一个context过来,这样可以最大化使用CPU资源。

那这里你会问了,Quasar怎么知道修改哪些字节码呢,其实也很简单,Quasar会通过java-agent在运行时扫描哪些方法是可以中断的,同时会在方法被调用前和调度后的方法内插入一些continuation逻辑,如果你在方法上定义了@Suspendable注解,那Quasar会对调用该注解的方法做类似下面的事情。

这里假设你在方法f上定义了@Suspendable,同时去调用了有同样注解的方法g,那么所有调用f的方法会插入一些字节码,这些字节码的逻辑就是记录当前Fiber栈上的状态,以便在未来可以动态的恢复。(Fiber类似线程也有自己的栈)。在suspendable方法链内Fiber的父类会调用Fiber.park,这样会抛出SuspendExecution异常,从而来停止线程的运行,好让Quasar的调度器执行调度。这里的SuspendExecution会被Fiber自己捕获,业务层面上不应该捕获到。如果Fiber被唤醒了(调度器层面会去调用Fiber.unpark),那么f会在被中断的地方重新被调用(这里Fiber会知道自己在哪里被中断),同时会把g的调用结果(g会return结果)插入到f的恢复点,这样看上去就好像g的return是f的local variables了,从而避免了callback嵌套。

上面说了一大堆,其实简单点来讲就是,想办法让运行中的线程栈停下来,然后让Quasar的调度器介入。

JVM线程中断的条件有两个:

1、抛异常

2、return。

而在Quasar中,一般就是通过抛异常的方式来达到的,所以你会看到上面的代码会抛出SuspendExecution。但是如果你真捕获到这个异常,那就说明有问题了,所以一般会这么写。


@Suspendable
public int f() {
try {
 // do some stuff
 return g() * 2;
} catch(SuspendExecution s) {
 //这里不应该捕获到异常.
 throw new AssertionError(s);
}
}

来源:https://www.w3cschool.cn/java/java-x3pi2oso.html

标签:Java,协程
0
投稿

猜你喜欢

  • C++深入细致探究二叉搜索树

    2021-12-31 00:09:24
  • C# 多线程学习之基础入门

    2022-11-08 05:38:13
  • Java实现文件分割和文件合并实例

    2022-12-15 17:18:35
  • Java 二分查找算法的实现

    2022-07-23 11:10:13
  • Spring4如何自定义@Value功能详解

    2021-12-16 06:31:12
  • 基于springboot搭建的web系统架构的方法步骤

    2023-11-21 13:33:51
  • 如何解决@NotBlank不生效的问题

    2022-04-01 13:41:08
  • android 仿微信聊天气泡效果实现思路

    2022-11-12 21:11:35
  • Java 8新的时间日期库的20个使用示例

    2022-11-06 06:55:00
  • HttpClient 在Java项目中的使用详解

    2021-12-06 02:36:57
  • 应用Java泛型和反射导出CSV文件的方法

    2022-02-25 19:50:17
  • springboot使用hibernate validation对参数校验的实现方法

    2023-01-06 22:34:16
  • java使用ffmpeg处理视频的方法

    2023-07-28 22:58:08
  • Entity Framework使用ObjectContext类

    2023-01-25 16:40:04
  • Java构建JDBC应用程序的实例操作

    2023-08-07 12:09:13
  • SpringBoot集成Spring Security用JWT令牌实现登录和鉴权的方法

    2023-07-02 22:48:29
  • Java使用application.property读取文件里面的值

    2023-11-01 07:24:56
  • Android使用Theme自定义Activity进入退出动画的方法

    2022-03-04 02:12:32
  • 浅谈JVM垃圾回收有哪些常用算法

    2022-02-28 16:51:56
  • Android实现的仿淘宝购物车demo示例

    2023-09-04 08:59:19
  • asp之家 软件编程 m.aspxhome.com