小米公开 MiMo-V2.6 强化学习全程：每步 20 亿 Token，训练账单实时可查

小

米

把

M

i

M

o

-

V

2

.

6

F

l

a

s

h

与

P

r

o

的

强

化

学

习

训

练

过

程

做

成

公

开

页

面

（

m

i

m

o

.

x

i

a

o

m

i

.

c

o

m

/

r

l

）

，

奖

励

曲

线

、

步

数

、

故

障

节

点

与

花

费

全

部

实

时

可

查

，

负

责

人

罗

福

莉

在

X

上

解

释

这

是

开

放

式

R

L

扩

展

的

验

证

。

训

练

口

径

公

开

到

参

数

级

：

每

个

训

练

S

t

e

约

处

理

2

0

亿

T

o

k

e

n

，

配

置

为

1

5

6

8

个

P

r

o

m

t

×

每

P

r

o

m

t

1

6

条

R

o

l

l

o

u

t

，

采

用

完

全

异

步

（

F

u

l

l

y

A

s

y

n

c

）

流

水

线

，

生

成

、

执

行

、

评

分

、

训

练

不

再

排

队

。

扩

展

方

向

明

确

为

三

轴

—

—

R

L

计

算

量

、

环

境

与

执

行

框

架

（

M

u

l

t

i

-

t

a

s

k

A

g

e

n

t

i

c

R

L

，

代

码

/

通

用

/

视

觉

/

C

h

a

t

混

训

于

同

一

R

u

n

）

、

评

分

算

力

（

A

g

e

n

t

i

c

I

n

-

g

r

o

u

C

r

e

d

i

t

A

s

s

i

g

n

m

e

n

t

）

。

从

P

r

o

开

始

训

练

起

3

6

小

时

，

两

款

模

型

已

花

掉

逾

1

0

8

万

美

元

，

平

均

每

小

时

约

3

万

美

元

。

中

期

成

绩

：

P

r

o

的

d

y

n

s

a

m

/

a

v

g

@

n

从

第

1

步

约

0

.

5

6

5

升

至

0

.

6

1

4

，

F

l

a

s

h

从

约

0

.

5

1

4

升

至

0

.

6

0

3

；

D

e

e

S

W

E

v

1

.

1

离

线

评

测

P

r

o

6

2

.

2

4

、

F

l

a

s

h

6

0

.

7

7

。

意

义

：

此

前

开

放

的

是

权

重

、

代

码

与

数

据

，

这

次

开

放

的

是

训

练

过

程

本

身

—

—

把

「

R

L

能

不

能

像

预

训

练

那

样

s

c

a

l

i

n

g

」

这

个

问

题

连

证

据

一

起

放

到

了

台

面

上

。

原文链接：量子位 / 小米 MiMo 官方页面