一、介绍

最近在进行风控相关的模型搭建，一般使用xgb和lr等的模型，突然想尝试一下ffm模型看看效果，之前在做推荐任务时有通过torch实现，但是在一些项目上部署比较麻烦，自己写的代码在优化上也不是很好，因此这次准备通过第三方库的形式进行ffm模型构建。在网上搜罗了一下，实现相关算法的python库有：LibFFM、xlearn和tffm等。今天给大家讲讲基于xlearn的研究和其中需要准备的一些工具。

xLearn是一款高性能，易于使用且可扩展的机器学习软件包，包括FM和FFM模型，可用于大规模解决机器学习问题。xlearn的官方地址：https://github.com/aksnzhy/xlearn ，它支持丰富的python接口，支持多种优化算法与超参调优，官方使用文档在这里 https://xlearn-doc-cn.readthedocs.io/en/latest/index.html。

如果使用原生的xlearn方法，其可以直接处理csv以及libsvm格式的数据来实现FM算法，但对FFM算法而言，我们必须将数据转换为libffm格式。因为一直习惯使用sklearn做模型，xlearn也直接有sklearn接口。因此，本次尝试直接通过其sklearn接口进行，在通过sklearn接口时，主要需要几个方面的工作，一个是做数据准备，一个是做参数的设定。接下来主要从这两个方面进行描述。

二、ffm模型搭建

2.1. 数据准备

数据准备首先需要研究模型需要我们投入什么样的参数，因为使用sklearn接口，数据会在函数内部自动被转换为libffm格式而不需要我们人工进行干预，因此对于传入的参数需要进行理解，点开xlearn源码，打开.fit方法，可以看到如下代码：

def fit(self, X, y=None, fields=None,
        is_lock_free=True, is_instance_norm=True, 
        eval_set=None, is_quiet=False):
    """ Fit the XLearn model given feature matrix X and label y

    :param X: array-like or a string specifying file location
              Feature matrix
    :param y: array-like
              Label
    :param fields: array-like
              Fields for FFMModel. Default as None

显然对于ffm模型，我们需要传入三个参数

X, y 以及 fields

X,y 大家都好理解，无非就是特征与目标向量，那么fields需要传入什么呢？

如果大家有了解ffm模型原理，应该知道这个模型特征是在场域与场域之间做交叉的，因此对于模型，我们应该定义每个特征所属于的域（field）这样模型才能识别并进行训练，例如我们有原始数据包含三个特征，这也对应三个域（年龄【0】、性别【1】、地域【2】）

df

age	sex	area
10	male	cn
20	male	uk
25	female	fr

我们首先会将其进行one-hot变换变为6个特征，但域的个数仍然是3个

df_xlearn

age	sex_male	sex_female	area_cn	area_uk	area_fr
10	1	0	1	0	0
20	1	0	0	1	0
25	0	1	0	0	1

此时6个特征的域编码便是 fields = 【0，1，1，2，2，2】，那么这个编码便是我们需要传入.fit中的参数fields，是不是突然就get了。

那么数据准备时，我们仅需要将原始数据df转化为df_xlearn并在转换的过程中顺带给出fields就行，so eazy！ 下面开始撸代码。

def prepare_ffm_dataset(df, cat_cols=None, num_cols=None):
    '''

    :param df: data
    :param cat_cols: categorical columns in df
    :param num_cols: numerical columns in df
    :return: df_: converted data
             fields: a list indicating fields of each column in df_
             field_dic: a dict indicating mapping relations between df and df_
    '''
    if num_cols is None:
        num_cols = []
    if cat_cols is None:
        cat_cols = []
    assert isinstance(df, pd.DataFrame)
    assert len(set(cat_cols) - set(df.columns)) == 0
    assert len(set(num_cols) - set(df.columns)) == 0

    # prepare numerical columns
    field_dic = {}
    fields = [range(len(num_cols))]
    ix = len(num_cols)
    n_num_cols = ix
    field_dic.update({k: v for (k, v) in zip(num_cols, fields)})
    df_ = df[num_cols]
    # prepare categorical columns
    for i, cat_col in enumerate(cat_cols):
        field_dic[cat_col] = dict()
        temp_df = pd.get_dummies(df[cat_col], prefix=cat_col, prefix_sep='_')
        for col in temp_df.columns:
            value = col.split('_')[-1]
            field_dic[cat_col][value] = ix
            fields.append(n_num_cols + i)
            ix += 1
        df_ = pd.concat([df_, temp_df], axis=1)
    return df_, fields, field_dic

这里除了返回df_和fields，我还返回了一个field_dic这个字典中能看到每个特征以及具体的特征值是如何被编码的

2.2. 参数设定

现在数据已经准备好了，于是我们可以搭建ffm模型了，在调用时，我们直接使用 import + fit 就完事了，不过还是应该对基本的参数有一些了解

首先是模型层面的参数

class FFMModel(BaseXLearnModel):
    """ Field-aware factorization machine (FFM) model
    """
    def __init__(self, model_type='ffm', task='binary', metric='auc', block_size=500,
                 lr=0.2, k=4, reg_lambda=0.1, init=0.1, fold=1, epoch=5, stop_window=2,
                 opt='sgd', nthread=None, n_jobs=4, alpha=1, beta=1, lambda_1=1, lambda_2=1,
                 **kwargs):

参数解释如下，英文都比较浅显易懂，就不解释了。

值得注意的是，其中block_size是在大规模训练中使用外存计算时使用的硬盘分区大小，一般不用管这个

调参的过程一般就是对lr，k，reg_lambda，epoch，opt等参数调调就行

:param task: 'binary' for classification or 'reg' for regression
:param metric: 'acc', 'prec', 'recall', 'f1', 'auc' for classification, and 'mae', 'mape', 'rmsd (rmse)' for regression.
:param block_size: block size for on-disk training. 
:param lr: learning rate
:param k: latent factor for factorization
:param reg_lambda: alias for lambda
:param init: initial value
:param fold: number of fold used in cross validation
:param epoch: number of training epoch
:param stop_window: window size for early stopping
:param opt: optimizer option, one of 'sgd', 'adagrad', 'ftrl'
:param nthread: number of threads (Deprecated, please use n_jobs)
:param n_jobs: number of threads used to run xlearn.
:param alpha: alpha for FTRL
:param beta: beta for FTRL
:param lambda_1: lambda_1 for FTRL
:param lambda_2: lambda_2 for FTRL

再看看训练的参数

def fit(self, X, y=None, fields=None,
        is_lock_free=True, is_instance_norm=True, 
        eval_set=None, is_quiet=False):
    """ Fit the XLearn model given feature matrix X and label y

    :param X: array-like or a string specifying file location
              Feature matrix
    :param y: array-like
              Label
    :param fields: array-like
              Fields for FFMModel. Default as None
    :param is_lock_free: is using lock-free training
    :param is_instance_norm: is using instance-wise normalization
    :param eval_set: a 2-element list representing (X_val, y_val) or a string specifying file location
    :param is_quiet: is training model quietly
    """

这里借用一下官方文档的说明

is_lock_free

在默认情况下，xLearn 会进行 Hogwild! 无锁学习，该方法通过 CPU 多核进行并行训练，提高 CPU 利用率，加快算法收敛速度。但是，该无锁算法是非确定性的算法 (non-deterministic). 即，如果我们多次运行如下的命令，我们会在每一次运行得到略微不同的 loss 结果

is_instance_norm

对于 FFM 来说，xLearn 会默认对特征进行 Instance-Wise Normalizarion (归一化). 在一些大规模稀疏数据的场景 (例如 CTR 预估), 这一技术非常的有效，但是有些时候它也会影响模型的准确率。

is_quiet

xLearn 的训练支持安静模式，在安静模式下， xLearn 的训练过程不会计算任何评价指标，这样可以很大程度上提高训练速度

大家根据自己的需求设置就好。

三、 搭建模型

终于可以建模了，于是

from xlearn import FFMModel
import pandas as pd
# 准备数据
df = pd.DataFrame()
y = pd.Series()
cat_cols = []
num_cols = []
df_xlearn, fields, field_dic = prepare_ffm_dataset(df,cat_cols,num_cols)
# 建模
clf = FFMModel()
clf.fit(df_xlearn,y,fields)

大家炼丹愉快！