从T7模型中取训练参数_而 vgg_normalised.t7 转化不了-程序员宅基地

技术标签: 从torch t7模型中取训练数据  风格转换  

上一章中,我们已经取出层名,层名和层名之间,是存放参数的空间,这样相当于已经给模型分了层。

我们只要在层间搜索参数就可以了。


第2步:搜索参数

以卷积层为例:

if(startsWith(TorchClassName,"nn.SpatialConvolution"))
{

	const char *findstr[] = {
		"name", //名称
		"dW", "dH", //步长
		"kW", "kH", //核宽
		"weight", "bias", //权重,偏移
		"padW", "padH", //补边(2参数)
		"pad_l", "pad_r", "pad_t", "pad_b", //补边(4参数)
		"nInputPlane", "nOutputPlane", //输入、输出维度
		NULL};

	fpos = ftell(m_FilePointer);//记录层开头位置(在文件中)。
	for (int i = 0; findstr[i]; i++)
	{
			
		fout<<findstr[i]<<":"<<endl;

		bool ret=false;
		while(!ret){
			ret=跳到某字符串位置后(findstr[i]); //注意不要跑到下一层去
			if(ret)
				ret=readObject(fout);//这里的一些函数可以从OpenCV稍稍修改而来
		}


		fseek(m_FilePointer, fpos,SEEK_SET);//回到开头位置后再搜索
	}

}

上面我们已经把所有参数都保存到一个文件中了。

这里,我们的目的不是拿出所有参数,我们只要拿出卷积层的训练参数 weight,bias,其它在训练前就知道的就不用了

按OpenCV的代码分析几个t7模型,

存放方式分两种,1是统一存放,另1是分别存入

T7存放方式按:数据首址,数据偏移,数据类型

这里就有两种取法,

1。取数据(OpenCV方式)

2。取地址(=数据首址+数据偏移x sizeof(数据类型))

取地址方式应该灵活一点

取数据偏移:

void readTorchTensor(ofstream &fout, int typeTensor,const char * ch_str)
{
    int ndims = readInt();
    my_readLongRaw(fout, ndims);//读取长原始数据//THFile_readLongRaw
    my_readLongRaw(fout, ndims);

    int64_t offset = readLong() - 1;

	fout<<"偏移:"<<offset<<endl;
	if(this_norm_conv==is_conv)
	{
		if(strcmp(ch_str,"weight")==0)
		
			*file_data_offset.weight_offset =(long)offset;//权重数据偏移 <--这里
		else if(strcmp(ch_str,"bias")==0)
			*file_data_offset.bias_offset =(long)offset;//偏移数据偏移 <--这里
	}
    //read Storage
    int typeidx = readInt();
		
	//fout<<"typeidx:"<<typeidx<<endl;

    assert(typeidx == TYPE_TORCH || (typeidx == TYPE_NIL && ndims == 0));

    if (typeidx == TYPE_NIL)
    {
        return;
    }

    int indexStorage = readInt();
    {
        string className = readTorchClassName();
	fout<<"className:"<<className<<endl;

        int typeStorage = parseStorageType(className);
        readTorchStorage(fout, typeStorage);
    }

}

 

取首址和类型:

void my_readDoubleRaw(ofstream &fout, int64_t size)
{
	//double data;
	fout<<"尺寸:"<<size<<endl;
	fout<<"地址:"<<ftell(m_FilePointer)<<endl;
	if(this_norm_conv==is_conv)
		file_data_offset.data_offset=ftell(m_FilePointer);//数据首址 <--这里
		
	file_data_offset.data_type=sizeof(double);//数据类型 <--这里
  //  for (int64_t i = size - 1; i >= 0; i--)
  //  {
 	//	fread(&data, sizeof(double), 1, m_FilePointer);   
		//fout<<data<<' ';
  //  }fout<<endl;
}

void my_readFloatRaw(ofstream &fout, int64_t size)
{
	//float data;
	fout<<"尺寸:"<<size<<endl;
	fout<<"地址:"<<ftell(m_FilePointer)<<endl;
	if(this_norm_conv==is_conv)
		file_data_offset.data_offset=ftell(m_FilePointer);//数据首址 <--这里
	if(this_norm_conv==is_norm)
		file_InstanceNormalization_data_offset.data_offset=ftell(m_FilePointer);
	if(this_norm_conv==is_batchnorm)
		file_SpatialBatchNormalization_data_offset.data_offset=ftell(m_FilePointer);
		
	file_data_offset.data_type=sizeof(float);//数据类型 <--这里

  //  for (int64_t i = size - 1; i >= 0; i--)
  //  {
 	//	fread(&data, sizeof(float), 1, m_FilePointer);   
		//fout<<data<<' ';
  //  }fout<<endl;
}

这些函数都是从OpenCV中抄过来再稍改改, my_ 对应 THFile_

然后组合:

// 还要加上文件位置
if(strcmp(ch_str,"weight")==0)
{
	*file_data_offset.weight_offset   *= file_data_offset.data_type;//乘 类型 <--这里
	*file_data_offset.weight_offset++ += file_data_offset.data_offset;//加 数据首址 <--这里
}
else if(strcmp(ch_str,"bias")==0)
{
	*file_data_offset.bias_offset   *= file_data_offset.data_offset;
	*file_data_offset.bias_offset++ += file_data_offset.data_offset;
}

这里用到地址池:

struct Data位置
{
	long data_offset;
	long * weight_offset;
	long * bias_offset;
	int data_type;

		
	//构造函数
	Data位置();

};

Data位置::Data位置()
{
	data_offset=0;
	weight_offset=NULL;
	bias_offset=NULL;
	data_type=0;
}

Data位置 file_data_offset;

使用时用:

long *weight_offset=new long[2+2+4+1 ];
long *bias_offset=new long[2+2+4+1 ];
	string pathname ="D:/3D/cv33/cv33/AdaIN-style-master/models/";
	string torch_model_name	="vgg_normalised.t7";
							
							//decoder-content-similar 解码器颜色和内容相似
							//decoder
	pathname += torch_model_name;

loadModel_data_offset(pathname,weight_offset,bias_offset);

loadModel_data_offset函数:

void 	loadModel_data_offset(string torch_model_name,long * weight_offset,long * bias_offset)
{
	file_data_offset.weight_offset=weight_offset;
	file_data_offset.bias_offset=bias_offset;
	readModel(torch_model_name);

}

这样就已经从t7模型取出训练数据了。

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/juebai123/article/details/87161477

智能推荐

js实现文字转语音功能tts_js tts-程序员宅基地

文章浏览阅读5.1k次,点赞3次,收藏26次。写了很久的语音呼叫功能、调用在线语音合成的调用系统自带的;现在客户又要求搞网页版的语音呼叫还是不带联网的。客户太难伺候了详细使用请参考 【web语音API】完整代码<!DOCTYPE><html xmlns="http://www.w3.org/1999/xhtml" lang="zh-CN"><head><title>网页文字转语音</title><meta http-equiv="Content-Typ._js tts

Java经典问题(百僧吃百馍)-程序员宅基地

文章浏览阅读62次。System.out.println("100个和尚吃了100个馒头 ,100和尚有大和尚和小和尚,一个大和尚能吃3馒头,三个小和尚吃1个馒头,问大和尚和小和尚有多少个?System.out.println("大和尚有"+i+"个人");System.out.println("小和尚有"+j+"个人");System.out.println("查看答案请按回车键");

vacode模块使用报错的问题_indesssss.html:1 access to script at 'file:///i:/v-程序员宅基地

文章浏览阅读651次。在vscode中是用模块化的时候会出现报错,提示如下Access to script at ‘file:///F:/%E5%AD%A6%E4%B9%A0/%E7%BA%BF%E4%B8%8BJS/test/js./modul.js’ from origin ‘null’ has been blocked by CORS policy: Cross origin requests are only supported for protocol schemes: http, data, chrome, ch_indesssss.html:1 access to script at 'file:///i:/vscode/cheshi/tesss.js' fro

华三SDN产业链分析-程序员宅基地

文章浏览阅读218次。为什么80%的码农都做不了架构师?>>> ..._h3c virtual converged framework切片

手把手教你开发第一个HarmonyOS (鸿蒙)移动应用_鸿蒙移动应用开发-程序员宅基地

文章浏览阅读1.9w次,点赞44次,收藏268次。AndroidIOSHarmonyOS (鸿蒙)文档概览-HarmonyOS应用开发官网2.1.1 系统的定位搭载该操作系统的设备在系统层⾯融为⼀体、形成超级终端,让设备的硬件能⼒可以弹性 扩展,实现设备之间 硬件互助,资源共享。对消费者⽽⾔,HarmonyOS能够将⽣活场景中的各类终端进⾏能⼒整合,实现不同终端 设备之间的快速连接、能⼒互助、资源共享,匹配合适的设备、提供流畅的全场景体验。⾯向开发者,实现⼀次开发,多端部署。_鸿蒙移动应用开发

AndroidStudio无代码高亮解决办法_android studio 高亮-程序员宅基地

文章浏览阅读2.8k次。AndroidStudio 升级到 4.2.2 版本后,没有代码高亮了,很蛋疼。解决办法是:点开上方的 File,先勾选 Power Save Mode 再取消就可以了。_android studio 高亮

随便推点

设计模式--组合模式-程序员宅基地

文章浏览阅读47次。定义:允许将对象组成树形结构来表现 “整体/部分” 层次结构。组合能让客户以一致的方式处理个别对象及对象组合。说白了,就是类似于树形结构。 只是它要求子节点和父节点都具备统一的接口。类图如下:示例如下:比如我们常见的电脑上的目录,目录下面有文件夹,也有文件,然后文件夹里面还有文件及文件夹。这样一层层形成了树形结构。示例代码如下:#include <iostream>#include <stdio.h>#include "string"#includ..

Kotlin相关面试题_kotlin面试题-程序员宅基地

文章浏览阅读1.9w次,点赞26次,收藏185次。目录一.请简述下什么是kotlin?它有什么特性?二.Kotlin 中注解 @JvmOverloads 的作用?三.Kotlin中的MutableList与List有什么区别?四.kotlin实现单例的几种方式?五. kotlin中关键字data的理解?相对于普通的类有哪些特点?六.什么是委托属性?简单说一下应用场景?七.kotlin中with、run、apply、let函数的区别?一般用于什么场景?八.kotlin中Unit的应用以及和Java中void的区别?九.Ko_kotlin面试题

HEVC英文缩写及部分概念整理(1)--博主整理_反量化 英文缩写-程序员宅基地

文章浏览阅读2.8k次。有这个想法一方面是确实很多时候会记不得一些缩写是什么意思。另外也是受 http://blog.csdn.net/lin453701006/article/details/52797415这篇博客的启发,本文主要用于自己记忆 内容主要整理自http://blog.sina.com.cn/s/blog_520811730101hmj9.html http://blog.csdn.net/feix_反量化 英文缩写

超级简单的Python爬虫入门教程(非常详细),通俗易懂,看一遍就会了_爬虫python入门-程序员宅基地

文章浏览阅读7.3k次,点赞6次,收藏36次。超级简单的Python爬虫入门教程(非常详细),通俗易懂,看一遍就会了_爬虫python入门

python怎么输出logistic回归系数_python - Logistic回归scikit学习系数与统计模型的系数 - SO中文参考 - www.soinside.com...-程序员宅基地

文章浏览阅读1.2k次。您的代码存在一些问题。首先,您在此处显示的两个模型是not等效的:尽管您将scikit-learn LogisticRegression设置为fit_intercept=True(这是默认设置),但您并没有这样做statsmodels一;来自statsmodels docs:默认情况下不包括拦截器,用户应添加。参见statsmodels.tools.add_constant。另一个问题是,尽管您处..._sm fit(method

VS2017、VS2019配置SFML_vsllfqm-程序员宅基地

文章浏览阅读518次。一、sfml官网下载32位的版本 一样的设置,64位的版本我没有成功,用不了。二、三、四以下这些内容拷贝过去:sfml-graphics-d.libsfml-window-d.libsfml-system-d.libsfml-audio-d.lib..._vsllfqm

推荐文章

热门文章

相关标签