搜索
您的当前位置:首页在JS+WCF中如何实现监测数据加载量

在JS+WCF中如何实现监测数据加载量

时间:2023-11-29 来源:红星娱乐

这篇文章主要介绍了JS+WCF实现进度条实时监测数据加载量的方法,结合实例形式分析了大量数据导入过程中前台js与后台WCF交互实现实时显示加载进度的相关操作技巧,需要的朋友可以参考下

本文实例讲述了JS+WCF实现进度条实时监测数据加载量的方法。分享给大家供大家参考,具体如下:

背景

由于项目中需要导入大量数据到memcache中

需要用WCF调取11万条数据,由于那边多级联查和排序,所以比较慢(1分钟左右)

同时这边需要对数据进行处理,合并成2万条数据,然后存储,需要一定时间(也是1分钟左右)

总之,完成这个数据导入一共需要1分30秒左右

这时候,需要一个进度条来实时监测完成的数据量

(之前用的是一个动态图,不能知道程序目前的完成量,甚至不知道它是不是卡住了,只能等着)

功能

1.开辟线程,用于加载数据,处理数据2.前台实时读取后台数据,并显示

代码

view-html

@* 数据准备进度条 *@ <p id="container"> <p class="content"> <h1>数据准备</h1> </p> <!-- Progress bar --> <p id="progress_bar" class="ui-progress-bar ui-container"> <p class="ui-progress" style="width: 3%;"> <span class="ui-label" style="display: none;">完成量<b class="value">3%</b></span> </p> </p> <!-- /Progress bar --> <p class="content" id="main_content" style="display: none;"> <p>数据准备完成!</p> </p> </p>

view-js

$(function () { $('#initialization').click(function () { $.messager.confirm('提示', '是否要进行数据初始化?', function (r) { if (!r) { return; } else { $('#container').show(); var t1 = window.setInterval(process_bar, 1500); } }); });});function process_bar() { $.ajax({ type: "POST", async: true, url: "/Paper/LoadData", success: function (result) { $('#progress_bar .ui-progress').animateProgress(result); if (result =="100") { $('#main_content').slideDown(); $('#fork_me').fadeIn(); setTimeout(function () { $('#container').hide();; }, 1500); window.clearInterval(t1); } } })}

controller

static bool flag = true;public int LoadData(){ int result = Ipaperbll.LoadDataAmount(); if (flag) { Thread thread = new Thread(new ThreadStart(ThreadLoadData)); thread.Start(); flag = false; } return result;}private void ThreadLoadData(){ Ipaperbll.initializeData();}

后台

static int load_data_amount;//当前数据准备量public bool initializeData(){ bool flag = false; //定义返回值 //获得数据 //code....code ....code.... load_data_amount = 5;//完成工作量 int page = 0; int amount = 50000;//一次获取数据量不能超过10万 while (page * amount == list.Count) { //code....code ....code.... load_data_amount = load_data_amount + 5; } load_data_amount = 50;//读取数据默认的工作量 double totalamount = list.Count(); foreach (var item in list) { //code....code ....code.... load_data_amount = Convert.ToInt32((1 - (totalamount--) / double.Parse(list.Count().ToString())) * 50) + 50;//根据数据改变的完成工作量 } load_data_amount = 100;//完成工作量 flag = true; return flag;}//返回当前准备数据量public int LoadDataAmount() { return load_data_amount;}

问题 & 解决

1.进度条生成

解决:使用网上的demo,css+js可以动态生成,改变数据即可

2.线程问题

解决:开始是监测使用线程,后来改成处理数据使用线程

3.实时监测问题

解决:处理数据使用线程自动运行,前台使用ajax不断查询后台的一个变量load_data_amount

4.ajax报错问题

注意是返回值的类型,以及是result还是result.d,不同情况下是不一样的

5.数据类型问题

解决:读取数据完成的百分比,是用 完成量/所有量 得到的,这里的数一直算不对,是因为int类型承受不住11万的运算以及之后的小数,用double和float可以

小结

本来想着开个线程,加个变量,返回前台,加一个进度条,读取变量就OK了

但是中间的这个MVC,这个Spring,这个接口,之前的方法各种不好使,以及在它们下面的运算,ajax……一个一个分开解决,最后还是解决了

分而治之,逐个解决,测试就好

另外,框架和合作在带来便利的同时,中间的限制和bug也会让你的效率下降

上面是我整理给大家的,希望今后会对大家有帮助。

相关文章:

使用jQuery如何解决动态添加元素无法触发绑定事件

在Node中如何获取Excel内容

在node中中间服务层如何发送请求(详细教程)

小编还为您整理了以下内容,可能对您也有帮助:

在node.js中多个异步过程中如何判断执行是否完成(详细教程)

这篇文章主要给大家介绍了关于node.js多个异步过程中判断执行是否完成的几种解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起看看吧。

前言

本文主要给大家介绍了关于node.js多个异步过程中判断执行是否完成的相关内容,可能这样说大家不是很明白,下面来一起看看详细的介绍吧。

场景:

想请求量较大的网络数据,比如想获取1000条结果,但数据处理速度慢,有超时的风险,可以分成10次处理,每次处理100条;所有请求完成后再统一进行处理。

这样的应用场景,可以这样处理:

方案一:判断请求到的数据条目

// 模拟网络请求

function fetch(url, callback) {

setTimeout(function (){

callback(null, {

subjects: [{

data: Math.round(Math.random() * 100)

}]

});

}, 2000);

}

// 实现方案1

function multiTask_1 () {

var arr = [];

var baseUrl = 'https://api.douban.com/v2/movie/top250';

for (var start = 0; start < 10; start++) {

var url = baseUrl + '?start=' + start + "&count=1";

fetch(url, function(error, res) {

var data = res.subjects;

arr = arr.concat(data);

// 调用完成后统一处理

if (arr.length === 10) {

console.log(arr);

}

});

}

}将运行结果用arr.length来判断,如果arr.length不像我们期望的那样,比如由于网络传输或者处理异常,少一条,那么我们将无法做后续的处理。这种处理方式强业务耦合;不具有普适性。

方案二:判断异步过程执行次数

// 方案2

function multiTask_2 () {

var taskWatcher = 0;

var arr = [];

var baseUrl = 'https://api.douban.com/v2/movie/top250';

for (var start = 0; start < 10; start++) {

taskWatcher++;

var url = baseUrl + '?start=' + start + "&count=1";

fetch(url, function(error, res) {

var data = res.subjects;

arr = arr.concat(data);

taskWatcher--;

if (taskWatcher === 0) {

console.log(arr);

}

});

}

}方案2 的判断条件,这里的 taskWatcher 充当异步任务执行情况的观察员,仅与异步过程的调用次数有关,且与其他处理过程无关。那有没有其他方案呢

方案三:Promise.all()

Promise.all(iterable) 方法返回一个 Promise, 它将在上述可迭代对象中的所有 Promise 被 resolve 之后被 resolve,或者在任一 Promise 被 reject 后被 reject。

function multiTask_3 () {

// var taskWatcher = 0;

var taskStack = [];

var arr = [];

var baseUrl = 'https://api.douban.com/v2/movie/top250';

for (var start = 0; start < 10; start++) {

taskStack.push(

new Promise((resolve, reject) => {

var url = baseUrl + '?start=' + start + "&count=1";

fetch(url, function(error, res) {

var data = res.subjects;

arr = arr.concat(data);

resolve();

});

})

);

}

Promise.all(taskStack).then(function () {

console.log(arr);

});

}这种方式更具有通用性,如果异步任务类型不同,也可以用这种方式来解决。不过应当注意reject的处理。避免其对最终处理的影响。

方案四: EventProxy

EventProxy是朴灵写的,https://github.com/JacksonTian/eventproxy

var ep = new EventProxy();

var arr = [];

ep.after('fetchData', 10, function (list) {

list.forEach(function(item){

arr = arr.concat(item);

});

console.log(arr);

});

var baseUrl = 'https://api.douban.com/v2/movie/top250';

for (var start = 0; start < 10; start++) {

var url = baseUrl + '?start=' + start + "&count=1";

fetch(url, function(error, res) {

var data = res.subjects;

ep.emit('fetchData', data);

});

}EventProxy基于事件订阅/发布模式,这里的after 方法可以侦听多次事件,回调中保存了多次异步任务的数据结果的数组;除此之外EventProxy还支持多个不同事件的侦听和处理。

上面是我整理给大家的,希望今后会对大家有帮助。

相关文章:

使用vue-cli如何配置接口代理

在NodeJs中如何使用form-data格式传输文件

在微信小程序中如何实现图片懒加载

使用js如何实现焦点图效果

如何优化操作大数据量数据库

如何优化操作大数据量数据库

下面以关系数据库系统Informix为例,介绍改善用户查询计划的方法。

1.合理使用索引

索引是数据库中重要的数据结构,它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处,其使用原则如下:

●在经常进行连接,但是没有指定为外键的列上建立索引,而不经常连接的字段则由优化器自动生成索引。

●在频繁进行排序或分组(即进行group by或order by操作)的列上建立索引。

●在条件表达式中经常用到的不同值较多的列上建立检索,在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值,因此就无必要建立索引。如果建立索引不但不会提高查询效率,反而会严重降低更新速度。

●如果待排序的列有多个,可以在这些列上建立复合索引(pound index)。

●使用系统工具。如Informix数据库有一个tbcheck工具,可以在可疑的索引上进行检查。在一些数据库服务器上,索引可能失效或者因为频繁操作而使得读取效率降低,如果一个使用索引的查询不明不白地慢下来,可以试着用tbcheck工具检查索引的完整性,必要时进行修复。另外,当数据库表更新大量数据后,删除并重建索引可以提高查询速度。

2.避免或简化排序

应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时,优化器就避免了排序的步骤。以下是一些影响因素:

●索引中不包括一个或几个待排序的列;

●group by或order by子句中列的次序与索引的次序不一样;

●排序的列来自不同的表。

为了避免不必要的排序,就要正确地增建索引,合理地合并数据库表(尽管有时可能影响表的规范化,但相对于效率的提高是值得的)。如果排序不可避免,那么应当试图简化它,如缩小排序的列的范围等。

3.消除对大型表行数据的顺序存取

在嵌套查询中,对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略,一个嵌套3层的查询,如果每层都查询1000行,那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如,两个表:学生表(学号、姓名、年龄……)和选课表(学号、课程号、成绩)。如果两个表要做连接,就要在“学号”这个连接字段上建立索引。

还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引,但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作:

SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008

虽然在customer_num和order_num上建有索引,但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的 *** ,所以应该改为如下语句:

SELECT * FROM orders WHERE customer_num=104 AND order_num>1001

UNION

SELECT * FROM orders WHERE order_num=1008

这样就能利用索引路径处理查询。

4.避免相关子查询

一个列的标签同时在主查询和where子句中的查询中出现,那么很可能当主查询中的列值改变之后,子查询必须重新查询一次。查询嵌套层次越多,效率越低,因此应当尽量避免子查询。如果子查询不可避免,那么要在子查询中过滤掉尽可能多的行。

5.避免困难的正规表达式

MATCHES和LIKE关键字支持通配符匹配,技术上叫正规表达式。但这种匹配特别耗费时间。例如:SELECT * FROM customer WHERE zipcode LIKE “98_ _ _”

即使在zipcode字段上建立了索引,在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT * FROM customer WHERE zipcode >“98000”,在执行查询时就会利用索引来查询,显然会大大提高速度。

另外,还要避免非开始的子串。例如语句:SELECT * FROM customer WHERE zipcode[2,3]>“80”,在where子句中采用了非开始子串,因而这个语句也不会使用索引。

6.使用临时表加速查询

把表的一个子集进行排序并创建临时表,有时能加速查询。它有助于避免多重排序操作,而且在其他方面还能简化优化器的工作。例如:

SELECT cust.name,rcvbles.balance,……other columns

FROM cust,rcvbles

WHERE cust.customer_id = rcvlbes.customer_id

AND rcvblls.balance>0

AND cust.postcode>“98000”

ORDER BY cust.name

如果这个查询要被执行多次而不止一次,可以把所有未付款的客户找出来放在一个临时文件中,并按客户的名字进行排序:

SELECT cust.name,rcvbles.balance,……other columns

FROM cust,rcvbles

WHERE cust.customer_id = rcvlbes.customer_id

AND rcvblls.balance>0

ORDER BY cust.name

INTO TEMP cust_with_balance

然后以下面的方式在临时表中查询:

SELECT * FROM cust_with_balance

WHERE postcode>“98000”

临时表中的行要比主表中的行少,而且物理顺序就是所要求的顺序,减少了磁盘I/O,所以查询工作量可以得到大幅减少。

注意:临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下,注意不要丢失数据。

7.用排序来取代非顺序存取

非顺序磁盘存取是最慢的操作,表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况,使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。

有些时候,用数据库的排序能力来替代非顺序的存取能改进查询。

实例分析

下面我们举一个制造公司的例子来说明如何进行查询优化。制造公司数据库中包括3个表,模式如下所示:

1.part表

零件号?????零件描述????????其他列

(part_num)?(part_desc)??????(other column)

102,032???Seageat 30G disk?????……

500,049???Novel 10M neork card??……

……

2.vendor表

厂商号??????厂商名??????其他列

(vendor _num)?(vendor_name) (other column)

910,257?????Seageat Corp???……

523,045?????IBM Corp?????……

……

3.parven表

零件号?????厂商号?????零件数量

(part_num)?(vendor_num)?(part_amount)

102,032????910,257????3,450,000

234,423????321,001????4,000,000

……

下面的查询将在这些表上定期运行,并产生关于所有零件数量的报表:

SELECT part_desc,vendor_name,part_amount

FROM part,vendor,parven

WHERE part.part_num=parven.part_num

AND parven.vendor_num = vendor.vendor_num

ORDER BY part.part_num

如果不建立索引,上述查询代码的开销将十分巨大。为此,我们在零件号和厂商号上建立索引。索引的建立避免了在嵌套中反复扫描。关于表与索引的统计信息如下:

表?????行尺寸???行数量?????每页行数量???数据页数量

(table)?(row size)?(Row count)?(Rows/Pages)?(Data Pages)

part????150?????10,000????25???????400

Vendor???150?????1,000???? 25???????40

Parven???13????? 15,000????300?????? 50

索引?????键尺寸???每页键数量???页面数量

(Indexes)?(Key Size)?(Keys/Page)???(Leaf Pages)

part?????4??????500???????20

Vendor????4??????500???????2

Parven????8??????250???????60

看起来是个相对简单的3表连接,但是其查询开销是很大的。通过查看系统表可以看到,在part_num上和vendor_num上有簇索引,因此索引是按照物理顺序存放的。parven表没有特定的存放次序。这些表的大小说明从缓冲页中非顺序存取的成功率很小。此语句的优化查询规划是:首先从part中顺序读取400页,然后再对parven表非顺序存取1万次,每次2页(一个索引页、一个数据页),总计2万个磁盘页,最后对vendor表非顺序存取1.5万次,合3万个磁盘页。可以看出在这个索引好的连接上花费的磁盘存取为5.04万次。

hibernate如何优化大数据量操作?

建议你直接用Jdbc好了,用batch,这样是最快的。

如何实现大数据量数据库的历史数据归档

打开数据库

con.Open();

读取数据

OdbcDataReader reader = cmd.ExecuteReader();

把数据加载到临时表

dt.Load(reader);

在使用完毕之后,一定要关闭,要不然会出问题

reader.Close();

这个问题是这样的:

首先你要明确你的插入是正常业务需求么?如果是,那么只能接受这样的数据插入量。

其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize

最后有个方法可以使用,如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。

注意平时对数据库的维护 定期整理索引碎片

时间维度分区表,然后定情按照规则将属于历史的分区数据迁移到,历史库上,写个存储自动维护分区表。

如何用java jdbc 向数据库表插入大数据量

一次性插入大量数据,只能使用循环,

如:游标,while 循环语句

下面介绍While 循环插入数据,

SQL 代码如下:

IF OBJECT_ID('dbo.Nums') IS NOT NULL

DROP TABLE dbo.Nums;

GO

CREATE TABLE dbo.Nums(n INT NOT NULL PRIMARY KEY);

DECLARE @max AS INT, @rc AS INT;

SET @max = 5000000;

SET @rc = 1;

INSERT INTO Nums VALUES(1);

WHILE @rc * 2 <= @max

BEGIN

INSERT INTO dbo.Nums SELECT n + @rc FROM dbo.Nums;

SET @rc = @rc * 2;

END

INSERT INTO dbo.Nums SELECT n + @rc FROM dbo.Nums WHERE n + @rc <= @max;

--以上函数取自Inside SQL Server 2005: T-SQL Query一书。

INSERT dbo.Sample SELECT n, RAND(CAST(NEWID() AS BINARY(16))) FROM Nums

php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');

$pdo = new PDO("mysql:host=localhost;dbname=test","root","123456");

$sql = "insert into test(name,age,state,created_time) values";

for($i=0; $i<100000; $i++){

$sql .="('zhangsan',21,1,'2015-09-17')";

}

$sql = substr($sql,0,strlen($sql)-1);

var_mp($sql);

if($pdo -> exec($sql)){

echo "插入成功!";

echo $pdo -> lastinsertid();

}

试试吧。10万条1分钟多,我觉得还行

请教如何通过WCF传输大数据量数据

就是直接把DataSet 类型作为参数直接传递给服务端

WCF默认支持这么做,直接传Datatable不行。

你看一下 “服务引用设置”中你选的 *** 类型是什么,我选的是System.Array

字典 *** 类型是默认第一项 System.Collections.Generic.Dictionary

又是一个把自己架在火上烤的需求啊,

如果不考虑传输因素,可以调整wcf配置,提升传递的容量,如果是对象传递可能还要调整对象层次的深度

如何在WPS中使用JS实现下拉框

在WPS表格中,您可以通过以下步骤编写一个JS宏来实现这个需求:

首先,您需要了解WPS表格中JS宏的基本语法和规则。WPS表格的JS宏和Excel的VBA宏有些类似,但是它们是使用JavaScript编写的。您可以在WPS表格的帮助文档中找到相关的教程和参考。

以下是一个大致的步骤,可以帮助您开始编写这个宏:

在表一中创建一个事件,以便在数据更改时触发宏。您可以使用Worksheet.onEdit函数来做到这一点。例如:

javascript复制代码

Worksheet.onEdit(function(event) {    

// 这里写你的代码      

});    

在事件中,编写代码来检查表一中的数据是否已经录入完毕。如果是,则触发导入数据的操作。您可以使用Range.getValue函数来获取单元格的值,然后使用条件语句来检查值是否存在。例如:

javascript复制代码

Worksheet.onEdit(function(event) {    

var range = event.range;    

var value = range.getValue();    

if (value) {    

// 数据已录入,触发导入数据的操作      

}    

});    

在导入数据的操作中,编写代码来将表一中的数据导入到表二中,并按照表二的版面自动向下填充数据。您可以使用Range.setValue函数来设置单元格的值,并使用循环语句来遍历表一中的数据并将它们填充到表二中。例如:

javascript复制代码

Worksheet.onEdit(function(event) {    

var range = event.range;    

var value = range.getValue();    

if (value) {    

// 数据已录入,触发导入数据的操作      

var sheet1 = workbook.getSheet("表一");    

var sheet2 = workbook.getSheet("表二");    

// 获取表一中的数据,并遍历它们      

var data = sheet1.getRange("A1:B10").getValues();    

for (var i = 0; i < data.length; i++) {    

for (var j = 0; j < data[i].length; j++) {    

// 将数据填充到表二中,并自动向下填充      

sheet2.getRange("A" + (i+1) + ":B" + (i+1)).setValues([data[i][j]]);    

}    

}    

}    

});    

最后,在事件中,编写代码来处理表一中数据修改的情况。如果数据被修改,那么您需要更新表二中的数据以反映最终值。您可以使用Range.setValue函数来设置单元格的值。例如:

javascript复制代码

Worksheet.onEdit(function(event) {    

var range = event.range;    

var value = range.getValue();    

if (value) {    

// 数据已录入,触发导入数据的操作      

// ...(省略导入数据的代码)...      

} else {    

// 数据被修改,更新表二中的数据      

var sheet1 = workbook.getSheet("表一");    

var sheet2 = workbook.getSheet("表二");    

// 获取表一中的最新数据,并更新表二中的数据      

var data = sheet1.getRange("A1:B10").getValues();    

for (var i = 0; i < data.length; i++) {    

for (var j = 0; j < data[i].length; j++) {    

// 更新表二中的数据以反映最终值      

sheet2.getRange("A" + (i+1) + ":B" + (i+1)).setValues([data[i][j]]);    

}    

}    

}    

});    

为什么别人网站源码中只有少量内容,其他通过js实现

最有可能的原因就是网页数据是动态加载的,存储在一个json文件中,直接获取源码是提取不到任何信息的,需要抓包分析才行,下面我简单介绍一下操作过程,以某某贷上的数据为例(动态加载):

1.首先,打开原网页,如下,这里假设我们要爬取的数据包含年利率、借款标题、期限、金额和进度5个字段:

2.接着右键打开网页源码,按Ctrl+F搜索其中关键字,如“10.20%”,可以看到,任何信息都匹配不到,说明数据是动态加载的,而非直接嵌套在网页源码中:

3.按F12调出浏览器开发者工具,开始抓包分析,依次点击“Network”->“XHR”,F5刷新页面,可以看到,数据是动态加载的,存储在一个json文件中,而非html网页源码,只有解析这个json文件,才能提取出我们需要的数据:

4.接着就是根据抓包结果解析json文件,已经获取到url地址,所以直接get请求即可,然后用python自带的json包解析就行,测试代码如下,非常简单,依次根据属性提取字段信息即可:

5.最后点击运行程序,截图如下,已经成功提取到我们需要的数据:

至此,我们就完成了网页动态数据的爬取。总的来说,整个过程非常简单,最主要的还是抓包分析,获取到真实存储数据的文件,然后再解析就行,只要你有一定的python基础,熟悉一下上面的过程,很快就能掌握的,当然,如果数据或链接进行了加密处理,这个就非常复杂了,需要自己好好琢磨一下,网上也有相关资料和教程,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言进行补充。

红星娱乐还为您提供以下相关内容希望对您有帮助:

如何使用AngularJs打造权限管理系统【简易型】_AngularJS

所有的页面数据都是异步加载和局部刷新,这样的实现将会有更好的用户体验。应用层(Application Service)AngularJS通过Http服务去请求Web API来获得数据,而Web API的实现则是调用应用层来请求数据。基础架构层基础架构层包括仓储...

Top