向广告主建议用于在线内容项的创意类型的系统和方法

摘要

本公开涉及向广告主建议用于在线内容项的创意类型的系统和方法。提供一种计算机实现的方法，用于为在线内容提供者生成创意类型建议。该方法使用包括处理器和存储器的计算设备。该方法包括用包括(i)在线广告的派发效能和(ii)广告主信息中的一个或更多个的历史信息训练第一模型。该方法还包括使用至少该第一模型计算初步创意类型建议。该方法进一步包括至少部分地基于过去建议效能修改该初步创意类型建议来生成最终创意类型建议。该方法还包括将该最终创意类型建议呈现给该在线内容提供者。

说明书

本申请属于申请日为2014年7月1日的中国发明专利申请201480080238.8的分案申请。

技术领域

本说明书涉及在线内容呈现，更具体地说，涉及用于向在线内容提供者建议在线内容项的创意类型的系统和方法。

背景技术

在诸如因特网的在线论坛中，在线内容提供者(例如广告主)创建当在线消费者遍历因特网时派发给他们的在线内容项(例如广告)。对在线内容项，有许多已知格式或“创意类型”，并且创意类型继续发展。一些已知的创意类型包括文本广告、图像广告、动画广告和视频广告。向特定媒体类型或论坛定制一些创意类型。例如，HTML5、插播广告或点击呼叫广告的创意类型迎合诸如平板和智能电话设备的移动设备。

增长的广告类型的数目使得对广告主来说广告创意的过程更复杂。广告主不仅必须想出将更好吸引消费者的广告设计，而且他们还必须确定用于他们的商业的最佳广告类型。在许多情况下，广告主可能甚至不知道什么创意类型可用，更别提哪一个对他们的目的最有效。许多潜在在线广告主可能因广告创意过程而泄气，并且可能在面对这些障碍时放弃该过程。其他在线广告主可能继续使用过时或低效的创意类型，仅因为他们最熟悉创意类型的某些子集。

发明内容

在一个方面中，提供一种计算机实现的方法，用于为在线内容提供者生成创意类型建议。该方法使用包括处理器和存储器的计算设备。该方法包括用包括(i)在线广告的派发效能和(ii)广告主信息中的一个或更多个的历史信息训练第一模型。该方法还包括使用至少该第一模型计算初步创意类型建议。该方法进一步包括：至少部分地基于过去建议效能，修改该初步创意类型建议，以生成最终创意类型建议。该方法还包括将该最终创意类型建议呈现给该在线内容提供者。

在另一方面中，提供一种计算机系统。该计算机系统包括：输出设备；至少一个存储器；以及一个或更多个处理器。所述一个或更多个处理器被配置为用包括(i)在线广告的派发效能和(2)广告主信息中的一个或更多个训练第一模型。所述一个或更多个处理器还被配置为使用至少该第一模型为在线内容提供者计算初步创意类型建议。所述一个或更多个处理器还被进一步配置为：至少部分地基于过去建议效能，修改该初步创意类型建议，以生成最终创意类型建议。所述一个或更多个处理器还被配置为将该最终创意类型建议呈现给该在线内容提供者。

在又一方面中，提供非瞬时计算机可读存储介质，在该非瞬时计算机可读存储介质上体现有计算机可执行指令。当由至少一个处理器执行时，该计算机可执行指令使处理器用包括(i)在线广告的派发效能和(ii)广告主信息中的一个或更多个的历史信息训练第一模型。该计算机可执行指令还使处理器使用至少该第一模型为在线内容提供者计算初步创意类型建议。该计算机可执行指令还进一步使处理器：至少部分地基于过去建议效能，修改该初步创意类型建议，以生成最终创意类型建议。该计算机可执行指令还使处理器将该最终创意类型建议呈现给该在线内容提供者。

附图说明

图1-5示出本文所述的方法和系统的示例实施例。

图1是示出用于向内容提供者建议在线内容项的创意类型的示例联网环境的图。

图2是用于向如图1中所示的用户建议创意类型的计算设备的框图。

图3是用于向内容提供者提供创意类型建议的示例建议系统的图。

图4是用于向广告主建议用于在线内容项的创意类型的示例方法。

图5示出计算设备内的数据库连同可以被用来向广告主建议用于在线内容项的创意类型的其他相关计算组件的示例配置。

各个图中的同样的参考数字和名称表示同样的元件。

具体实施方式

本文所述的方法和系统的实施例使得为在线内容的提供者(例如在线广告主)建议广告类型(“创意类型”)成为可能。当创建在线内容(例如广告)时，一些广告主可能不知道某些创意类型，由此会避开可能有利或胜过他们满意的创意类型的一些类型。如本文所使用的，术语“创意类型”是指如何构造广告并且显示给用户的广告的基本格式，诸如静态图像、定制HTML、插播或富媒体。

该创意类型建议系统分析来自其他广告主(“历史广告主”)的历史数据，更具体地说，分析过去广告(即，过去印象)的创意类型的效能，以准备用于“当前广告主”的创意类型的建议列表。系统创建：(a)用于历史广告主池的广告主简档，每一个广告主一个简档；以及(b)与历史广告主相关联的过去广告活动的派发效能数据。由(1)广告主的广告历史(例如使用的特定创意类型，花费的金额，成本类型和投放)和(2)广告主的站点信息(例如广告主的商业垂直布局(business vertical)和广告资产)的组合，生成广告主简档。历史派发效能数据识别对那一特定广告主每一创意被执行得如何。使用简档数据和派发效能数据来训练能生成用于当前广告主的创意类型建议的学习模型(“创意类型模型”)。

使用创意类型模型，建议系统对当前广告主生成建议的创意类型的有序列表。系统由三个因子(“使用类型”频率因子、效能因子和预定义类型因子)生成该列表。系统将当前广告主的简档用作模型的输入，以生成对当前广告主定制的使用类型的频率因子和效能因子。这两个因子由此合并(类似简档的)过去广告主多常使用某些创意类型以及那些创意类型被执行如何好。第三个因子是表示分析员将向当前广告主建议什么的人为定义的因子。这三个因子一起被加权，以对当前广告主生成建议的创意类型的有序列表。

然后，基于过去建议的效能，修改建议的创意类型的该列表。为了执行该修改步骤，该系统构建和维护(即，定期再训练)“建议效能模型”，该“建议效能模型”分析过去系统的建议被给出时广告主如何动作。该建议效能模型合并过去广告主的简档以及“保存率”(即，过去建议的广告主是否实际执行给出的建议的创意类型)。如此，建议系统使用该建议效能模型(即过去建议的效能)来在呈现给目标广告主前修改建议的创意类型的当前列表。

本文所述的方法和系统可以使用计算机编程或工程技术(包括计算机软件、固件、硬件或其任何组合或子集)来实现，其中可以通过执行下列步骤中的至少一个实现技术效果：(a)用包括在线广告主的派发效能和广告主信息中的一个或更多个的历史信息训练第一模型；(b)使用至少第一模型计算初步创意类型建议；(c)至少部分地基于过去建议效能，修改初步创意类型建议，以生成最终创意类型建议；(d)将最终创意类型建议提供给在线广告主；(e)使用该模型，生成与创意类型相关联的使用频率因子和效能因子中的一个或更多个；(f)对使用频率因子、效能因子和预定义类型建议中的两个或更多个进行加权，以生成初步创意类型建议；(g)修改建议值；(h)用包括创意类型建议效能数据和广告主信息中的一个或更多个的过去建议效能训练第二模型，其中修改初始创意类型建议包括至少部分地基于来自第二模型的输出，修改初步创意类型建议；(i)用所述多个广告主简档训练第二模型；以及(j)对来自多个历史广告主的每一个历史广告主生成广告主简档，由此生成多个广告主简档，其中用历史信息训练第一模型包括用至少所述多个广告主简档训练第一模型。

在一些已知系统中，广告主可以继续利用已知创意类型，因为他们不知道其他创意类型的可用性、适用性和效能好处。该建议系统通过提供适当的创意类型建议，帮助广告主在他们的广告活动中采用创意类型。该建议系统的总体技术效果包括以下的一个或更多个：提供很可能由广告主采用的建议；提供为类似广告主提供增强的效能的建议；以及基于过去建议结果改写建议。

下述详细描述通过举例而不是通过限制示出本公开的实施例。设想到本公开一般应用于在呈现在线内容项期间呈现内容项诸如在线广告。

如本文所使用的，以单数叙述并接在词“一个”后面的要素或步骤应该被理解为不排除多个要素或步骤，除非这样的排除是明显叙述的。此外，对本公开的“一个实施例”的引用不旨在被解释为排除也合并所叙述的特征的附加实施例的存在。

图1是示出用于向内容提供者102建议在线内容项的创意类型的示例联网环境100的图。参考图1，示例联网环境100可以包括一个或更多个内容提供者102(替选地，本文称为商人或广告主)、一个或更多个发布者104、内容管理系统(CMS)106以及可以耦接到网络110的一个或更多个用户访问设备108(“客户端计算设备”或仅“客户端设备”)。用户访问设备由用户150、152和154使用。图1中的元件102、104、106、108和110中的每一个可以用硬件组件、软件组件或固件组件或这样的组件的任何组合来实现或者与之相关联。元件102、104、106、108和110能够用例如服务器、软件过程和引擎和/或各种嵌入式系统来实现或与之相关联。元件102、104、106和110可以例如用作内容投标和/或分发网络。在示例实施例中，内容提供者102包括在线广告主，并且CMS 106是广告管理系统，该广告管理系统经由建议系统118使向内容提供者102建议用于内容项的创意类型成为可能。

内容提供者102可以包括与内容(即，内容项或多个内容项)的任何实体。在一些实施例中，内容包括识别和促销(或者以其它方式传达)一个或更多个产品、服务、构思、消息、人、组织或其它项目的任何形式的通信。内容不限于广告和商业推广。相反，内容可以包括公共服务通告或任何其他类型的公告，诸如以印刷或电子报刊或广播方式发布的公共公告。在一些实施例中，内容提供者102提供包括例如音频和/或视频广告的内容项。

内容可以经由多种介质并且以多种形式进行通信。在一些示例中，内容可以通过诸如因特网的交互式介质进行通信，并且可以包括图形内容(例如横幅内容)、文本内容、图像内容、音频内容、视频内容，结合了任何这样的组件中的一个或更多个的内容或任何形式的电子传递的内容。内容可以包括嵌入式信息，诸如嵌入式媒体、链接、元信息和/或机器可执行指令。内容还可以通过RSS(真正简易聚合)馈送、无线电信道、电视频道、打印媒介和其它媒介进行通信。

内容能指单一“创意”和“内容组”。创意是指表示一个内容印象的任何实体，本文也称为广告或“广告”。内容印象是指内容的任何呈现形式，使得可由用户查看/接收。在一些示例中，当在用户访问设备(即，“客户端计算设备”)的显示设备上显示内容时，可以发生内容印象。内容组可以是指例如表示共享共同特性(诸如具有相同内容选择和推荐标准)的创意组的实体。内容组能用来创建内容活动。

在一些实施例中，一个或更多个广告加入“广告组”。广告组包括一个或更多个广告以及与那些广告有关的其他相关信息，例如但不是限制题目、标题、预算、目标标准和关键字。在示例实施例中，广告组包括一个广告和相关的信息。如本文所使用的，可以互换地使用术语“广告”和“广告组”，因为也可以相对于广告组，执行相对于广告的一些操作，或反之亦然。

内容提供者102可以提供(或者与其相关联)与内容相关的产品和/或服务。内容提供者102可以包括或被关联到例如零售商、批发商、仓库、制造商、经销商、健康护理提供者、教育机构、金融机构、技术供应者、电力供应者、基础设施供应者或任何其它产品或服务的供应者或经销商。

内容提供者102可以直接或间接地生成、维护、复审和/或分析内容，其可以与由内容提供者102所提供的或以其它方式与内容提供者102相关联的产品或服务有关。内容提供者102可以包括或维护耦接至网络110的一个或更多个数据处理系统112，诸如服务器或嵌入式系统。内容提供者102可以包括或维护运行在一个或更多个数据处理系统上的一个或更多个过程。在一些实施例中，一些内容提供者102使用例如系统112和/或CMS 106复审在线内容。

发布者104可以包括在环境100中产生、维护、提供、呈现和/或以其它方式处理出版物的任何实体。“发布者”具体地包括出版物的作者，其中作者可以是个人，或在一些雇佣作出的作品的情况下，雇佣负责创作在线出版物的个人的所有者。术语“出版物”是指各种类型的基于web的基于软件应用的和/或以其它方式呈现的信息，包括文章、讨论线索、报告、分析、财务报表、音乐、视频、图形、搜索结果、web页面列表、信息馈送(例如RSS馈送)、电视广播、无线电广播、印刷信息，或使用诸如用户访问设备108中的一个的计算设备呈现给用户的任何其他形式的信息。

在一些实现中，发布者104可以包括具有因特网呈现的发布者，诸如在线发布和新闻提供者(例如在线报纸、在线杂志、电视网站点等)、在线服务提供者(例如，金融服务提供者、健康服务提供者等)等等。发布者104能包括软件应用提供者、电视广播、无线电广播、卫星广播和其他出版物的提供者。发布者104中的一个或更多个可以表示与CMS106相关联的出版物网络。

发布者104可以从用户访问设备108(或环境100中的其他元件)接收请求并且将出版物提供或呈现给请求设备。发布者可以经由各种介质或以各种形式提供或呈现出版物，包括基于web的和/或非基于web的介质和形式。发布者104可以生成和/或维护这样的出版物和/或从其它网络资源检索出版物。

除出版物之外，发布者104可以被配置成将所检索的出版物与和所检索的出版物有关或相关的内容整合或组合以向用户150、152和154显示。相关内容可以从CMS 106来提供并且可以与出版物相组合以向用户150、152和154显示。在一些示例中，发布者104可以检索出版物以在特定的用户访问设备108上显示，然后将该出版物连同代码一起转发给用户访问设备108，所述代码使得来自CMS 106的内容以显示给用户150、152和154。在其它示例中，发布者104可以检索出版物、(例如，从CMS 106或内容提供者102)检索相关内容，然后整合该内容和出版物以形成用于向用户150、152或154显示的页面。在其他示例中，发布者104可以向广告主，诸如内容提供者102提供在线内容空间以销售。这些内容空间可以从内容提供者102填充内容项，并且可以连同出版物一起，呈现给用户150、152或154。

如上所述，发布者104中的一个或更多个可以表示出版物网络。在这样的实现中，内容提供者102可以能够通过该出版物网络向用户呈现内容。此外，在一些实施例中，内容提供者102例如通过CMS 106投标在线内容项。

发布者104可以包括或维护耦接至网络110的一个或更多个数据处理系统114，诸如服务器或嵌入式系统。这些数据处理系统114可以包括或维护运行在数据处理系统上的一个或更多个过程。在一些示例中，发布者104可以包括用于存储出版物和其它信息的一个或更多个出版物库124。替选地，在一些实施例中，发布者104和/或内容提供者102可以使用例如系统114和/或CMS 106复审在线内容项。

CMS 106管理内容并且向内容提供者102、发布者104以及用户访问设备108提供各种服务。CMS 106可以将内容存储在内容库126中，并且便于通过环境100向用户访问设备108分发或选择性提供和推荐内容。

CMS 106可以包括耦接至网络110的一个或更多个数据处理系统116，诸如服务器或嵌入式系统。CMS 106还能包括一个或更多个过程，诸如服务器过程。在一些示例中，CMS106可以包括内容派发系统120和一个或更多个后端处理系统118(未单独示出)。该内容派发系统120可以包括一个或更多个数据处理系统116并且可以执行与向发布者或用户访问设备108递送内容相关联的功能。后端处理系统118可以包括一个或更多个数据处理系统116，并且可以执行与识别要递送的相关内容、处理各种规则、执行过滤过程、生成报告、维护账户和使用信息、拍卖在线内容项以及其它后端系统处理相关联的功能。CMS 106能使用后端处理系统和内容派发系统120来选择性地将相关内容从内容提供者102通过发布者104推荐并提供到用户访问设备108。

CMS 106可以包括或访问一个或更多个爬取、索引和搜索模块(未示出)。这些模块可以浏览可访问资源(例如，万维网、发布者内容、数据馈送等)来识别、索引和存储信息。模块可以浏览信息和创建用于后续处理的浏览信息的副本。模块还可以校验链接、验证码、结果信息和/或执行其他维护或其他任务。

搜索模块可以从诸如万维网、出版物、内联网、新闻群、数据库和/或目录的各种资源搜索信息。搜索模块可以采用一个或更多个已知搜索或其他过程来搜索数据。在一些实现中，搜索模块可以索引爬取的内容和/或从数据馈送接收的内容来构建一个或更多个搜索索引。搜索索引可以用来便于快速检索与搜索查询相关的信息。搜索模块还可以存储包括搜索查询术语、搜索结果要素和派发的广告印象中的一个或更多个的搜索结果。

CMS 106可以包括用于向内容提供者、发布者以及用户访问设备提供各种特征的一个或更多个接口或前端模块。例如，CMS 106可以提供一个或更多个发布者前端接口(PFEs)，用于允许发布者与CMS 106交互。CMS 106还可以提供一个或更多个内容提供者前端接口(CPFEs)，用于允许内容提供者与CMS 106交互。在一些示例中，该前端接口可以被配置成web应用，其向用户提供对CMS 106中可用的特征的网络访问。

CMS 106向内容提供者102提供各种内容管理特征。如本文所述，CMS 106特征可以允许用户建立用户账户、设置账户偏好、创建内容、为内容选择关键字、为多个产品或业务创建活动或倡议、查看与账户相关联的报告、分析成本和投资回报率、选择性地识别不同区域中的消费者、选择性地向特定发布者推荐并提供内容、分析财务信息、分析内容效能、评估内容流量、访问关键字工具、向内容中添加图形和动画，并且复审内容项。

CMS 106可以允许内容提供者102创建内容并且输入对于内容将出现的关键字。在一些示例中，当与内容相关联的关键字被包括在用户请求或所请求的出版物中时，CMS 106可以向用户访问设备或发布者提供那些内容。CMS 106还可以允许内容提供者102对内容设置出价。出价可以表示内容提供者愿意为每一个内容印象、内容的用户点击率或与内容的其它交互支付的最高金额。点击率能包括用户为选择内容而采取的任何动作。内容提供者102还可以选择货币和月度预算。

CMS 106还可以允许内容提供者102查看关于内容印象的信息，所述内容印象的信息可以由CMS 106来维持。CMS 106可以被配置成用于确定并维护与特定网站或关键字有关的广告印象的数目。CMS 106还可以确定并维护内容的点击的数目以及点击与印象的比率。

CMS 106还可以允许内容提供者102为内容选择和/或创建转化类型。当用户完成与指定内容有关的交易时，“转化”可以发生。转化能被限定成当用户点击内容，例如特定内容项，被称为内容提供者的网页，以及离开网页前完成购买时发生。在另一个示例中，转化可以被限定成在预定时间(例如，7天)内对用户的内容的显示以及在内容提供者的网页上相应的购买。CMS 106可以将转化数据和其它信息存储在转化数据库136中。

CMS 106可以允许内容提供者102输入与内容相关联的描述信息。该信息可以被用于辅助发布者104确定要发布的内容。内容提供者102可以另外输入与所选择的转化类型相关联的成本/值，诸如为所购买的每一个产品或服务向发布者提供的五美元付账。

CMS 106可以向发布者104提供各种特征。当用户访问来自发布者104的出版物时，CMS 106可以向用户访问设备108传递内容(与内容提供者102相关联)。CMS 106可以被配置成传递与发布者站点、出版物和发布者受众相关的内容。

在一些示例中，CMS 106可以爬取由发布者104提供的出版物并且基于所爬取的出版物传递与发布者站点、出版物以及发布者受众相关的内容。CMS 106还可以基于用户信息和行为，诸如在此所述的在搜索引擎网站上执行的特定搜索查询，有选择性地推荐和/或提供内容。在一些示例中，CMS 106可以将搜索添加到发布者站点并且传递内容，所述广告被配置成提供相对于来自发布者站点的访问者的请求所生成的搜索结果的合适且相关的内容。这些和其它方法的组合可以被用于传递相关内容。

CMS 106可以允许发布者104搜索并且选择特定的产品和服务以及将要与由发布者104所提供的出版物一起显示的相关联的内容。例如，发布者104可以在内容库126中搜索内容，并选择某些内容用于与其出版物一起显示。

CMS 106可以被配置成选择性地直接或通过发布者104向用户访问设备108推荐并提供由内容提供者102创建的内容。当用户从发布者104请求搜索结果或加载出版物时，CMS106可以选择性地向特定发布者104(如本文进一步详细描述)或正在请求的用户访问设备108推荐并提供内容。

在一些实现中，CMS 106可以管理并处理在环境100中的要素之中和之间的财务交易。例如，CMS 106可以对与发布者104相关联的账户付账，并对内容提供者102的账户扣账。这些和其它交易可以基于由CMS 106所接收和维护的转化数据、印象信息和/或点击率。

例如用户访问设备108的“计算设备”可以包括能够从网络110接收信息的任何设备。用户访问设备108能包括利用用于执行特定任务的特定组件优化的通用计算组件和/或嵌入式系统。用户访问设备的示例包括个人计算机(例如台式计算机)、移动计算设备、蜂窝电话、智能电话、头戴式计算设备、媒体播放器/记录器、音乐播放器、游戏控制台、媒体中心、媒体播放器、电子平板、个人数字助理(PDA)、电视系统、音频系统、无线电系统、可拆除存储设备、导航系统、机顶盒、其它电子设备等。用户访问设备108还能包括各种其它元件，诸如运行在各种机器上的过程。

网络110可以包括有助于各个网络节点之中和之间的通信的任何元件或系统，诸如元件108、112、114和116。网络110可以包括一个或更多个电信网络，诸如计算机网络、电话或其他通信网络、因特网等。网络110可以包括共享的、公共的或私有数据网络，涵盖广域(例如WAN)或局域(例如LAN)。在一些实现中，网络110可以通过使用网际协议(IP)分组交换的方式便利数据交换。网络110可以有助于有线和/或无线的连接性和通信。

仅为解释的目的，参考图1中所图示的离散元件描述了本公开的某些方面。环境100中元件的数目、标识和布置不限于所示出的。例如，环境100可以包括任何数目的地理上分散的内容提供者102、发布者104和/或用户访问设备108，其可以是离散的、集成的模块或分布式系统。类似地，环境100不限于单一的CMS 106，而是可以包括任何数目的集成或分散的CMS系统或元件。

此外，未示出的附加的和/或不同的元件可以被包含在或被耦接至图1所示出的元件中，并且/或者可能缺少某些所图示的元件。在一些示例中，可以由少于所图示的组件数目的组件或者甚至由单一元件来执行所图示的元件提供的功能。所图示的元件可以被实现为运行在分立机器上的个体过程，或者运行在单一机器上的单一过程。

在示例实施例中，CMS 106包括向内容提供者102提供创意类型建议的建议系统118。在操作期间，并且如下文更详细所述，建议系统118对过去内容提供者102和先前广告活动的效能(例如对具有指定创意类型的广告，多久派发一次印象，那些印象多久生成点击和/或转化一次)访问和分析历史广告主数据146。建议系统118由该历史数据学习创意类型模型，并且使用那一创意类型模型来生成用于当前内容提供者102(例如对创建新活动或新创意起作用的广告主)的创意类型建议列表。当前内容提供者102可以对或可以不对由建议系统118提供的建议采取行动。例如，内容提供者可以忽略该建议并且通过先前由内容提供者使用的已知创意类型，构建新的创意，或内容提供者可以采纳创意类型建议中的一个并且通过先前未使用的创意类型生成新创意。在任一情况下，建议系统118记录由当前内容提供者作出的决定以及对过去内容提供者给出的建议作出的决定。通过该建议效能数据，建议系统118学习被用来修改建议列表的建议效能模型，由此基于在前广告主如何对过去建议起反应，细化创意类型模型的输出。

图2是用于如图1所示，用于向用户建议创意类型的计算设备200的框图。在示例实施例中，计算设备能是图1所示的计算设备的任何一个，诸如用户访问设备108(图1所示)、CMS 106或建议系统118(图1所示)。图2示出旨在表示各种形式的数字计算机(诸如膝上型、台式、工作站、个人数字助理、服务器、刀片服务器、主机和其他适当计算机)的通用计算设备200的示例。计算设备200还旨在表示能用于向用户显示出版物的各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话、平板电脑和其他类似的计算设备。本文所示的组件、它们的连接和关系以及它们的功能仅是示例，而不打算限制在本文档中所述和/或所要求的主题的实现。

在示例实施例中，计算设备200能是用户访问设备108或数据处理设备112,114或116(图1中所示)的任何一个，其中其被专门配置为执行本文所述的一个或更多个步骤。在示例实施例中，计算设备200可以包括总线202、处理器204、主存储器206、只读存储器(ROM)208、存储设备210、输入设备212、输出设备214和通信接口216。总线202可以包括允许计算设备200的组件之间通信的通路。

处理器204可以包括任何类型的常规处理器、微处理器或解释和执行指令的处理逻辑。处理器204能处理用于在计算设备200内执行的指令，包括在存储器206中或在存储设备210上存储的指令以在外部输入/输出设备(诸如耦接到高速接口的输出设备214)上显示用于图形用户界面(GUI)的图形信息。在其他实现中，适当时，可以结合多个存储器和多种存储器，使用多个处理器和/或更多个总线。而且，可以连接多个计算设备200，每一个设备提供必要操作的一部分(例如服务器组、刀片服务器组或更多处理器系统)。在一些实施例中，处理器204通过执行计算机可执行指令或通过以其他方式编程，被变换成专用微处理器。

主存储器206可以包括随机存取存储器(RAM)或另一种动态存储设备，其存储信息和由处理器204执行的指令。ROM208可以包括常见ROM设备或另一种静态存储设备，其存储由处理器204使用的静态信息和指令。主存储器206存储在计算设备200内的信息。在一个实现中，主存储器206是易失性存储单元。在另一实现中，主存储器206是非易失性存储单元。主存储器206还可以是另一形式的计算机可读介质，诸如磁或光盘。

存储设备210可以包括磁和/或光记录介质及其相应的驱动。存储设备210能够为计算设备200提供大容量存储。在一个实现中，存储设备210可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或带设备、闪存或其他类似的固态存储设备，或设备阵列，包括存储区网络或基于云的存储或其他配置中的设备。计算机程序产品能在信息载体中有形地体现。计算机程序产品还可以包含指令，所述指令在被执行时执行一个或更多个方法，诸如上文所述的方法。信息载体是计算机或机器可读介质，诸如主存储器206、ROM208、存储设备210或处理器204上的存储器。

高速控制器管理用于计算设备200的带宽密集型操作，而低速控制器管理较低带宽密集型操作。这样的功能分配仅是为了示例。在一个实现中，高速控制器耦接到主存储器206、显示器214(例如通过图形处理器或加速器)并且耦接到可以容纳各种扩展卡(未示出)的高速扩展端口。在实现中，低速控制器耦接到存储设备210和低速扩展端口。低速扩展端口，可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)，可以耦接到一个或更多个输入/输出设备，诸如键盘、指示设备、扫描仪或联网设备，诸如交换机或路由器，例如通过网络适配器。

输入设备212可以包括允许计算设备200从用户150、152或154接收命令、指令或其他输入，包括视觉、音频、触摸、按钮按压、触控笔点击等常见的机制。另外，输入设备可以接收位置信息。因此，输入设备212可以包括例如相机、麦克风、一个或更多个按钮、触摸屏和/或GPS接收机。输出设备214可以包括将信息输出到用户的常见机制，包括显示器(包括触摸屏)和/或扬声器。通信接口216可以包括任何类似收发器的机制，其使计算设备200与其他设备和/或系统通信。例如，通信接口216可以包括用于经由诸如网络110(图1中所示)的网络与另一设备或系统通信的机制。

如本文所述，计算设备200便于模型和创意类型建议生成。计算设备200可以响应于处理器204执行包含在诸如存储器206的计算机可读介质中的软件指令而执行这些和其他操作。计算机可读介质可以被定义为物理或逻辑存储器件和/或载波。可以将软件指令从诸如数据存储设备210的另一计算机可读介质或经由通信接口216从另一设备读取到存储器206中。包含在存储器206中的软件指令可以使处理器204执行本文所述的过程。替选地，可以使用硬布线电路，代替或结合软件指令来实现与本文的主题一致的过程。由此，与本文公开的主题的原理一致的实现不限于硬件电路和软件的任何特定组合。

可以以多种不同形式实现计算设备200，如图1所示。例如，可以将其实现为标准服务器，或更多时间实行为这样的服务器的组中。也可以将其实现为机架服务器系统的部分。此外，可以将其实现为个人计算机，诸如膝上型计算机。这样的设备中的每一个可以包含一个或更多个计算设备200，并且整个系统可以由彼此通信的多个计算设备200组成。

处理器204能执行计算设备200内的指令，包括在主存储器206中存储的指令。处理器可以实现为包括单独和多个模拟和数字处理器的芯片。处理器可以提供例如设备200的其他组件的协调，诸如用户接口的控制、由设备200运行的应用以及设备200的无线通信。

计算设备200除包括例如接收机和收发器的组件外，还包括处理器204、主存储器206、ROM208、输入设备212、诸如显示器214的输出设备、通信接口216。设备200还可以提供有存储设备210，诸如微驱动或其他设备，以提供附加存储。组件中的每一个使用各种总线互连，以及若干组件可以安装在共同母板上或以其他适当的方式。

计算设备200可以通过通信接口216无线地通信，必要时，通信接口216可以包括数字信号处理电路。通信接口216可以提供在各种模式或协议下的通信，其中诸如GSM语音呼叫、SMS、EMS、MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA 2000或GPRS。这样的通信例如可以通过射频收发器发生。此外，短距离通信可以诸如使用蓝牙、Wi-Fi或其他这样的收发器(未示出)发生。此外，GPS(全球定位系统)接收机模块可以向设备200提供另外的导航和位置有关无线数据，适当时，其可以由在设备200上运行的应用使用。此外，计算设备200可以包括附加设备，诸如加速计、罗盘、麦克风、相机和视频和/或音频录制装置。

计算设备200还可以使用可以从用户接收说出的信息并且将其转换成可用数字信息的音频编解码器，可听地通信。音频编解码器还生成用于用户的可听声，诸如通过指示器，例如，在设备的耳机中。这些声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如语音消息、音乐文件等)，并且还可以包括由在计算设备200上操作的应用生成的声音。

计算设备200可以以多种不同形式实现。例如，可以实现为蜂窝电话，或作为智能电话、个人数字助理、计算机平板或其他类似的移动设备的一部分。

为提供与用户交互，在此所述的系统和技术能在计算机上实现，该计算机具有用向用户显示信息的显示器(例如CRT(阴极射线管)或LCD(液晶显示器)监视器)以及键盘和指示设备(例如鼠标或跟踪球)，通过该键盘和指示设备，用户能向计算机提供输入。能使用其他类型的设备来提供与用户交互，例如提供给用户的反馈能是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)，以及能以任何形式接收来自用户的输入，包括听觉、语音或触觉输入。

在此所述的系统和技术能在计算系统(例如计算设备200)中实现，该计算系统包括后端组件(例如数据服务器)或包括中间组件(例如应用服务器)或包括前端组件(例如具有用户能与在此所述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或这些后端、中间件或前端组件的任何组合。系统的组件能由任何形式或介质的数字数据通信(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。

计算系统能包括客户端和服务器。客户端和服务器通常相互远离并且通常通过通信网络交互。客户端和服务器的关系借助在各自的计算机上运行并且具有相互的客户端-服务器关系的计算机程序产生。

在示例实施例中，计算设备200被配置为训练模型并且对内容提供者102(图1中所示)生成创意类型建议。在一些实施例中，计算设备200与建议系统118(图1中所示)类似。内容提供者102通过例如由CMS106提供的、用于配置广告活动和相关的广告创意的GUI，与计算设备200交互。

图3是用于将创意类型建议提供给内容提供者102的示例建议系统300的图。在一些实施例中，建议系统300与CMS 106和/或建议系统118(均在图1中示出)类似，可以实现在计算设备200(图2中示出)上以及可以在联网环境100(图1中示出)中实现。建议系统300可以被描述为使用那些模型，执行两个主要功能：(a)模型构建，和(b)类型建议。在示例实施例中，建议系统300执行两个功能。在其他实施例中，这两个功能可以由不同系统执行。

关于模型构建功能，在示例实施例中，建议系统300由历史广告主数据310构造或“学习”一个或更多个创意类型模型320。在一些实施例中，历史广告主数据310可以存储在数据库，诸如历史广告主数据146(图1中示出)中。历史广告主数据包括派发效能数据312、站点数据314和活动数据316。

站点数据314包括有关广告主的站点的信息(例如与广告主的广告相关联的着陆页)。在示例实施例中，站点数据314包括用于广告主的商业垂直布局(例如一个或更多个分组名称、类别和/或子类别)。该商业垂直布局可以被用来关联类似的广告主(例如类似产品的商人，或类似使用领域的产品)。站点数据314还可以包括广告主的资产、标题和描述性文本、徽标和产品图像、电话和位置信息以及视频内容。

活动数据316包括关于广告主的过去历史活动的信息。在示例实施例中，活动数据316包括过去活动的开销数据、活动广告关注的类型(目标标准，例如印象、点击、转化)、位置信息(例如，广告针对何种站点)，以及先前使用的资产。先前使用的资产是过去广告活动中实际开发和/或使用的广告/创意，并且包括相关信息，诸如资产的创意类型。活动数据316还可以包括成本类型、位置和人口目标信息。

派发效能数据312包括关于派发的过去印象的信息。一般来说，派发数据312表示过去广告活动的结果，由此表示过去活动和/或活动的各个广告如何执行。更具体地说，派发效能数据312包括由活动数据316引用的资产的派发数据，如此，表示每一资产的实际派发结果。在示例实施例中，派发效能数据312包括印象、点击数、转化率(例如转化数除以点击数)以及点击率(例如点击的次数除以印象的数目)中的一个或更多个。

在示例实施例中，建议系统300对多个广告主构建广告主简档318。更具体地说，由与广告主相关联的站点数据314和活动数据316，生成每一广告主简档318。建议系统300使用派发效能数据312和多个广告主简档318，构建创意类型模型320。在示例实施例中，模型320是将广告主简档318和派发效能数据312用作输入变量或特征学习(构建)的逻辑回归模型。对每一创意类型，构建模型320以应答对指定的广告主简档，是否适合于使用该类型的查询。每一创意被看作案例。广告主的简档318的每一属性是预测器变量。如果点击率大于阈值，结果被视为1，否则结果被处理为0。换句话说，模型320由规则集组成。如果广告主的简档318适合规则，那么那一规则将影响相关的创意类型是否应当被建议给广告主。

在后续操作期间，在示例实施例中，当前内容提供者302(例如广告主)与CMS 106交互以构造新创意(例如广告)，用于未来呈现给用户(例如图1中所示的用户150,152和154)。在内容创建或配置过程期间，建议系统300对当前内容提供者302，生成或以其他方式识别简档372。在一些实施例中，建议系统300提醒内容提供者302该简档372信息。在其他实施例中，建议系统300从历史广告主数据310识别简档372信息，或从广告主简档318识别简档372(例如，如果当前内容提供者302已经注册为在前广告主)。

在示例实施例中，目前内容提供者简档372包括用来构建模型320的至少一个或更多个特征，诸如用于与新创意相关联的产品或服务的商业垂直布局、用于与新创意相关联的着陆页的站点数据、与新创意相关联的开销数据、新创意所需的成本类型或新创意的位置。

建议系统300将当前内容提供者简档372应用于创意类型模型320来生成用于内容提供者302和/或当前创意的创意类型建议。更具体地说，类型建议引擎330将简档372应用于模型320来生成频繁使用的类型建议332和效能类型建议334。此外，建议引擎330还使用简档372来生成预定义类型建议336。

在示例实施例中，频繁使用的类型建议332是按用于与内容提供者302类似(即，与简档372类似)的历史广告主的使用频率排名的、来自模型320的输出。例如，为了简化，仅考虑商业垂直布局的单个因子，假定内容提供者302是鞋制造商(示例商业垂直布局)。类型建议引擎330生成与内容提供者302类似的过去广告主使用的创意类型的有序列表(例如，过去鞋制造商的广告)。

在示例实施例中，预定义类型建议336表示用于创意类型建议的人为要素。例如，分析员为建议系统300提供用于不同内容提供者302组的创意类型建议。在一个实施例中，分析员基于商业垂直布局，提供创意类型建议。例如，建议系统300可以包括用于鞋制造商的创意类型建议的有序列表。可以基于与鞋制造商共事以创建广告的多年个人经历，或基于那一特定行业的已知限制或偏好，生成该列表。在一些实施例中，预定义类型建议336包括加权规则集。对每一规则，条件是广告商的简档的属性的子集，以及结果是某些创意类型(例如，条件是广告商的目标URL为移动app下载页，以及结果是点击以下载创意类型)。例如，能将预定义类型建议336的加权设定为最大，使得具有比建议332和334更高的优先权。

在一些实施例中，建议332、334和336可以包括创意类型的有序列表。在其他实施例中，建议332、334和336可以包括用于表示用于指定建议的创意类型度的多个创意类型的每一个的单个值(例如，用于特定创意类型的使用频率的值，或用于特定创意类型的效能的值)。

在示例实施例中，类型建议引擎330一起加权建议332、334和336的每一个以生成初步创意类型建议340。在一些实施例中，每一类型建议引擎330对每一创意类型，生成总建议得分。为生成该总建议得分，在一些实施例中，同等地(例如，分别1/3)加权每一建议332、334和336以生成总建议得分。在其他实施例中，每一建议332、334和336具有彼此不同并且如此，在生成总建议得分中，允许一些有更多或更少影响的单独加权。例如，每一模型对每一创意类型计算平均加权。通过将它们加在一起，为该模型组合该结果。建议332的输出(平均结果)可以是：[flash＝0.2,youtube＝0.4]。建议334的输出(平均结果)可以是：[flash＝0.2,html＝0.3]。建议336的输出(平均)可以是：[点击以下载：1.0]。由此，最终结果为：建议332的输出(平均结果)可以是：[flash＝0.4；youtube＝0.4；html＝0.3；点击以下载：1.0]。如此，点击以下载创意类型表示现阶段的最高建议类型。

在示例实施例中，初步创意类型建议340是创意类型的有序列表。例如，基于建议332,334和336的加权，类型建议引擎330确定创意类型#1具有最高总建议得分，以及创意类型#2具有第二最高得分等。如此，类型建议引擎330生成初步创意类型建议340的有序列表。在其他实施例中，初步创意类型建议340可以是创意类型的子集(例如，仅前3个建议的创意类型)，或仅单个最佳建议创意类型(例如，最高总建议得分)。

在示例实施例中，创意准备评估器350执行初步创意类型建议340的附加后处理分析。更具体地说，基于过去建议的效能，建议系统300分析并且在一些实施例中，修改初步创意类型建议340以生成最终创意类型建议360，以呈现给内容提供者302。

在过去使用期间，为与302类似的历史内容提供者呈现与当前最终创意类型建议360类似的创意类型建议。那些历史内容提供者选择以采纳由建议系统300提供的创意类型建议(例如他们创建那一创意类型的新广告)，或他们选择不采纳建议的创意类型(例如，他们放弃创建新广告，或他们选择与该建议相反的创意类型)。在示例实施例中，建议系统300将这些决定跟踪为效能结果362。成功的建议(例如由内容提供者采纳的建议)在此被称为“保存”。如此，术语“保存百分比”是指与总建议数相比，成功建议的历史数目，其是效能结果362的一个示例。

在示例实施例中，建议系统300使用这些效能结果362连同广告主简档318一起来构建建议结果模型370。一般来说，建议结果模型370被用来评估多大程度地采用过去建议(例如过去最终创意类型建议360)。例如，如果过去建议特定创意类型，但具有非常低的采纳率(例如，当建议那一创意类型时，非常低的保存百分比)，那么那一特定创意类型可能是不佳建议。

如此，建议系统300基于过去建议(例如基于建议系统效能结果362)，修改初步创意类型建议340。更具体地说，在示例实施例中，建议结果模型370的输入包括当前内容提供者简档372(包括资产集)、创意类型建议340和由该类型请求的资产，以及输出是修改的建议列表。例如，假定类型建议引擎330的输出(例如初步创意类型建议列表340)包括：[点击以下载＝0.8；flash＝0.5；text＝0.1]。此外，假定广告主的简档372包括下述资产：产品图像、徽标图像、标题、描述，以及由建议列表340建议的创意类型要求下述资产：点击以下载＝移动下载页；flash创意＝产品/徽标图像标题/描述；以及text创意＝标题/描述。建议结果模型370确定当前广告主不具有按点击以下载创意类型请求的一个或更多个资产并且向其赋予惩罚因子0.5，将加权修改成0.8*0.5＝0.4。由此，该示例中的修改的结果为：[flash＝0.5；点击以下载＝0.4；text＝0.1]。

因此，在当前内容提供者302处理期间，创意准备评估器350根据建议结果模型370的输出，修改初步创意类型建议340，并且生成最终创意类型建议360以呈现给内容提供者302。此外，如上所述，由建议系统300跟踪关于最终创意类型建议360，由内容提供者302采取的动作(例如效能结果362)。在一些实施例中，效能结果362在定期基础上(例如每周或每月)被合并到建议结果模型370中以通过最新结果，更新建议结果模型370。

图4是用于向广告主建议用于在线内容项的创意类型的示例方法400。在示例实施例中，方法400是使用一个或更多个计算设备，诸如用户访问设备108(图1中所示)、广告派发系统120(图1中所示)、内容提供者系统112(图1中所示)、发布者系统114、建议系统118(图1中所示)和/或建议系统300(图3中所示)并且包括至少一个处理器和存储器，在环境100(图1中所示)中实施的计算机实现方法。在一些实施例中，方法400包括对来自多个历史广告主的每一个历史广告主，生成广告主简档，由此生成多个广告主简档，其中用历史信息训练第一模型包括用至少多个广告主简档，训练第一模型。

在示例实施例中，方法400包括通过包括(i)在线广告的派发效能以及(ii)广告主信息中的一个或更多个的历史信息，训练第一模型410。方法400还包括使用至少第一模型，计算初步创意类型建议420。在一些实施例中，计算初步创意类型建议420进一步包括使用该模型，生成与创意类型相关联的使用频率因子和效能因子中的一个或更多个。在一些实施例中，计算初步创意类型建议420进一步包括加权使用频率因子、效能因子和预定义类型建议中的两个或更多个以生成初步创意类型建议。

在示例实施例中，方法400包括至少部分地基于过去建议效能，修改初步创意类型建议来生成最终创意类型建议430。在一些实施例中，初步创意类型建议包括多个创意类型和相关建议值，并且修改初步创意类型建议430包括修改建议值。

在一些实施例中，方法400包括通过包括创意类型建议效能数据和广告主信息中的一个或更多个的过去建议效能，训练第二模型。修改初步创意类型建议430包括至少部分地基于来自第二模型的输出，修改初步创意类型建议。在一些实施例中，用历史信息训练第二模型进一步包括通过多个广告主简档，训练第二模型。在示例实施例中，方法400包括将最终创意类型建议呈现给在线广告主440。

图5示出计算设备510内的数据库520，连同用来向广告主建议用于在线内容项的创意类型的其他相关计算组件的示例配置500。计算设备510可以在联网环境诸如环境100(图1中所示)中操作。在一些实施例中，计算设备510与用户访问设备108(图1中所示)、广告派发系统120(图1中所示)、内容提供者系统112(图1中所示)、发布者系统114、建议系统118(图1中所示)和/或建议系统300(图3中所示)类似。在其他实施例中，数据库520可以是在本地存储设备，诸如存储器或盘存储器上缓存的文件。数据库520耦接到执行特定任务、计算设备510内的若干单独组件。

在示例实施例中，数据库520包括历史广告主数据522、模型数据524、建议数据526和效能数据528。历史广告主数据522包括与广告主相关联的信息、广告活动和派发结果。模型数据524包括与模型(诸如创意类型模型320和建议结果模型370)(均在图3中示出)相关联的信息。建议数据526包括与创意类型建议相关联的数据。效能数据528包括与建议系统300的效能相关联的数据，诸如效能结果362(图3中所示)。

计算设备510包括数据库520以及数据存储设备530。计算设备510还包括用于生成诸如创意类型模型320和建议结果模型370的模型的模型构建组件540。计算设备510还包括用于生成创意类型建议并且将建议结果模型应用于创意类型建议的类型建议组件550。计算设备510还包括用于创建和跟踪并且评估效能结果362(图3中所示)的效能评估器组件560。还包括通信组件570，用于在预提取和显示操作期间，与其他服务器或实体通信。处理组件580帮助执行与该系统相关联的计算机可执行指令。

应认识到，具体详细描述的上述实施例仅是示例或可能的实施例，并且可以包括许多其它的组合、添加或替选。

此外，组件的特定命名、词语的大写、属性、数据结构、任何其它编程或结构方面不是强制的或重要的，并且实现实施例或其特征的机制可以具有不同的名字、格式或协议。此外，该系统可以经由硬件和软件的组合(如所描述的)或整个在硬件元件中实现。而且，本文所述的各个系统组件之间的功能的特定划分仅仅是示范的，而不是强制性的；由单一系统组件执行的功能可以替代地由多个组件来执行，多个组件执行的功能也可以替代地由单一组件执行。

以上描述的一些部分在对信息操作的算法和符号表示方面呈现了特征。这些算法描述和表示可以被数据处理领域的技术人员使用来最有效地向本领域的其他技术人员传达其工作实质。这些操作尽管在功能上或逻辑上加以描述，但是被理解为由计算机程序实现。此外，也已经证明，有时可以将这些操作的布置称为模块或其功能名称是方便的，而不失一般性。

除非特别声明，否则如从上面的讨论明显的，可以理解在整个说明书中，使用诸如“处理”或“计算”或“运算”或“确定”或“显示”或“提供”“检索”“接收”等的词语的讨论是指计算机系统或类似的电子计算设备的动作和过程，其操纵并变换表示为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备中的物理(电子)数量的数据。

基于前述说明，本公开的上述实施例可以使用包括计算机软件、固件、硬件或其任何组合或子集的计算机编程或工程技术来实现。根据本公开的所述实施例，任何具有计算机可读和/或计算机可执行指令的这样的结果程序可以在一个或更多个计算机可读介质中体现或提供，从而制成计算机程序产品，即制品。该计算机可读介质可以是例如固定(硬)驱动器、卡盒、光盘、磁带、诸如只读存储器(ROM)或闪速存储器等的半导体存储器或者诸如因特网或其它通信网络或链路的任何传送/接收介质。包含计算机代码的制品可以通过执行直接来自一个介质的指令、通过将代码从一个介质复制到另一个介质或者通过在网络上传送所述代码来制成和/或使用。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言，和/或以汇编/机器语言实现。如本文使用的，术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑器件(PLDs))，被用于提供机器指令和/或数据到可编程处理器，包括接收机器指令作为机器可读信号的机器可读介质。然而，所述“机器可读介质”和“计算机可读介质”不包括瞬时性信号。术语“机器可读信号”指的是用于提供机器指令和/或数据到可编程处理器的任何信号。

尽管本公开已经依据各种特定的实施例进行了描述，应该认识到本公开可以利用在权利要求的精神和范围内的修改进行实践。