Old functions to rebuild the duplicate cache have been removed and the ones with the postfix "Index"(Which was also removed) replaced them
New function to load the DB_FIELDS from the IndexFieldConfig and concatenate them to use the resulting string as fields-to-select in a db select query

Refactoring to get a small glimpse of cleancodish structure
More checks and case handlings to increase stability

The editview has been integrated in the general duplicatescanner editview.

The Indexfieldconfig now contains the correct fields which are necessary to run the search.
The fields now can be configured via the client. Those infos are now used to dynamically load the configured fields an their values which are then internally used to run the prefilter as well as the real duplicate search.
NEXT UP => Configuring of the result fields. There's light at the end of the tunnel.

Fix in JditoFilter_lib. The function "JditoFilterUtils.getFilterFields" now correctly reads fields from a filter json
The call of the index search can now correctly use filters to make use of the real duplicate search. The dynamic reading of fields comes next

The prefilter filter Json is now correctly created and returned in case of a successful search ( Found results in threshold)

New Check for null that the parameter value is applied correctly

New Context/Entity/Views/Liquibase to configure which entity fields should be used by the index to search for duplicates
Renaming of DuplicateScanConditionConfig to have a seamless naming system
- DuplicateScanConditionConfig => DuplicateScannerPrefilterConfig
- DuplicateScannerIndexConfig

Addtitional tables have been added
It's now differentiated between the current alias and the system alias because both contain tables which have to be merged

Werden Cluster auf der Übersichtsseite ignoriert, wird nun kein Fehler mehr geworfen. Temporäre fixes, TobiF fragen

Ein erster Versuch für eine Preview wurde erstellt
Übersetzungen angelegt
Tabellen für den Merge wurden gegengeprüft und in der Lib ergänzt
Merge Funktionalität wurde für die Organisation erweitert
Merge für Person im Test, noch Fehlerhaft

Das Öffnen der Detailanzeige eines Clusters wurde nun auf eine custom Action ausgelagtert, dass die views im gleichen Context liegen können. Es ergibt Sinn hier im gleichen Entity/Context zu bleiben, denn die Datensätze sind im Grunde die gleichen, es handelt sich nur um eine gesonderte Darstellung.
Es wurden alle zugehörigen Teile entsprechend angepasst, dass die Datenweitergabe per manuellem neon.openContext funktioniert
Die ORg Detail-Tabelle unterscheidet sich noch, die korrekten Datensätze werden bereits angezeigt.

Kleines Refactoring: Es wird nun nicht mehr nach TargetEntity sondern die Strings werden je nach Ergebnis aus der Datenbank konkateniert

Es werden sowohl die Organisationscluster angezeigt als auch analog zu den Personen eine Tabelle mit ignorierten Dublettenkombinationen. Entsprechende Aktionen werden ebenso angezeigt.
DuplicatesUnrelated wurde um Logik für Organisationen erweitert
Duplicates wurde um Logik für Organisationen erweitert

RefreshUnrelatedDuplicateRelations: Diverse Fehler behoben. Die ClusterIds werden nun korrekt aktualisiert und veraltete gelöscht.
Org Dubletten werden nun in der Testaktion ermittelt

Aktionen in der Dublettenansicht einer Organisation wurden entsprechend dem Person pendant eingefügt und angepasst
Organisationsdubletten werden  nun als zusätzlicher Reiter in der Org-Mainview angezeigt
Der Organisation Recordcontainer wurde um die Duplicate-Teile erweitert
Duplicates lib Funktion refactored

Es gibt eine neue Aktion zum ignorieren eines ganzen Clusters

Der Serverprozess ist in der ersten Version für das Person_entity fertiggestellt. Es werden die UnrelatedRelations entweder mit der neuen ClusterId geupdatet, sofern die duplicateId Konstellation weiterhin besteht, ansonsten werden die Datensätze gelöscht.

Logausgaben entfernt

Erweiterung der UNRELATEDUPLICATES Tabelle. Einträge dort enhalten nun die Information, zu welchem CLuster diese gehören. Dies vereinfacht die Zuordnung unter bestimmten Anforderungen.
Liquibase wurde entsprechend angepasst.
Am Duplicates Context wurde ein weiterer View gebaut, welcher alle ignorierten Dubletten sucht, welche sich nur auf einen Cluster beziehen. Erforderlich für die Dublettenübersichts-Detail-Seite

Detailansicht zeigt nun alle Kontakte innerhalb des selektierten Clusters ausgenommen der ignorierten Dubletten in der personfilter_view.
Die ignorierten werden demnächst in einer separaten Detailansicht dargestellt

Sql Query umgebaut auf Nutzung des Sql Builders
Auf der ClusterDetailSeite wird nun die Person Filter view angezeigt

Ignorierte Dubletten Treffer werden nun in einem separaten Entity ermittelt und auf der Dublettenübersichtsseite angezeigt.

Personen Dubletten Cluster werden nun korrekt angezeigt. Dabei werden "ignorierte Datensätze" nicht in der Auflistung angezeigt. Cluster mit zwei Einträgen, wovon einer "ignoriert" wird, werden ebenso ausgeblendet.
Es wurde ein neues Entity zum Anzeigen der ignorierten Dubletten angelegt.

Erste Version der Gesamtübersicht für Personendubletten erstellt. Diese zeigt die Namen der Personen und die Anzahl der DUbletten im Cluster an.

Das neue Feld Target_Entity wurde der DuplicatesCluster Tabelle hinzugefügt. Hiermit können nun Entity spezifische Cluster gesucht und gelöscht werden.

Grundgerüst des Allgemeinen Dublettenübersichts-Contextes. Dieser lädt alle Dublettenarten über den gleichen JDito Recordcontainer über diverse Provider/Consumer Paare im gleichen Entity.
Entfernen des ursprünglichen Duplicates_entity, dieses wurde im alten Umfang nicht mehr benötigt.

Neues LB SCript für die Tabelle zum ignorieren von Dubletten erstellt
Dubletten können nun über eine Action ignoriert werden
Neuer Parameter an der Person, dass die ContactId des aktuell geöffnetes Kontaktes an die DublettenReferenz/Provider per Parameter weitergegeben wird
Neue Funktionen zum Erstellen, löschen einer Ignorierten Dublettenrelation und zum Löschen aller vorkomnisse einer ContactId in der UnrelatedDuplicates

Neues LB SCript für die Tabelle zum ignorieren von Dubletten erstellt
Dubletten können nun über eine Action ignoriert werden
Neuer Parameter an der Person, dass die ContactId des aktuell geöffnetes Kontaktes an die DublettenReferenz/Provider per Parameter weitergegeben wird
Neue Funktionen zum Erstellen, löschen einer Ignorierten Dublettenrelation und zum Löschen aller vorkomnisse einer ContactId in der UnrelatedDuplicates

Neues Liquibase für Tabelle DuplicateClusters

# Conflicts:
#	.aditoprj/project.version
#	aliasDefinition/Data_alias/Data_alias.aod
#	entity/BulkMail_entity/BulkMail_entity.aod
#	entity/CampaignAddParticipants_entity/CampaignAddParticipants_entity.aod
#	entity/CampaignCost_entitiy/CampaignCost_entitiy.aod
#	entity/CampaignStep_entity/CampaignStep_entity.aod
#	entity/CampaignStep_entity/recordcontainers/db/conditionProcess.js
#	entity/DuplicateScanConditionConfig_entity/entityfields/condition/valueProcess.js
#	entity/KeywordAttributeRelation_entity/KeywordAttributeRelation_entity.aod
#	entity/KeywordAttribute_entity/KeywordAttribute_entity.aod
#	entity/Organisation_entity/Organisation_entity.aod
#	entity/SerialLetter_entity/SerialLetter_entity.aod
#	language/_____LANGUAGE_EXTRA/_____LANGUAGE_EXTRA.aod
#	language/_____LANGUAGE_de/_____LANGUAGE_de.aod
#	language/_____LANGUAGE_en/_____LANGUAGE_en.aod
#	neonView/360DegreeFilter_view/360DegreeFilter_view.aod
#	neonView/ActivityDetail_view/ActivityDetail_view.aod
#	neonView/ActivityDrawer_view/ActivityDrawer_view.aod
#	neonView/ActivityEdit_view/ActivityEdit_view.aod
#	neonView/ActivityFilter_view/ActivityFilter_view.aod
#	neonView/ActivityLinkMultiEdit_view/ActivityLinkMultiEdit_view.aod
#	neonView/ActivityLinkPreview_view/ActivityLinkPreview_view.aod
#	neonView/ActivityMain_view/ActivityMain_view.aod
#	neonView/ActivityPreview_view/ActivityPreview_view.aod
#	neonView/AddressLookup_view/AddressLookup_view.aod
#	neonView/AddressValidationLookup_view/AddressValidationLookup_view.aod
#	neonView/AnyContactLookup_view/AnyContactLookup_view.aod
#	neonView/AnyObjectRelationTree_view0/AnyObjectRelationTree_view0.aod
#	neonView/AppointmentEdit_view/AppointmentEdit_view.aod
#	neonView/AppointmentFilter_view/AppointmentFilter_view.aod
#	neonView/AppointmentLinkEdit_view/AppointmentLinkEdit_view.aod
#	neonView/AppointmentLinkFilter_view/AppointmentLinkFilter_view.aod
#	neonView/AttributeEdit_view/AttributeEdit_view.aod
#	neonView/AttributeRelationMultiEdit_view/AttributeRelationMultiEdit_view.aod
#	neonView/AttributeRelationTreeDrawer_view/AttributeRelationTreeDrawer_view.aod
#	neonView/AttributeRelationTreeEdit_view/AttributeRelationTreeEdit_view.aod
#	neonView/AttributeTree_view/AttributeTree_view.aod
#	neonView/AttributeUsageMultiEdit_view/AttributeUsageMultiEdit_view.aod
#	neonView/BulkMailAddRecipientsEdit_view/BulkMailAddRecipientsEdit_view.aod
#	neonView/BulkMailContent_view/BulkMailContent_view.aod
#	neonView/BulkMailPreview_view/BulkMailPreview_view.aod
#	neonView/CampaignAddParticipantsEdit_view/CampaignAddParticipantsEdit_view.aod
#	neonView/CampaignCharts_view/CampaignCharts_view.aod
#	neonView/CampaignCostAnalysis_view/CampaignCostAnalysis_view.aod
#	neonView/CampaignCostChart_view/CampaignCostChart_view.aod
#	neonView/CampaignCostEdit_view/CampaignCostEdit_view.aod
#	neonView/CampaignCostExtendedFilter_view/CampaignCostExtendedFilter_view.aod
#	neonView/CampaignCostFilter_view/CampaignCostFilter_view.aod
#	neonView/CampaignCostFix_view/CampaignCostFix_view.aod
#	neonView/CampaignCostVariable_view/CampaignCostVariable_view.aod
#	neonView/CampaignCost_view/CampaignCost_view.aod
#	neonView/CampaignEdit_view/CampaignEdit_view.aod
#	neonView/CampaignParticipantChart_view/CampaignParticipantChart_view.aod
#	neonView/CampaignParticipantEdit_view/CampaignParticipantEdit_view.aod
#	neonView/CampaignParticipantPreview_view/CampaignParticipantPreview_view.aod
#	neonView/CampaignPreview_view/CampaignPreview_view.aod
#	neonView/CampaignStepAddParticipants_view/CampaignStepAddParticipants_view.aod
#	neonView/CampaignStepAnalysis_view/CampaignStepAnalysis_view.aod
#	neonView/CampaignStepEdit_view/CampaignStepEdit_view.aod
#	neonView/CampaignStepMain_view/CampaignStepMain_view.aod
#	neonView/CampaignStepPreview_view/CampaignStepPreview_view.aod
#	neonView/ClassificationAdminEdit_view/ClassificationAdminEdit_view.aod
#	neonView/ClassificationAdminTree_view/ClassificationAdminTree_view.aod
#	neonView/ClassificationDrawer_view/ClassificationDrawer_view.aod
#	neonView/ClassificationPreview_view/ClassificationPreview_view.aod
#	neonView/ClassificationScoreMultipleEdit_view/ClassificationScoreMultipleEdit_view.aod
#	neonView/ClassificationTree_view/ClassificationTree_view.aod
#	neonView/ClassificatonAdminPreview_view/ClassificatonAdminPreview_view.aod
#	neonView/ClassificatonPreview_view/ClassificatonPreview_view.aod
#	neonView/CommRestrictionFilter_view/CommRestrictionFilter_view.aod
#	neonView/CommRestrictionPreview_view/CommRestrictionPreview_view.aod
#	neonView/CommRestrictionSmallEdit_view/CommRestrictionSmallEdit_view.aod
#	neonView/CommunicationEdit_view/CommunicationEdit_view.aod
#	neonView/CommunicationFilter_view/CommunicationFilter_view.aod
#	neonView/CommunicationMultiEdit_view/CommunicationMultiEdit_view.aod
#	neonView/CompetitionDrawer_view/CompetitionDrawer_view.aod
#	neonView/CompetitionEdit_view/CompetitionEdit_view.aod
#	neonView/CompetitionFilter_view/CompetitionFilter_view.aod
#	neonView/CompetitionPreview_view/CompetitionPreview_view.aod
#	neonView/ContactEdit_view/ContactEdit_view.aod
#	neonView/ContactList_view/ContactList_view.aod
#	neonView/ContractMain_view/ContractMain_view.aod
#	neonView/CountriesPreview_view/CountriesPreview_view.aod
#	neonView/CountriesTable_view/CountriesTable_view.aod
#	neonView/DefaultLookup_view/DefaultLookup_view.aod
#	neonView/DocumentDrawer_view/DocumentDrawer_view.aod
#	neonView/DocumentEdit_view/DocumentEdit_view.aod
#	neonView/DocumentFilter_view/DocumentFilter_view.aod
#	neonView/DocumentList_view/DocumentList_view.aod
#	neonView/DocumentPreview_view/DocumentPreview_view.aod
#	neonView/DocumentTemplateEdit_view/DocumentTemplateEdit_view.aod
#	neonView/DocumentTemplateFilterSmall_view/DocumentTemplateFilterSmall_view.aod
#	neonView/DocumentTemplateLinkList_view/DocumentTemplateLinkList_view.aod
#	neonView/DocumentTemplateLinkMultiEdit_view/DocumentTemplateLinkMultiEdit_view.aod
#	neonView/EmailEdit_view/EmailEdit_view.aod
#	neonView/EmployeeEdit_view/EmployeeEdit_view.aod
#	neonView/EmployeeFilter_view/EmployeeFilter_view.aod
#	neonView/EmployeeLookup_view/EmployeeLookup_view.aod
#	neonView/EmployeeMain_view/EmployeeMain_view.aod
#	neonView/EmployeePassword_view/EmployeePassword_view.aod
#	neonView/EmployeePreview_view/EmployeePreview_view.aod
#	neonView/FacebookTimeline_view/FacebookTimeline_view.aod
#	neonView/ForecastDrawer_view/ForecastDrawer_view.aod
#	neonView/ForecastEdit_view/ForecastEdit_view.aod
#	neonView/ForecastFilter_view/ForecastFilter_view.aod
#	neonView/ForecastPreview_view/ForecastPreview_view.aod
#	neonView/IndexSearchView/IndexSearchView.aod
#	neonView/KeywordAttributeEdit_view/KeywordAttributeEdit_view.aod
#	neonView/KeywordAttributeFilter_view/KeywordAttributeFilter_view.aod
#	neonView/KeywordEntryEdit_view/KeywordEntryEdit_view.aod
#	neonView/KeywordEntryMainSide_view/KeywordEntryMainSide_view.aod
#	neonView/KeywordEntryMain_view/KeywordEntryMain_view.aod
#	neonView/LetterEdit_view/LetterEdit_view.aod
#	neonView/LetterRecipientFilter_view/LetterRecipientFilter_view.aod
#	neonView/LogHistoryFilter_view/LogHistoryFilter_view.aod
#	neonView/LogHistoryPreview_view/LogHistoryPreview_view.aod
#	neonView/MemberDrawer_view/MemberDrawer_view.aod
#	neonView/MemberFilter_view/MemberFilter_view.aod
#	neonView/ModuleTree_view/ModuleTree_view.aod
#	neonView/MyDashboardScoreCard_view/MyDashboardScoreCard_view.aod
#	neonView/NotificationPreview_view/NotificationPreview_view.aod
#	neonView/ObjectTreeEdit_view/ObjectTreeEdit_view.aod
#	neonView/ObjectTreeFilter_view/ObjectTreeFilter_view.aod
#	neonView/OfferDrawer_view/OfferDrawer_view.aod
#	neonView/OfferEdit_view/OfferEdit_view.aod
#	neonView/OfferFilter_view/OfferFilter_view.aod
#	neonView/OfferMain_view/OfferMain_view.aod
#	neonView/OfferPreview_view/OfferPreview_view.aod
#	neonView/Options1_View/Options1_View.aod
#	neonView/Options2_View/Options2_View.aod
#	neonView/Options_View/Options_View.aod
#	neonView/OrderDetail_view/OrderDetail_view.aod
#	neonView/OrderEdit_view/OrderEdit_view.aod
#	neonView/OrderFilter_view/OrderFilter_view.aod
#	neonView/OrderPreview_view/OrderPreview_view.aod
#	neonView/OrderitemMultiEdit_view/OrderitemMultiEdit_view.aod
#	neonView/OrderitemPreview_view/OrderitemPreview_view.aod
#	neonView/OrganisationConditionPricelist_view/OrganisationConditionPricelist_view.aod
#	neonView/OrganisationCondition_view/OrganisationCondition_view.aod
#	neonView/OrganisationEditDefaults_view/OrganisationEditDefaults_view.aod
#	neonView/OrganisationEdit_view/OrganisationEdit_view.aod
#	neonView/OrganisationFilter_view/OrganisationFilter_view.aod
#	neonView/OrganisationLookup_view/OrganisationLookup_view.aod
#	neonView/OrganisationPreview_view/OrganisationPreview_view.aod
#	neonView/PermissionDetailEdit_view/PermissionDetailEdit_view.aod
#	neonView/PermissionDetailFilter_view/PermissionDetailFilter_view.aod
#	neonView/PermissionDetailPreview_view/PermissionDetailPreview_view.aod
#	neonView/PermissionMetaDataFilter_view/PermissionMetaDataFilter_view.aod
#	neonView/PermissionMetaDataMain_view/PermissionMetaDataMain_view.aod
#	neonView/PermissionMetaDataPreview_view/PermissionMetaDataPreview_view.aod
#	neonView/PermissionOverviewFilter_view/PermissionOverviewFilter_view.aod
#	neonView/PersonDetail_view/PersonDetail_view.aod
#	neonView/PersonEditDefaults_view/PersonEditDefaults_view.aod
#	neonView/PersonEdit_view/PersonEdit_view.aod
#	neonView/PersonFilter_view/PersonFilter_view.aod
#	neonView/PersonLookup_view/PersonLookup_view.aod
#	neonView/PersonMain_view/PersonMain_view.aod
#	neonView/PersonPreview_view/PersonPreview_view.aod
#	neonView/PersonSimpleList_view/PersonSimpleList_view.aod
#	neonView/Prod2ProdEdit_view/Prod2ProdEdit_view.aod
#	neonView/Prod2prodFilter_view/Prod2prodFilter_view.aod
#	neonView/ProductPreview_view/ProductPreview_view.aod
#	neonView/ProductpriceEdit_view/ProductpriceEdit_view.aod
#	neonView/ProductpriceFilter_view/ProductpriceFilter_view.aod
#	neonView/ProductpriceRelation_view/ProductpriceRelation_view.aod
#	neonView/RoleEdit_view/RoleEdit_view.aod
#	neonView/RoleFilter_view/RoleFilter_view.aod
#	neonView/RoleMain_view/RoleMain_view.aod
#	neonView/RolePreview_view/RolePreview_view.aod
#	neonView/SaleprojectOverviewCharts_view/SaleprojectOverviewCharts_view.aod
#	neonView/SalesprojectClassificationAndChart_view/SalesprojectClassificationAndChart_view.aod
#	neonView/SalesprojectClassification_view/SalesprojectClassification_view.aod
#	neonView/SalesprojectEdit_view/SalesprojectEdit_view.aod
#	neonView/SalesprojectFurtherInfo_view/SalesprojectFurtherInfo_view.aod
#	neonView/SalesprojectMemberActivity_view/SalesprojectMemberActivity_view.aod
#	neonView/SalesprojectMilestoneChartPhase_view/SalesprojectMilestoneChartPhase_view.aod
#	neonView/SalesprojectMilestoneInfo_view/SalesprojectMilestoneInfo_view.aod
#	neonView/SalesprojectMilestoneSource_view/SalesprojectMilestoneSource_view.aod
#	neonView/SalesprojectOfferForecastChart_view/SalesprojectOfferForecastChart_view.aod
#	neonView/SalesprojectOfferForecast_view/SalesprojectOfferForecast_view.aod
#	neonView/SalesprojectOverview_view/SalesprojectOverview_view.aod
#	neonView/SalesprojectScoreCard_view/SalesprojectScoreCard_view.aod
#	neonView/SalesprojectSourceDrawer_view/SalesprojectSourceDrawer_view.aod
#	neonView/SalesprojectSourceEdit_view/SalesprojectSourceEdit_view.aod
#	neonView/SalesprojectSourceFilter_view/SalesprojectSourceFilter_view.aod
#	neonView/SalesprojectSourcePreview_view/SalesprojectSourcePreview_view.aod
#	neonView/SalutationFilter_view/SalutationFilter_view.aod
#	neonView/StockCount_view/StockCount_view.aod
#	neonView/StockEdit_view/StockEdit_view.aod
#	neonView/TaskEdit_view/TaskEdit_view.aod
#	neonView/TaskLinkMultiEdit_view/TaskLinkMultiEdit_view.aod
#	neonView/TaskLinkPreview_view/TaskLinkPreview_view.aod
#	neonView/TaskMain_view/TaskMain_view.aod
#	neonView/TimetrackingAnalysesDrawer_view/TimetrackingAnalysesDrawer_view.aod
#	neonView/TimetrackingAnalyses_view/TimetrackingAnalyses_view.aod
#	neonView/TimetrackingDrawer_view/TimetrackingDrawer_view.aod
#	neonView/TimetrackingEdit_view/TimetrackingEdit_view.aod
#	neonView/TimetrackingFilterAnalyses/TimetrackingFilterAnalyses.aod
#	neonView/TimetrackingFilter_view/TimetrackingFilter_view.aod
#	neonView/TimetrackingPreview_view/TimetrackingPreview_view.aod
#	neonView/TimetrackingScore_view/TimetrackingScore_view.aod
#	neonView/TurnoverChartForecast_view/TurnoverChartForecast_view.aod
#	neonView/TurnoverChart_view/TurnoverChart_view.aod
#	neonView/TurnoverTree_view/TurnoverTree_view.aod
#	neonView/TwitterTimeline_view/TwitterTimeline_view.aod
#	neonView/campaignParticipantMessage_view/campaignParticipantMessage_view.aod

Receipt

See merge request xrm/basic!59

Mohamed Mansour authored 5 years ago and Sebastian Listl committed 5 years ago

Language translations added.
Order parameters fixed in Offer_lib.